1688 AI导购探索:智能体驱动的场景化导购实践分享
我们还尝试了一个更加端到端的AI+电商搜索demo,叫做smartshopping,它能够提供一种更加整体化的AI+找挑体验路径。例如,当您需要寻找春季流行服饰时,系统会主动访问一个趋势分析的服务来获得相关数据,并紧接着生成一份采购建议。完成这一步骤后,系统开始调用平台的商品搜索获取候选商品并根据前面的需求、...
人工智能如何与人类“对齐”
在大量阅读、采访和研究的基础上,他在2020年出版了《人机对齐》(TheAlignmentProblem)一书,深入探讨了关于人工智能与人类社会相互影响的多个问题。《人机对齐》的中文版本(湖南科学技术出版社2023年6月出版,唐璐翻译)获得了2024年“行读图书奖”(外文翻译类)。在得知获奖的消息后,关于写作这本书的初衷,以及对于...
OpenAI“政变”续:“董事会都对不齐,怎么让AI对齐人类”
显然,一个OpenAI的平替已经就绪。“如果董事会都对不齐,如何让AI与人类对齐?”
周鸿祎道歉避重就轻?儿童智能手表使用AI大模型之忧如何解
这个问题被称为“价值对齐”,价值对齐是AI安全的核心议题。盘和林表示,“我认为要AI完全对齐价值观不太可能,因为这个世界三观是多元化的。人类自己都无法对齐,很难要求AI去对齐。只能说尽力引导AI做出得体的回应”。金小刚也告诉南都记者,“AI的价值观如果和你对齐了,和别人没对齐,那也是一个问题。这个过程中只能...
OpenAI被曝解散“超级智能对齐”团队 多家美国AI创业公司开启裁员
随后OpenAI证实,由Ilya和JanLeike共同领导的“超级智能对齐团队”已经解散。此后,该团队的研究工作将被整合到OpenAI的其他研究小组中。去年7月,OpenAI宣布成立一个新的研究团队“超级对齐”,要用AI监督AI的方式,解决超智能“AI对齐”问题。“AI对齐”的意思是,要求AI系统的目标要和人类的价值观与利益相一致。
“AI发展现状反思”笔谈|价值对齐是人类通往未来的“必经之路”吗?
首先,高度重视价值对齐无用论(www.e993.com)2024年10月20日。由于哲学和价值论学科中关于人类价值观的性质和内容的分歧尚未解决,因此如何在监管和设计人工智能时实现价值对齐也毫无意义。但在这种简单的逻辑关系中,潜在地把技术置于中性地位,而正是这种技术中性思想正在威胁着真正的价值对齐。价值对齐中的价值不仅是指人的价值,也是指技术的价值。德...
“AI对齐”的危险与可能:应以人类的能力与规则为边界
目前,机器学习模型主要采用模仿和推断两种方式来进行AI对齐。前者即看人类怎么做,AI跟着怎么做。模仿存在许多问题,比如过度模仿,很多人炒菜之前都会把袖子卷起来,AI可能会模仿这个不必要的动作。更重要的是,模仿的情境大致差不多,但不可能绝对一样,起码时间、地点和对象不同。此时,AI需要对人类行为进行某种推断,然后得...
在对齐AI时,为什么在线方法总是优于离线方法?
首先,该团队比较了在线和离线算法的过度优化(over-optimization)行为——该行为可通过将古德哈特定律外推至AI对齐领域而预测得到。简单总结起来,古德哈特定律(Goodhart’slaw)可以表述成:一项指标一旦变成了目标,它将不再是个好指标。该团队采用了与Gaoetal.(2023)类似的设置,基于一组开源数据集进...
“加速派”赢了之后,如何确保AI“爱对齐”?
OpenAI董事会之争似已告一段落,但它预示着,AI技术带给人类社会的冲击以及人类围绕它的思辨,才刚刚开始。这场争议被总结为“加速派”与“对齐派”之争。前者认为应当加速AI研发及应用,让它尽快造福人类,在发展中解决可能出现的问题;后者则认为应当谨慎行事,先要确保AI“对齐”人类利益,并为之设置足够护栏后,再推...
为什么要让AI价值对齐?
OpenAI、谷歌的DeepMind各有专注于解决价值对齐问题的团队。除此之外,还有许多第三方监督机构、标准组织和政府组织,也将价值对齐视作重要目标。这也让我们看到,让AI与人类的价值对齐是一件非常急迫的事情,可以说,如果没有价值对齐,我们就不会真正信任AI,人机协同的AI时代也就无从谈起。