人类自身都对不齐,怎么对齐AI?新研究审视偏好在AI对齐中的作用

2024年10月22日 - 网易

将AI对齐视为对齐预期效用最大化。基于这些论据,AI对齐研究者传统上认为:先进AI系统的行为就像是在最大化预期效用。因此,很多人将对齐AI的问题表述为如何让预期效用最大化算法对齐的问题,并且各种提议方案都侧重于如何规避效用最大化的危险或准确学习正确的效用函数。毕竟,如果先进的AI系统必定遵守EUT,...

详情

人工智能如何与人类“对齐”

2024年11月3日 - 三联生活周刊

克里斯蒂安:大型语言模型通常都有一段被称为“系统提示”的文本,实际上是直接告诉模型与其用户的关系应该是什么。通常,这种关系会被框定为类似于“你是一个有帮助的助手”。我认为这确实就是这种关系大致带给人的感觉。然而,需要被指出的一点是,这至少是一个三方关系,不仅涉及人工智能系统与用户,还涉及了提供服务的...

详情

人工智能价值对齐的哲学思考|价值嵌入与价值对齐:人类控制论的幻觉

2024年11月10日 - 新浪

OpenAI超级对齐团队的解散为价值对齐问题的解决提供了另外一种思路:与其着眼于现有大模型的价值对齐,既需要面对价值本身的复杂性及其与人工智能性能的张力问题,还需要面对下游风险加剧的问题,不如专注于AI更多的可能性与开放式人机生态体系的打造,通过有效的人机交互与环境感知,鼓励开发与人类处于更广泛的目的分享和责任分...

详情

降低AI幻觉几率大模型须“价值对齐”

2024年8月25日 - 南方都市报数字报

盘和林表示,“我认为要AI完全对齐价值观不太可能,因为这个世界三观是多元化的。人类自己都无法对齐,很难要求AI去对齐。只能说尽力引导AI做出得体的回应”。金小刚也告诉南都记者,“AI的价值观如果和你对齐了,和别人没对齐,那也是一个问题。这个过程中只能让人类向善,通过立法,对技术应用当中的不确定性进行监控,让...

详情

“AI对齐”的危险与可能:应以人类的能力与规则为边界

2024年4月14日 - 澎湃新闻

目前,机器学习模型主要采用模仿和推断两种方式来进行AI对齐。前者即看人类怎么做,AI跟着怎么做。模仿存在许多问题,比如过度模仿,很多人炒菜之前都会把袖子卷起来,AI可能会模仿这个不必要的动作。更重要的是,模仿的情境大致差不多,但不可能绝对一样,起码时间、地点和对象不同。此时,AI需要对人类行为进行某种推断,然后得...

详情

智谱AI刘江:AGI5~10年会达到普通人水平智谱AI已启动“超级对齐”

2024年5月29日 - 新浪

格隆汇5月29日|智谱AI首席生态官刘江在2024亚马逊云科技中国峰会上表示,他认为5~10年内,AGI会达到普通人水平,“大模型可能是我们这一代人遇到的最大的技术突破(www.e993.com)2024年11月24日。”刘江同时透露,智谱AI已经启动“超级对齐”。超级对齐是指确保在所有领域都超越人类智能的超级人工智能(AI)系统,按照人类的价值观和目标行事。

详情

ChatGPT一周年|有效加速or超级对齐?如何实现AI大爱人类?

2023年12月4日 - 网易

超级“爱”对齐中的爱是大写的,即“大爱”,大体意思是让AI“对齐”“无条件对人类的爱”,正如科幻作家艾萨克·阿西莫夫提出的“机器人三定律”所体现的精神。苏茨克维被认为是超级“爱”对齐的代表。“一直以来有两种声音,一方面各个企业投入了巨大的资源,不遗余力地推动通用人工智能技术的发展。另一方面,以马斯克...

详情

何为“AI对齐”?它又是否必需? | 社会科学报

2024年1月3日 - 腾讯新闻

详情

AI能否与人类价值对齐?专家认为“非常有吸引力”但现阶段做不到

2023年12月16日 - 澎湃新闻

李真真还提到,要实现AI价值对齐需要具备两个前提条件。一是在人机关系中,人要处于主导地位,因为人类受到法律和道德的约束。然而,道德实际上是最大公约化的价值共识,它的本质是“空洞”的,具象化的道德依据个体差异而不同。如何给智能机器进行道德编码,这还需要技术人员与社科学者的进一步探索。其次,要明确人类对AI的...

详情

观点丨刘永谋:AI对齐是一种危险的尝试