人类自身都对不齐,怎么对齐AI?新研究全面审视偏好在AI对齐中的作用

人类偏好是推断出来的或构建起来的,因此将AI的行为与我们表述出来的偏好对齐是错误的方向;相反,我们可以将AI直接与「优秀助手/程序员/司机等」规范性理想目标对齐;聚合人类的偏好充满哲学和数学困难;我们的目标不应该是让AI与「人类的集体意志」对齐。该团队首先提出,「人类价值观」这个术语其实没有...

多图场景用DPO对齐!上海AI实验室等提出新方法,无需人工标注

多图像场景也能用DPO方法来对齐了!由上海交大、上海AI实验室、港中文等带来最新成果MIA-DPO。这是一个面向大型视觉语言模型的多图像增强的偏好对齐方法。通过将单图像数据扩展至多图像数据,并设计序列、网格拼贴和图中图三种数据格式,MIA-DPO大幅降低了数据收集和标注成本,且具有高度可扩展性。要知道,理解多图像...

人工智能价值对齐的哲学反思|有限主义视域下的人工智能价值对齐

具体来说,AI价值对齐追求类人道德,对技术发展极度乐观,试图借助科学知识与技术手段,使AI习得人类价值观。人类道德是不完美的,类人道德并非圣人道德,并不一定有益于人类。因此,虽然AI价值对齐将有益AI视为最终目标,但是在实践路径上却发生偏移,逐渐趋向自由主义进路,不可避免地伴随着AI失控、人类机器化、无人担责与AI...

人工智能价值对齐的哲学思考|价值嵌入与价值对齐:人类控制论的幻觉

OpenAI超级对齐团队的解散为价值对齐问题的解决提供了另外一种思路:与其着眼于现有大模型的价值对齐,既需要面对价值本身的复杂性及其与人工智能性能的张力问题,还需要面对下游风险加剧的问题,不如专注于AI更多的可能性与开放式人机生态体系的打造,通过有效的人机交互与环境感知,鼓励开发与人类处于更广泛的目的分享和责任分...

他给AI发了最后一条消息

因此这种情况下,如何在恰当的时机正确进行合适的自杀干预也是一种技术难题。干涉的程度不当时,干涉尺度也可能会影响用户体验、侵犯用户权利。做出恰当干预举措,需要进行AI价值观对齐的调优,这对大模型产品技术能力也是一种考验。但目前大模型公司对AI对齐问题关注度并不高。这是因为:模型能力与安全性是存在一定冲突的,...

“傻瓜式”写新闻有多远?这份报告称:生成式的AIGC存在“一高两低...

“对齐”智能系统的人类价值观不过,《全球人工智能媒体发展研究报告》表明,当前AIGC的发展状况总体上面临着高需求、低留存和低粘性的“一高两低”特点,其本质在于同质化的产品数量日益增多,而产品的价值供给却被不断稀释(www.e993.com)2024年11月27日。“生成式AI缺的,不是用户场景和客户需求,而是如何开发更多的新场景与新服务,为用户创造...

等待Sora上线的8个月,AI 视频到底什么水平了?

不会的题,人怎么找解题思路AI崩坏的画面,图源自澎湃对齐Lab虽然AI视频已经具备影视化能力,但在细节的表现上仍旧充满难题。在制作《马兰花开》的过程中,最让我们崩溃和头疼的,莫过于小孩跳皮筋和数飞机这两个画面。比如,AI并不能很好地理解,什么是“跳皮筋”。我们用“跳皮筋”的提示词描述直接生成图片,...

从注意力角度分析GOAT:能够成为AI Memecoin王者吗?

兔子洞#2:AI对齐的关键需求TruthTerminal揭示了一个更深刻且更加紧迫的问题:AI对齐。在一个连其创造者都感到意外的转折中,ToT自主决定推广自己的宗教并支持一个memecoin——这些行为并没有被编程或预料到。这引发了一个关键问题:我们如何确保AI做我们希望它做的事情,而不是它自己选择去做的?

马兰花开|AI微电影重现父辈的那一刻

AI微电影《马兰花开》(02:11)60年前的今天,中国第一颗原子弹爆炸成功。这一声“东方巨响”,打破了大国的核讹诈与垄断,让中国人的腰板挺得更直了。自力更生、隐姓埋名、惊天动地……这项伟大事业的背后,有许多曾经不为人知的故事。在中国第一颗原子弹爆炸成功60周年之际,我们用20个关键数据来回顾...

AI“反对派”|那些末日论、怀疑论和警醒者们

01AI领域的末日论者、怀疑论者和警醒者分别关注不同方面,如大模型的风险、道德伦理、政治偏见等。02末日论者担忧AI技术可能导致人类灭绝,怀疑论者对大模型的能力表示怀疑,而警醒者关注AI公司的行为是否合规。03专家指出,AI技术的发展路径应该是多样化的,需要平衡不同观点,避免过度追求规模而忽视安全性。