类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘

豆包大模型团队的实验发现，即使遵循「ScalingLaw」增大模型参数规模和数据量，模型依然无法抽象出一般物理规则，做到真正「理解」。以最简单的匀速直线运动为例，当模型学习了不同速度下小球保持匀速直线运动的训练数据后，给定初始几帧，要求模型生成小球在训练集速度区间内匀速直线运动的视频，随着模型参数和训练数据量...

类Sora模型懂不懂物理?字节完成系统性实验,图灵奖杨立昆赞转!

小球碰撞、抛物线运动等经典物理场景的运动视频，用于训练基于主流DiT架构的视频生成模型。然后，通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律，判断模型是否真正理解了物理规律，并具有“世界模型”的潜力。

类Sora模型到底懂不懂物理?字节完成系统性实验证明

豆包大模型团队的实验发现,即使遵循“ScalingLaw”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增...

如果未来人要阻止AI,他们应该穿越回到哪一年?2024诺贝尔物理学奖...

在真实的物理世界中,假如一个位置的力场势能高低我们不清楚,我们可以从不同位置放下一个一个的小球,通过小球的运行状态来探测力场的真实情况。不过,当我们训练一个神经网络模型的时候,情况就不太一样了,因为神经网络里的这个场的形状应该是什么样子的我们并不知道。但我们可以不断地把真实的猫的照片数据喂给模型,...

机器学习方法在量子多体物理中的应用

将机器学习方法运用到量子多体物理已经成为一个蓬勃发展的领域,下面我们着重介绍这方面一些代表性的进展。3.1训练机器学会区分物质的不同量子或经典相凝聚态物理的研究对象是物质的相和相变。在热力学极限下,不同的相一般具有不同的自发对称破缺,通过相应的序参量来刻画。这些序参量是反映出数据共性的物理量,从而...

2024诺贝尔物理学奖揭晓:人工神经网络先驱获殊荣

⑤使用梯度下降法,根据通过反向传播发现的贡献,更新模型的权重和偏置值(www.e993.com)2024年11月28日。⑥从第3步开始重复,直到处理了所需数量的历时或小批次,或损失下降到某个阈值以下,或不再有太大变化,或验证样本集的得分达到最低值。⑦如果网络学习效果不好,就应用正则化并再次训练。数据增强或增加训练集的大小或代表性,也可以被认...

阻止他,就能把终结者扼杀在摇篮!2024诺贝尔物理学奖解读

在真实的物理世界中,假如一个位置的力场势能高低我们不清楚,我们可以从不同位置放下一个一个的小球,通过小球的运行状态来探测力场的真实情况。不过,当我们训练一个神经网络模型的时候,情况就不太一样了,因为神经网络里的这个场的形状应该是什么样子的我们并不知道。但我们可以不断地把真实的猫的照片数据喂给模型...

今年诺贝尔物理学奖为何颁给“AI教父”?一文详解:你不能不知道的...

他还帮助开启了新一轮激动人心的成果爆发。2006年,他与同事SimonOsindero、YeeWhyeTeh和RuslanSalakhutdinov共同开发了一种方法,通过一系列分层堆叠的玻尔兹曼机来预训练网络。这种预训练为网络中的连接提供了更好的起点,优化了识别图像中元素的训练。

李政道与CUSPEA:希望机遇光顾更多年轻人

陶荣甲和陈成钧摘取了系里考试的头两名,让美国教授颇为赞赏。李政道信心大增,大胆提出要把这个做法推广到大约30个美国优秀大学的物理系,“训练他们的方法和美国训练好的科学人才是完全一样的。因而他们每人在美国一切的学费和生活费也是由美国各学院承担,和美国对本国的理科研究生一样”。

浅谈大模型及其在高能物理科学的未来应用

总之,一种能有效进行预训练科学数据的方法Tokenizer是技术瓶颈之一。此外,用于科学研究的大模型,还需要考虑置信度刻度不对齐导致的置信度误差增大问题,以及为了让模型与物理原理对齐如何实现物理反馈强化学习的问题等。图7发展高能物理领域大模型的路线4大模型用于科学发现的探索...