类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘

在本次工作中,如何定量分析视频生成模型对于物理规律的理解,是一大挑战。豆包大模型团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规...

AI在今年诺奖中为自己画了个闭环,AI+科学“双螺旋引擎”开启科学...

AI在科学研究中逐步走向核心地位,成为科研突破的新引擎,AIforScience(科学智能)将极大加速和扩展科学研究的效率和能力边界;另一方面,底层科学的第一性原理和知识将成为AI向AGI(通用人工智能)进化的根本驱动和扩展引擎,下一个AI领域的里程碑很可能来自ScienceforAI的启发,而两者作为“双螺旋引擎”,将共振驱动并定...

AI将爆发哪些超级应用?

AI进行图片、视频创作的主要原理是对抗学习（GAN）：通过训练两个模型，一个生成与真实数据相似的“假图像”，另一个负责判断图像的真伪，并反馈学习成果。在两个模型的对抗任务下，逐渐生成逼真的图像作品，并根据需要切换为不同的艺术风格。AI图片生成在toC和toB端都有海量应用潜力。个人应用的创意绘画、AI写真...

追问weekly | 过去一周,脑科学领域有哪些新发现?

此外,研究结合自然语言处理技术发现,人类的语言系统与大脑的神经结构有一定的对应性,这种联系可能反映了大脑在感知与认知功能上的组织方式。研究推测,人脑在进化过程中通过建立更多间接连接以实现更高级的认知能力,从而逐渐摆脱对直接连接的依赖。研究发表在NatureCommunications上。#神经科学#大脑进化#结构功能对应...

AI日报:海螺AI上线图生视频功能;天工AI搜索新增彩页,还打算带你...

??GPT-auto提供了多个强大功能,包括创建图片、总结文本、写作辅助等。??新的界面设计更加简洁,用户体验有了显著提升。3、AI搜索玩法又升级!天工AI搜索新增了全新内容形态——彩页天工AI搜索推出了全新的彩页功能,用户可以在首页直接搜索并浏览各类丰富内容,同时还可以利用AI帮助设计彩页,操作简单便捷。彩页不...

AI引擎如何加速科学研究?对话深度原理创始人、新神经网络架构KAN...

内容聚焦本期播客聚焦于AI技术在科学研究中的应用及其带来的挑战(www.e993.com)2024年11月9日。随着AI技术的快速发展,已经在多个领域如物理学、化学材料、生物学等取得重大突破,改变了传统科学研究的方法。与此同时,尽管AI在辅助科学研究方面展现出巨大潜力,但仍面临着数据获取、模型选择及验证等一系列问题。此外,本期播客还探讨了如何使...

...的物理bug,美国四所顶尖高校联合发布:给视频生成器装个物理引擎

最近,来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大学联合提出了一种基于物理的方法模型PhysDreamer,利用视频生成模型学习到的对象动力学先验,为静态3D对象赋予交互式动力学。论文链接:httpsarxiv/pdf/2404.13026.pdf项目主页:httpsphysdreamer.github.io/...

GPT-4+物理引擎加持扩散模型,生成视频逼真、连贯、合理

方法介绍该研究的目标是根据使用者对一些基本物理运动场景的prompt,生成一个符合物理特性的视频。物理特性通常与物体的材料有关。研究者的重点在于模拟日常生活中常见的三种物体材料:1)刚性物体,在受力时能保持形状不发生变化;2)布料,其特点是柔软且易飘动;3)液体,表现出连续和可变形的运动。

炉中火,世间灯:瓦特如何点燃工业革命的引擎

在改进蒸汽机时的过程中,瓦特灵活运用了物理学和化学原理,同时还借鉴了机械学的最新成果。恩格斯曾这样评价瓦特的贡献:“蒸汽机是第一个真正国际性的发明……瓦特给它加上了一个分离的冷凝器,这就使蒸汽机在原则上达到了现在的水平。”科技进步时常伴随...

我在模拟世界!OpenAI刚刚公布Sora技术细节:是数据驱动物理引擎

有人第一时间总结道,Sora不是一个简单的视频生成器,它是一个数据驱动的物理引擎,其对于虚拟和现实世界进行模拟。在这个过程中,模拟器通过一些去噪和梯度数学方法来学习复杂的视觉渲染,构建出「直观」的物理效果,以及进行长期推理和语义基础。在Sora推出后,OpenAI很快公布了技术报告。