意识的贝叶斯理论:寻找最小统一模型的综述

虽然Friston认为马尔可夫毯的存在对于每一个“事物”的存在是必要的,只要它能够被区分开来[例如,在他的专著(Friston,2019)中;但参见Bruineberg等人(2020)对这一提议的批判性分析],这里的一个关键洞见来自于这样一个事实:被界定的系统可以用自信息或惊讶度的梯度流来描述(大致来说,这是可能的,因为它是动态系统时间...

扩散模型概述:应用、引导生成、统计率和优化

例如,[78]将离散化的反向过程(2)重新表述为有限视界马尔可夫决策过程(MDP)。状态空间表示图像,条件得分函数被视为策略,定义了一个奖励函数来衡量图像与其期望文本提示的一致性。因此,生成与提示一致的图像相当于通过找到最优策略来优化奖励。[78]提出了一种基于策略梯度的方法来微调预训练的扩散模型。在图2中,我们展...

高山仰止 风范长存——追忆我的老师周光召先生

讲完这个例子,周老师深有感触地对我说:“要让别人瞧得起自己,必须拿出令人信服的理论依据,做出比别人更突出的研究工作。既要向比自己强的同行专家学习,又不要轻易相信权威,要有自信。”他的这番经历和教导,一直激励着我之后的科研工作。1961年,周老师刚从苏联回国就正式加入核武器研制队伍,协助邓稼先完成核武器理...

被数学选中的人:现代概率论之父柯尔莫哥洛夫

另外，柯尔莫哥洛夫还将动力系统划分为决定性（古典）动力系统和概率论动力系统（马尔可夫过程），并对应支配前者轨道的常微分方程，引入了可以确定后者转移概率的抛物型偏微分方程，也就是柯尔莫哥洛夫的前向方程和后向方程。虽然在此之前应用在概率论中的分析手段以测度论和傅里叶分析为主，但他首次应用了偏微分方程...

天才创始人对谈AI教父Hinton:多模态是AI的未来,医疗将发挥AI最大...

这是一个介于两者之间的例子。你继续使用符号，但将它们解释为这些大向量，这就是所有工作所在。所有的知识都在于你使用的向量以及这些向量的元素如何相互作用，而不是符号规则。这并不是说，能完全摆脱符号。而是将符号变成大向量，保留符号的表面结构。这就是这些模型的工作方式。在我看来，这也是人类思维比较合理的...

专访弗里斯顿:贝叶斯脑计算与自由能,会是大脑的未来吗?

关于智能的尺度不变性或跨尺度性质的另一个例子依赖于空间尺度的增加(www.e993.com)2024年11月25日。另一个很好的例子是单个脉冲神经元活动与群体活动之间的联系。从自证性的角度——在特定的(连续状态空间)生成模型下——可以将神经元群体视为通过随机采样来近似地进行精确的贝叶斯推断。或者,也可以将神经元群体视为精确地进行近似的贝叶斯推断。

大模型时代的芯片,要如何造?

例如机器人现在可以不断地和环境交互、自主学习,这就需要大量基于强化学习的计算,这样的计算又和张量计算不同,现在强化学习有很多分支,有的基于transformer方式来实现,有的以传统的马尔可夫方式来实现。这种需要大量计算、采样、迭代的机器人应用,对于芯片提出了很多新需求。

为什么你怎么努力都无法改变现状?

当然,马尔可夫过程也有一个前提,就是“遍历性”,这个词很难解释,只能举一些极端的例子,比如重大灾难,比如中了亿元大奖,理论上你还是会回到原来的状态,但这理论上的次数可能超过你的生命时间,那就可以认为是彻底改变。其实,对于大部分不想改变就想安安静静地过完这一生的普通人而言,马尔可夫过程实际上是一种保护,...

Hinton万字访谈:用更大模型“预测下一个词”值得全力以赴

Hellermark:你说它不仅仅会重复我们迄今为止所开发的人类知识,还可能取得更大的进步。我认为我们目前还没有充分看到这一点。我们已经开始看到一些例子,但在更大范围内,它还停留在当前的科学水平。你认为怎样才能让它超越这个水平?Hinton:我们在更有限的情况下看到过这种情况。比如在AlphaGo和李世石的那场著名比赛...

如果强化学习是问题,大模型是否是「答案」?丨GAIR live

另一个例子是自动驾驶。比如在自动驾驶的关键博弈场景中尝试应用强化学习,实现类人的博弈策略,提升自动驾驶车辆在复杂路况下的通行效率。大模型方面刚刚俞老师也提到了,我们过往经验发现,强化学习不仅仅像最开始OpenAI提出,用RLHF来做安全的对齐,它还可以在大模型的全链或者全栈的基础能力提升中发挥关键的作用。从...