OpenAI死对头、Claude掌舵人访谈:与Altman分道扬镳不是因为商业化...

我看着我们用于语音识别的神经网络,即循环神经网络,我说:“我不知道,如果你把它们做大,加更多层会怎么样?如果同时扩大数据规模会怎么样?”我注意到,随着你给它们提供更多数据,随着你让模型变大,随着你训练它们的时间越来越长,模型的表现开始越来越好。当时我并没有精确地衡量,但我和同事们都非常非正式地感觉到,给...

神经网络理论研究的挑战性课题:统计物理能否给智能科学带来第一性...

对于一个无限宽的神经网络,存在一个懒惰学习机制,其中过量参数的神经网络可以很好地用初始化附近的一阶泰勒展开相对应的线性模型来近似,因而复杂的学习动力学仅仅是训练一个核机器[42]。此外,阐明懒惰学习(或神经切向核极限)和特征学习(或平均场极限)哪个可以解释深度监督学习的成功仍然是一个未解之谜,富有挑战...

追问weekly | 过去一周,脑科学领域有哪些新发现?

通过使用行为分析、遗传工具、神经成像和CRISPR基因编辑等技术,研究发现果蝇大脑中的关键神经节点在多个物种中是保守的,但这些节点能够灵活地响应不同的感官信号,例如D.melanogaster果蝇通过感知一种特定信息素,而D.yakuba果蝇则能在黑暗中通过7-三十碳烯(7-tricosene,一种化学信号)找到配偶。研究表明,外周神经回路...

如何让等变神经网络可解释性更强?试试将它分解成「简单表示」

此神经网络的结构会迫使得到的映射V→W为等变映射。所有权重的空间比传统的（全连接）神经网络小得多。在实践中，这意味着等变神经网络所能处理的样本比「原始」神经网络所能处理的大得多。（这一现象也被机器学习研究者称为权重共享。）该团队还指出上图隐式地包含了激活图，而他们最喜欢的选择是ReLU。

清华光学AI登Nature!物理神经网络,反向传播不需要了

而这里的调制和传播区域可以映射到神经网络中的权重和神经元连接。在神经网络中,这些可调整的部分就像是神经元之间的连接点,可以改变它们的强度(权重)来学习。利用空间对称互易性原理,数据和误差计算可以共享相同的前向物理传播过程和测量方法。这有点像镜子里的反射,系统中的每个部分都能以相同的方式响应光的传播...

30年冷板凳,诺贝尔物理学奖得主Hinton的AI往事

每当我们学习时,我们的大脑神经网络都会发生变化——具体是如何发生的呢?像Hinton这样的研究者通过计算机,试图找到神经网络的“学习算法”,即一种通过调整人工神经元之间连接的统计“权重”来吸纳新知识的程序(www.e993.com)2024年11月20日。1949年,心理学家DonaldHebb提出了一个人类学习过程的简单规则——同步激活的神经元将会连接在一起。即,...

晾衣难题难倒GPT-4,人类狂教知识图破解!华盛顿大学教授:LLM会有...

我们基本上是利用单个权重的梯度,即部分梯度。因此,你需要对神经网络的每个权重求偏导数。对于数千亿个参数,我们都需要对它们求偏导数,然后移动权重,这样它就会增加分配给训练数据中特定单词序列的概率得分。主持人听到这里,提到了自己打网球的经历。他说,如果自己打出一个很烂的球,教练就会说「你需要早点把球拍...

...AI能力存在上限、不要笃信「数据是石油」、AI泡沫肯定会发生

a16z创始人对谈AGI创业:AI能力存在上限、不要笃信「数据是石油」、AI泡沫肯定会发生,ai,安德森,凯恩斯,霍洛维茨,神经网络,人工智能技术

Hinton万字访谈:用更大模型“预测下一个词”值得全力以赴

Hellermark:在爱丁堡的那些日子里,你有没有一种信念,认为这些想法会成功?或者你当时的直觉是什么?Hinton:在我看来,大脑肯定有一种学习的方式。大脑的学习并非依靠将各种事物预设编程,然后运用逻辑推理规则——这种做法从一开始就显得过于疯狂。因此,我们必须解开大脑是如何学会调整神经网络中的连接,使其能够处理复杂...

天才创始人对谈AI教父Hinton:多模态是AI的未来,医疗将发挥AI最大...

借助共享权重，数字系统的思维迁移十分高效主持人：您是最早想到使用GPU的人之一，我知道Jensen（黄仁勋）很喜欢你。2009年你就告诉Jensen，这可能是训练神经网络的一个绝佳办法。当初要使用图形处理单元（GPU）训练神经网络，您是怎么想的？Hinton：记得在2006年，我有位研究生，是十分优秀的计算机视觉专家。一次会议上...