科学家揭示深度神经网络的线性性质,助力催生更优的模型融合算法

即首先独立训练两个网络,随后重新排列其中一个网络的神经元,以匹配另一个网络的神经元。在此前一项工作中,上海交通大学周展鹏博士和上海人工智能实验室的合作者,希望从特征学习的角度解释LinearModeConnectivity。并提出这样一个问题:当线性插值两个经过训练的网络的权重时,内部特征会发生什么变化?图|周展鹏(...

任赖锬 朱雨琪|工业数据之边界、权属与流转——基于权利束理论...

“信息主体同意”是体现权利人自主决定权的关键,体现为一种依单方意思决定有关事项、排除他人意思之权利,在数据收集阶段直接体现为收集处理的“告知-授权(同意)”规则之后半部分。转适个人信息保护法于数据领域,笔者认为,数据收集决定权包括“一般情形的决定权”“变更收集(情形/主体)的重新决定权”“撤回决定之权利...

不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

实验中,通过调整PCFG的句法性质,他生成了6个具有不同复杂度的数据集。对于每个数据集,他又训练了6个不同大小的语言模型(参数量从4.4M到1.4B),并记录了这些语言模型在6种不同训练步数(100K到100Mtoken)下的结果。然后,他为每个数据集都拟合了一个Scalinglaw,发现Scalinglaw的参数会...

AI顶会ICML收了一篇论文:没算法没实验

万能逼近性质为了表述本文的新型万能逼近定理,需要给出如下记号:有限词汇表核心是将V称为词汇表,V中的映射称为“词”,V中一个序列的复合称为“句子”,所有“句子”的集合记为HV。记号中的实心点表示的是函数复合,计算时先复合最左边的函数。与常规的复合函数记号相比,有下面的关系:函数复合这里之所以要引...

殷乐等:算法社会的数字美学与青年的自我抵抗

从字面意思来看，数字美学是数字时代的美学类型，是一种数字化、网络化的美。我们可以将它简单理解为与数字技术紧密相关，以算法为核心包含人工智能、数据等技术进行刻画，具有程式化、标准化和数据化特性，主要经由数字网络和媒介等进行传播、展示和塑造的一种数字审美观，抑或一种人在数字环境下形成的对男性或女性的...

大脑如何为世界建模?从无监督学习到预测加工|《预测算法》

一些广为人知的学习算法(learningalgorithms)能够利用这种机制,揭示实际上塑造了传入信号的、彼此交互的外部原因(即“潜在变量”)(www.e993.com)2024年11月10日。但在实践中,这需要引入预测加工模型的另一个关键成分,即使用多层架构进行学习。4.多层架构的学习多层架构的预测驱动学习可能是以我们的方式理解世界的关键所在——在我们眼中,世界是...

??是谁让全智驾行业都在搞“小农经济”?是谁在拖累高阶智驾量产...

2.两年前,曾有两个在车企做战略的人希望能加入九章做行业研究,可他们提供的“过往作品”(之前给领导做的报告),质量即便是跟那些被我辞退过的前同事做的报告相比,也是差了一大截。这一组例子,再次印证了我在前面提到的观点“如果车企跟供应商里有同等性质的岗位,车企里人才的平均质量可能不如供应商”。

当AI遇上高考数学题,4个大模型“考生”“成绩单”出炉

中国社科院新闻与传播研究所所长胡正荣指出,大模型虽然是语言模型,但这个语言不是人们通常理解的字面意思,音频、解题等都是大模型可以做的。从理论上看,数学大模型这个技术方向是可行的,但最终结果如何,取决于两个因素,一是算法是不是足够好,二是是否有足够量的数据做支撑。

人工智能如何彻底改变蛋白质科学,AlphaFold是起点,终点会在哪里?

一些人研究问题的化学性质,另一些人研究物理学。实验人员通过艰苦的实验室工作重建蛋白质形状。计算生物学家通过模型和模拟寻找线索,他们使用不同的算法规则组合对其进行编程和重新编程。随着更多结构的出现,蛋白质科学界需要一种组织和共享它们的方法。1971年,蛋白质数据库作为蛋白质结构档案馆成立。该数据库免费开放...

升维思考,降维行动

在大模型时代,AI借助于算法、算力和数据,获得了在某些方面超越人类的“高维思考”能力。而此时,人类的联想和提问能力,就像是构建一个维度,或是在大模型的向量空间里,勾出一段彩虹。就像扔出一个骰子,对于未来的可能性,我们要升维思考,考虑6个面的概率,可结果只有一面。????????????????????...