中国科学院团队用数学研究深度学习,助力理解神经网络深度的有效性

相比于宽度,对深度的研究更加具有挑战性,因为层数的增加还伴随着非线性函数的不断复合。一个典型的问题是,当模型宽度固定的时候,增加模型的深度是否比浅层的模型拟合更多的数据点?中国科学院应用数学所博士毕业生盖阔在读博期间完成一个生成网络算法设计的工作和一个现象驱动的可解释性工作之后,希望探索关于人工智能...

132年未解开的李雅普诺夫函数谜题,被Symbolic Tr

牛顿、拉格朗日和庞加莱都研究三体问题,但都没有找到根本性的解决方案。著名俄罗斯数学家和物理学家李雅普诺夫(АлександрЛяпунов)发现,如果能找到系统的类熵函数—李雅普诺夫函数,就能保证系统的稳定性。遗憾的是,目前还没有已知的方法来推导一般情况下的李雅普诺夫函数,而且只发现了极少系统的李...

AI也会做梦吗?什么是AI幻觉?

假设在一个讨论中国传统节日的上下文中,用户问:“春节是什么时候?”AI回答:“春节是中国农历新年,通常在每年的1月或2月庆祝。”这个回答是正确的,符合春节的基本情况。然而,如果AI接着说:“春节是纪念屈原的节日,人们会吃粽子和赛龙舟。”这就是上下文不一致的例子,因为AI的回答与春节的背景信息不符。C.逻...

《黑神话》爆火后,印度人想偷走“孙悟空”?疯狂篡改维基百科!

但这段描述的后面,还提到鲁迅等其他学者否认了胡适的这个说法,他们认为孙悟空出现的时候,“哈努曼”的传说并没有翻译到中国,而是提到孙悟空原型是无支祁。结果在《黑神话:悟空》发售一个多月后,印度网友就把该词条下的这一段更改了说法,变成了“现代学者普遍认为鲁迅的说法是错的,有大量研究证明‘哈努曼’传说传到...

RNN回归!Bengio新作大道至简与Transformer一较高下

尽管单层minLSTM或minGRU的门控只与输入有关,而与时间无关,但是在深度学习中,模型是通过堆叠模块来构建的。从第二层开始,minLSTM和minGRU的门也将与时间相关,从而对更复杂的函数进行建模。下表比较了不同层数的模型在选择性复制任务上的性能。我们可以看到时间依赖性的影响:将层数增加会大大提高模型的性能。

突触动力学如何启发对大脑神经网络的认识?

外部的输入可以有很多不同的可能性,这里简化分析外部函数为高斯函数(www.e993.com)2024年11月2日。研究发现给高斯函数输入时连续吸引子一般不会被破坏,但是如果外部输入函数在移动,连续吸引子网络怎么反应?Z0是外部输入的位置,纵轴是不同输入的位置,横轴是时间。发现u会根据外部输入移动,并且有延迟。但是在大脑中,如果延迟累加以后,很可能就不能...

她是浪漫主义诗人拜伦的女儿,也是历史上第一位程序员

1839年,在她第三个孩子出生后的几个月里,埃达决定重新认真对待数学。她告诉巴贝奇,她想在伦敦找一个“数学导师”,但要求巴贝奇在打听时不要提到她的名字,大概是担心社会上的流言蜚语。这个导师就是奥古斯塔斯·德·摩根(AugustusDeMorgan),伦敦大学学院的第一位数学教授,著名逻辑学家,写过几本教科书,他不...

独创“有限元” ,开启无限可能---庆祝新中国成立75周年和中国科学...

著名数学家丘成桐曾在1998年指出:“中国近代数学能超越西方或与之并驾齐驱的有3个,陈省身的示性类、华罗庚的多复变函数和冯康的有限元计算。”巴布斯卡、利翁斯等国际知名数学家在相关文章中也都给予了高度评价。类似的评价很快得到许多国际同行的认同。这篇传世之作犹如暗夜里的一束火光,指引、温暖着那群30多岁...

丘成桐:数学及其在中国的发展

一个是陈省身教授在示性类(characteristicclass)方面的工作;一个是华罗庚在多复变函数方面的工作;一个是冯康在有限元计算方面的工作。我为什么单讲华先生在多复变函数方面的工作,这是我个人的偏见。华先生在数论方面的贡献是大的,可是华先生在数论方面的工作不能左右全世界在数论方面的发展,他在这方面的工...

释放比特自由——Wolfram的“一种新科学”介绍

本文是北京师范大学系统科学学院教授张江老师在参加完2007年Wolfram暑期学校后撰写的文章,介绍了计算机科学、数学家和理论物理学家StephenWolfram的开创性著作《一种新科学》(ANewKindofScience)中的基本概念,从元胞自动机到计算等价性原理,从计算宇宙到虚拟层级、自指。