无心插柳:苏联数学家柯尔莫哥洛夫与神经网络的新生

他们的成果被称为柯尔莫哥洛夫-阿诺德表示定理,或柯尔莫哥洛夫叠加定理,有时也被称为阿诺德-柯尔莫哥洛夫叠加(AK叠加),因为是阿诺德完成了最后的临门一脚。本文中以下统称KA叠加定理或KA表示定理。柯尔莫哥洛夫的本意不完全是为了解决希尔伯特第13问题,但叠加定理事实上构成了对希尔伯特对第13问题原来猜测的(基本)否定...

MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压...

柯尔莫哥洛夫-阿诺德定理(Kolmogorov–Arnoldrepresentationtheorem)指出,如果f是一个定义在有界域上的多变量连续函数,那么该函数就可以表示为多个单变量、加法连续函数的有限组合。对于机器学习来说,该问题可以描述为:学习高维函数的过程可以简化成学习多项式数量的一维函数。但这些一维函数可能是非光滑的,甚至是分形...

被数学选中的人:现代概率论之父柯尔莫哥洛夫

在具体情况下，可以认为Ω=RA（A是任意集合），但为了在这种情况下达成目的，柯尔莫哥洛夫也证明了构成P的定理，这便是著名的柯尔莫哥洛夫的扩展定理。过去对于具体测度一般仅考虑Rn上的勒贝格-斯蒂尔杰斯测度和李群上的不变测度，但根据柯尔莫哥洛夫测度论基础上的概率论，新型概率测度和与此相关的全新问题通...

柯尔莫哥洛夫的数学教育论

柯尔莫哥洛夫认为,有一些父母或教师会从10~12岁的学生中寻找具有数学才华的人,这种做法可能会毁掉学生的前途。但到了14~16岁这个年龄段,事情就大不相同了,学生会明确表现出对数学和物理的兴趣。根据柯尔莫哥洛夫在高中教数学和物理的经验,差不多有半数学生认为数学和物理对自身没什么实际应用价值。他认为针对这样...

为什么“压缩即智能”?算法信息论与大模型、生命、智能的联系

柯尔莫哥洛夫复杂度(KolmogorovComplexity)即柯式复杂度,是算法信息论中的核心概念,用于量化对象的复杂性,是指在通用图灵机上最短的信息描述表达。一些柯氏复杂度的例子:11111111111112次重复11231231231234次重复123331213221312331213221312172579241727(3n-2)forn=1to6...

席南华:基础数学的一些过去和现状

谈论整个数学或者基础数学的发展趋势已经超出一个人的能力,庞加莱和希尔伯特被认为是数学领域最后两个全才(www.e993.com)2024年11月22日。后来还有一些杰出的数学家如外尔、冯·诺依曼、柯尔莫哥洛夫和I.M.盖尔范德等对纯数学和应用数学都做出巨大的贡献,但现在这样的数学家也很难寻到了。

...所罗门诺夫:大语言模型的先知|香农|所罗门诺夫|柯尔莫哥洛夫...

这个不变性定理有时也被称为“柯尔莫哥洛夫论题”(KolmogorovThesis)。越来越多的证据表明柯尔莫哥洛夫复杂性(如果能算出来的话)要比香农熵更加靠谱,例如一个图的结构熵会因为图的表示不同而变化,而这个图的柯尔莫哥洛夫复杂度应该是不变的。柯尔莫哥洛夫后来注意到所罗门诺夫的工作,他在1968年分别用俄文和...

统计学神书之后,国内概率论教材的天花板来了!

论应用于数以百计实际问题的经验,我们对概率论基础的看法已经变得非常复杂,不能简单地使用“是此非彼”这样的词语来表述.比如,我们的概率系统在风格、哲学和目标上都与柯尔莫哥洛夫系统截然不同.我们认为“通过分析不完全信息的逻辑来分配概率的原则”在概率论中占至少一半的比重,而这一原则在柯尔莫哥洛夫系统中...

【猴年说猴】无限猴子定理

无限猴子定理是来自波莱尔一本1909年出版谈概率的书籍,当中介绍了“打字的猴子”的概念。这个定理是概率论中的柯尔莫哥洛夫的零一律的其中一个命题的例子。零一律是概率论中的一个定律,它是安德雷·柯尔莫哥洛夫发现的。其内容是:有些事件发生的概率不是几乎一(肯定发生),就是几乎零(肯定不发生)。这样的事件被...

俄美两位同龄天才,影响了 20 世纪数学

他对数学终生矢志不渝,因为数学中的定理只需一个证明就够了!在不到20岁时,年轻的柯尔莫哥洛夫就证明出有关集合论以及三角级数的几个重要结果。1922年,他构造出一个几乎处处发散的傅里叶级数,成了冉冉升起的一颗数学新星。从那时起,他决定一生献给数学,这是数学的幸运,却是历史学的损失。到了大学四年级...