LLM沉思:无监督学习的理论基础是啥?
统计学习中著名的Hoeffding不等式,含义:当训练误差足够低且训练样本数远大于「模型自由度」(模型规模)时,测试误差也能保证足够低。理论第一,宏观上,「万能近似定理」(UniversalApproaximationTheorem)早已论证深层神经网络可以逼近任意函数。第二,深度学习革命证明,只要有足够带标签数据,神经网络就可以让「老母鸡...
用最直观的动画,讲解LLM如何存储事实,3Blue1Brown的视频又火了
这些知识就是模型预测下一token的依据。需要注意的是,这些向量编码的并不仅仅是单个词汇,而是会在信息在网络中流动时根据周围的环境和模型的知识吸收更加丰富的含义。总之,每一个向量编码的信息都远远超过了单个词汇的含义,如此模型才能预测接下是什么。而存储这些信息就是MLP(注意力的作用是将上下文结合在一起...
数论中最重要的未解之谜,我们正在接近它的答案
他提出的“质数定理”表明,从0到n的区间中大约会出现n/ln(n)个质数(这一定理在100年后才被证明)。换句话说,质数定理使数学家得以估算质数在数轴上的典型分布。质数的确切数量可能与定理所给出的估计值有所不同。例如,根据质数定理,在1到100之间大约有100/ln(100)≈22个质数,但实际上有25个,即存在3个...
100个红绿球,让2万人集体翻车,数学家“罐中难题”引爆全网讨论
但若是,根据二项分布来选择球的颜色——即通过抛硬币来选择每个球的颜色。那么,即便你知道了第一个球是红色的,但对下一个球来说,没有什么含义,进而不会影响后续抽取概率。修改起始分布非常容易,这样就能获得红色、绿色、或可能性等同的三种答案中的一种。如果调整分布,就会完全改变答案,因此,一个人的直觉必...
苏振华、赵鼎新 | 重新思考群己权界:帕累托自由 不可能性定理考辩
六、森定理的现实意义可以总结一下:森定理证明了人们习以为常的关于对自由的两种理解之间会存在冲突,从而提出了一个审视群己权界的新视角。森定理所论证的核心思想是:消解自由悖论,需要清晰界定人之权利或自由边界。在界定自由边界的过程中,对森定理的回应,应立足于如下几项认知。第一,自由或权利并非先验地存在,...
《怪诞脑科学》:到底什么才是人?
这次所发表的新AI用这位伟大数学家的名字命名,大家应该能推测出它具备什么样的能力了吧——就是像拉马努金一样提出各种数学定理,但并不会去证明它们(严格来说,这些不是“定理”而是“猜想”)(www.e993.com)2024年9月7日。也就是说,这个AI的作用就是为专业数学家生成“题库”。
告天下学子书【上】:线性代数的中国起源,外星人是蛮夷
但是,在1823年马礼逊的《华英字典》第三本第20页中,这个Alien的原始含义是什么呢?竟然是“夷人”、“番人”,“外国的人”。所谓夷人,本意是指蛮夷,没有开化、或半开化的部落,距离文明和领先甚远,但是西人在后来修改字典时,故意将其“夷人”、“番人”的含义去掉,而代之以“外星人”的含义,同时保留“外...
高考最高分如何炼成?听听学霸的分享
文言文常识和名句默写方面,孙茹认为,注意一词多义以及一些与现代含义截然不同的古词,从而能在考试中更好地理解古文的含义。“高考是青春的一次华丽转身,未来就在眼前。预祝同学们高考顺利,能够取得让自己满意的成绩。”数学:重要的公式定理一定要记牢2023级历史文化学院辛晨航高考数学考取136分的满意成绩。他建议...
对量子物理基础的新视角:从量子信息理论到量子因果
用于原理验证的LF测试已经被展示过了[5,6],但充当“观察者”的是单个比特。问题在于,如果越来越复杂的系统被当做观察者,还能否得到相同的结果。LF定理意味着要么LF是错误的,要么违反这些不等式对于真正意义上的观察者来说是完全不可能的。但确定什么算得上是观察者或一次观察是一个根本性的难题。然而,一个实验...
真正的高手,都是贝叶斯主义者
贝叶斯定理的来源就像巴菲特所言:“潮水退去,才知道谁在裸泳”。“裸泳”有两层含义:第一层是指某些人的成功大概率是归于运气,而非能力,运气没了,自然所剩无几。第二层是指看起来真正有价值的东西,其实未必真正有价值。在我看来,贝叶斯定理就是这个世界上最真实的、最有价值的、最接近真理的事物之一。尤其在...