熵与信息(三):麦克斯韦妖的百年纠葛
导致熵增的代价可以是别的守恒量,比如角动量的损耗。关于兰道尔原理,最关键的实验是2012年,由美国马里兰大学雅津斯基教授等科学家做出的。他们创造出另一种非常独特的装置,这个装置可以自发地吸收热涨落,把热能转化成机械能。如果只是考虑热力学熵的话,这个装置是违反了热力学第二定律的。因为这个装置不需要额外做...
ChatGPT一年电费高达2亿元,AI 为何如此耗电?| 钛媒体AGI深度
兰道尔原理连接起了信息和能量。更具体地说,它连接到了热力学第二定律上。因为逻辑上不可逆的信息处理操作,也就意味着湮灭了信息,这会导致物理世界中熵的增加,从而消耗能量。这一原理自提出以来遭受过不少质疑。但近十几年来,“兰道尔原理”已被实验证明。2012年,《自然》杂志发表了一篇文章,研究团队首次测量到...
AI 正在“吸干”全球电力?算力与电力的抉择
放到AI大模型中,我们可以从兰道尔原理中推导出一个很简单的推论:模型的参数量越大、需要处理的数据越多,所需的计算量、所消耗的能量也就越大,释放的热量也就越多。在大模型预训练阶段,首先需要“喂”给计算机大量处理标记过的文本数据;然后在精心调校的模型架构中,处理输入的数据,尝试生成输出;根据输出成果...
深度长文:解读麦克斯韦妖,信息也是物理实体?(建议收藏)
随着时间的推移,到了1961年,物理学家兰道尔提出了兰道尔原理:计算机在删除信息的过程中会对环境释放出极少的热量,必然有电能转换成了热能被释放到环境中,这也是我们的电脑不断发热的原因,该热量的数值与环境温度成正比,删除信息的过程电能转变成热能是不可逆的热力学过程,因此计算机通过计算而散发热量的过程也是不可逆...
抢电、圈地、对赌,深聊科技巨头的千亿美元AI能源大战
1961年,为IBM效力的物理学家RolfLandauer提出了Landauer'sPrinciple(兰道尔原理)。指出计算机中存储的信息发生不可逆的变化时,系统的熵会增加,且伴随着能量的耗散。简单来说,处理信息是有能量成本的。1.1AI训练与推理:处理信息能量成本自从生成式AI确立使用Transformer架构并遵循“Scalinglaw”用巨量参数以来,AI...
理解计算的物理成本:计算热力学的突破
兰道尔原理和现实世界中的计算该领域的一块基石是1961年制定的兰道尔原理(www.e993.com)2024年9月18日。它假设擦除1位信息需要至少耗散kTln(2)的能量,其中k是玻尔兹曼常数,T是绝对温度。该原理强调了与计算相关的固有能量成本。但是,它假设了一个非常具体的场景:可逆计算,其中信息擦除可以完美撤销。
在疯狂的脑洞世界中发现答案
然而门罗却说:“再荒诞的问题,都可能有更多符合科学原理的答案。”当这些问题抛给门罗之后,就像一封被投递到解忧杂货店的信,总能神奇般地收到回复,并且还总能将不切实际的脑洞引入到合理的科学解释。比如有一个5岁的孩子问道:Q:如果月球和地球之间有一根滑杆,那么从月球滑到地球需要多长时间?
中科大80后教授陆朝阳获美国物理学会设立的量子计算奖
罗夫·兰道尔和查尔斯·本内特量子计算奖由美国物理学会在2015年设立,以纪念两位在信息学和物理学领域做出奠基性贡献的科学家。前者提出著名的兰道尔原理,在平衡态擦除1比特信息所需的最小能量为kTln2(k为玻尔兹曼常数,T为环境温度),并由此给出了计算机的理论能耗下限。后者则是量子密钥分发和量子隐形传态方...
一次训练就消耗2.4亿度电!AI 正在耗干全球电力?
兰道尔原理连接起了信息和能量;更具体地说,连接到了热力学第二定律上。因为逻辑上不可逆的信息处理操作,也就意味着湮灭了信息,这会导致物理世界中熵的增加,从而消耗能量。这一原理自提出以来遭受过不少质疑。但是近十几年来,兰道尔原理已被实验证明。2012年,《自然》杂志发表了一篇文章,研究团队首次测量到了一“...
潮人新知|一次训练耗电2400万度,AI发展正在消耗大量能源!
兰道尔原理连接起了“信息”和“能量”,简单地说,就是信息处理操作,会导致物理世界中熵(热力学中表征物质状态的参量之一)的增加,从而消耗能量。这一原理自提出以来曾遭受过不少质疑。但是近年来,兰道尔原理已被实验证明。2012年,《自然》杂志上发表了一篇文章,研究团队首次测量到了一“位”(bit,是计算机中最基本...