熵与信息(三):麦克斯韦妖的百年纠葛
关于兰道尔原理,最关键的实验是2012年,由美国马里兰大学雅津斯基教授等科学家做出的。他们创造出另一种非常独特的装置,这个装置可以自发地吸收热涨落,把热能转化成机械能。如果只是考虑热力学熵的话,这个装置是违反了热力学第二定律的。因为这个装置不需要额外做功,就可以让热量变成机械能。不过,这个装置虽然不需要...
ChatGPT一年电费高达2亿元,AI 为何如此耗电?| 钛媒体AGI深度
实际上,AI本质上是一种计算机技术和处理信息的技术,背后则需要大量GPU芯片,更底层则是大量电能、水力、风能、资金等资源的支持。早在1961年,在IBM公司工作的物理学家拉尔夫·兰道尔(RolfLandauer)发表了一篇论文,提出了后来被称为“兰道尔原理”(Landauer'sPrinciple)的理论。这一理论认为,计算机中存储的信息发...
理解计算的物理成本:计算热力学的突破
兰道尔原理和现实世界中的计算该领域的一块基石是1961年制定的兰道尔原理。它假设擦除1位信息需要至少耗散kTln(2)的能量,其中k是玻尔兹曼常数,T是绝对温度。该原理强调了与计算相关的固有能量成本。但是,它假设了一个非常具体的场景:可逆计算,其中信息擦除可以完美撤销。实际上,大多数计算本质上是不可逆的。数...
抢电、圈地、对赌,深聊科技巨头的千亿美元AI能源大战
1961年,为IBM效力的物理学家RolfLandauer提出了Landauer'sPrinciple(兰道尔原理)。指出计算机中存储的信息发生不可逆的变化时,系统的熵会增加,且伴随着能量的耗散。简单来说,处理信息是有能量成本的。1.1AI训练与推理:处理信息能量成本自从生成式AI确立使用Transformer架构并遵循“Scalinglaw”用巨量参数以来,AI...
AI 正在“吸干”全球电力?算力与电力的抉择
兰道尔原理认为,即使是最简单的计算过程,也必然会产生热力学消耗现有的经典计算机几乎都是不可逆计算机,信息处理的操作逻辑上不可逆的,也就意味着信息不断消失也会导致物理世界中熵的增加,从而消耗能量。兰道尔认为,熵的减少只能用能量来交换。根据他的计算,即使是最简单的计算过程,比如删除一个字节,也必然会产生一...
在疯狂的脑洞世界中发现答案
还真的有(www.e993.com)2024年9月18日。这个人就是科普鬼才兰道尔·门罗,他还为此开设了“whatif”网站,专门回答那些稀奇古怪的问题。要知道,门罗可是为NASA制造过机器人(9.180,-0.08,-0.86%)的,甭管你多天马行空的问题,他都能给出一个很科学的答案。这些问答后来被整理成了这本:《whatif?那些古怪又让人忧心的问题》(以下简称《wha...
1次训练用电2.4亿度,AI 为什么那么耗电?
现在的电子计算机在计算时实际消耗的能量,是这个理论值的数亿倍。科学家们一直在努力寻找更高效的计算方法,以降低成本。不过从目前的研究进展情况来看,也许只有真正的室温超导材料能广泛应用于计算设备时,这个能耗才有可能离兰道尔原理所描述的理论值近一些。AI大模型确实需要大量计算。它的工作过程大致可以分为训练...
潮人新知|一次训练耗电2400万度,AI发展正在消耗大量能源!
大语言模型需要大量计算。它的工作过程大致可以分为训练和推理两个阶段。无论是训练还是推理,都是一连串信息重组的过程,因此都遵循兰道尔原理。于是我们不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量就越大,所消耗的能量也就越大,释放的热量也就越多。
一次训练就消耗2.4亿度电!AI 正在耗干全球电力?
现在的电子计算机在计算时实际消耗的能量,是这个理论值的数亿倍。科学家们一直在努力寻找更高效的计算方法,以降低成本。不过从目前的研究进展情况来看,也许只有真正的室温超导材料能广泛应用于计算设备时,这个能耗才有可能离兰道尔原理所描述的理论值近一些。
量子计算生天“可逆”吗?|量子计算群英会(三)
对早期的科学家来说,信息的概念十分缥缈抽象而空灵,直到香农的信息论问世,才将“信息“解释为不确定性的度量。兰道尔原理更为真实地将信息与物质及能量的概念联系起来,正如兰道尔经常告诫他的IBM同事:”信息不可避免地是物理的,信息植根于现实世界,必须通过应用严肃的物理定律来理解。”...