AI 正在“吸干”全球电力?算力与电力的抉择
放到AI大模型中,我们可以从兰道尔原理中推导出一个很简单的推论:模型的参数量越大、需要处理的数据越多,所需的计算量、所消耗的能量也就越大,释放的热量也就越多。在大模型预训练阶段,首先需要“喂”给计算机大量处理标记过的文本数据;然后在精心调校的模型架构中,处理输入的数据,尝试生成输出;根据输出成果与预想...
抢电、圈地、对赌,深聊科技巨头的千亿美元AI能源大战
1961年,为IBM效力的物理学家RolfLandauer提出了Landauer'sPrinciple(兰道尔原理)。指出计算机中存储的信息发生不可逆的变化时,系统的熵会增加,且伴随着能量的耗散。简单来说,处理信息是有能量成本的。1.1AI训练与推理:处理信息能量成本自从生成式AI确立使用Transformer架构并遵循“Scalinglaw”用巨量参数以来,AI...
1次训练用电2.4亿度,AI 为什么那么耗电?
无论是训练还是推理阶段,都是一连串信息重组过程,也同样遵循兰道尔原理。而我们也不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量也就越大,所消耗的能量也就越大,释放的热量也就越多。只不过,这只是AI耗电中微不足道的一小部分。更大的消耗来自另一个我们更熟悉的物理定律:焦耳定律。这就...
一次训练就消耗2.4亿度电!AI 正在耗干全球电力?
无论是训练还是推理阶段,都是一连串信息重组过程,也同样遵循兰道尔原理。而我们也不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量也就越大,所消耗的能量也就越大,释放的热量也就越多。只不过,这只是AI耗电中微不足道的一小部分。更大的消耗来自另一个我们更熟悉的物理定律:焦耳定律。这就要...
1次训练2.4亿度电,AI为什么那么耗电?
无论是训练还是推理阶段,都是一连串信息重组过程,也同样遵循兰道尔原理。而我们也不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量也就越大,所消耗的能量也就越大,释放的热量也就越多。只不过,这只是AI耗电中微不足道的一小部分。更大的消耗来自另一个我们更熟悉的物理定律:焦耳定律。这就要从集...