什么能让算力服务器工作状态更佳?“泡个澡”

据国网能源研究院的测算,我国数据中心用电量在2020年突破2000亿千瓦时,占全社会用电量约2.7%,预计到2030年还将增长到4000亿千瓦时,用电量占比也将提高到3.7%。电能利用效率(PUE),是指数据中心运行总能耗(包括IT设备耗电与散热、照明耗电)/IT设备能耗。科智咨询数据显示,制冷系统的能耗占数据中心能耗的30%至40...

...GB200 NVL36 / NVL72 机柜产品:出货量存在挑战、耗电量大短期...

GB200NVL36和NVL72耗电量太大,大部分数据中心短期内无法部署根据集邦科技预测,AI服务器占整体服务器出货量在2024与2025年的出货占比分别约8.8%与12.2%。GB200NVL36的每个机柜耗电约80kW,而根据AMAX今年四月的调查,目前全球少于5%的资料中心可以支持每机柜50kW服务器。所以,购买...

算力中心建设提速,液冷服务器行业景气度持续提升

IDC在《中国半年度液冷服务器市场(2023全年)跟踪》报告中预计,2023年~2028年,中国液冷服务器市场年复合增长率将达到45.8%,2028年市场规模将达到102亿美元。科智咨询也预测,国内液冷基础设施市场规模2023年将达到32.2亿元,预计2023年-2027年复合增速56.1%,2027年将达到187.2亿元。市场规模的持续提升,让相关液冷设备公司...

日报:全球数据中心耗电量激增

据IEA统计,使用开放人工智能研究中心(OpenAI)的聊天生成预训练转换器(ChatGPT)进行一次对话会消耗2.9瓦时的电量,耗电量相当于普通谷歌搜索的10倍。荷兰研究人员2023年10月发布的数据显示,到2027年,新制造的生成式AI服务器耗电量将达到85.4至130太瓦时,相当于荷兰全国一整年的耗电量,也是日本2022年度核电站发电量的两...

1次训练用电2.4亿度,AI 为什么那么耗电?

容易算出，仅仅是这些GPU，一次训练就用了2.4亿度电。这些电能几乎全部转化成了热能，这些能量可以将大约200万立方米冰水——大概是1000个奥运会标准游泳池的水量——加热到沸腾。为什么AI需要用这么多的强大GPU来训练？因为大语言模型的规模实在太大。GPT-3模型拥有1750亿参数，而据推测，GPT-4拥有1.8万亿参数，...

智能算力驱动新型电力系统,年用电峰值破1.3万亿度新纪元

2030年中国智能计算年用电量峰值预测：挑战与机遇并存的1.3万亿度在算力时代的浪潮中，随着算力增长轨迹的日益清晰，其背后的能源消耗问题也愈发引人关注(www.e993.com)2024年11月15日。当我们深入探讨智算中心如何高效完成训练与推理任务时，不难发现，这一过程的能耗远不止于AI芯片本身。从服务器内部的CPU、网卡、供电单元，到服务器间的存储...

IT观察|赛迪顾问:从五年《先进计算企业竞争力研究》,看先进计算...

作为先进算力支撑,高性能算力基础设施正加速建设,耗电量也呈现激增态势。以智算中心为例,相比传统数据中心每机柜上架2U服务器,单机柜功率为3-5kW,智算中心的单卡功率在350-800W之间,按2U8卡设计,单机柜功率将在6-10kW,提升了将近100%。与此同时,据不完全统计,目前中国智算中心约400座,其中仅2024年上半年公开...

液冷AI服务器,出现瓶颈

据电力研究所估计,到2030年,数据中心可能消耗美国9%的电力,是目前的两倍。一个大型数据中心的用电量相当于数十万户家庭的用电量。人工智能不断增加的电力需求尤其令人担忧。早期的人工智能模型消耗的电量是谷歌搜索的十倍,而较新的芯片对能源的需求甚至更高。专家警告称,未来人工智能的发展可能会受到我们产生足够电...

算力基石贯穿AI长周期,服务器持续放量增长

6月12日,IDC发布的《2024第一季度中国x86服务器市场报告》显示,今年一季度中国x86服务器市场销售额同比增长23.3%,其中联想集团市场表现一骑绝尘,以远超市场近177个百分点的增速,一举跃升至中国第三大服务器厂商。在数字经济蓬勃发展背景下,算力作为IT基础设施核心,市场需求旺盛,带动服务器市场持续繁荣。联想集团作为...

ChatGPT每天消耗超过50万度电力,AI大模型有多耗能?|钛度图闻

研究显示，训练谷歌于2022年发布的大语言模型PaLM需要消耗3436兆瓦时的电量，约等于11.8万美国普通家庭日耗电量（美国普通家庭日均耗电量约为29千瓦时）；就算训练参数量为3.4亿的BERT模型，也需要消耗1.5兆瓦时的电量，相当于观看1875小时的流媒体。据了解，AI服务器和芯片是产生能耗最主要的地方。通用型服务器只...