科大讯飞与华为发布专属大模型软硬件一体机,对标英伟达A100
在大模型训练中最为流行的英伟达DGXA100,其单节点包含8块GPU,可以输出5PetaFLOPS的FP16算力。上月,科大讯飞公布讯飞星火将与昇腾AI联合,打造基于中国自主创新的通用智能新底座。一方面,讯飞星火认知大模型基于训练推理一体化设计,实现大模型稀疏化、低精度量化的技术突破,能高效适配昇腾AI,加速大模型的行业落地...
利润暴涨628%,AI霸主英伟达全产业链投资图鉴|智氪
英伟达概念投资,主要是围绕英伟达王牌产品如DGXGB200SuperPod机架级液冷服务器等的产业链构成以及对应供应链公司展开。从产业链构成上来看,我们常说的H100、A100实际上是GPU板卡,主要包括GPU芯片、HBM等电子元器件,在此基础上,多个GPU+CPU+SSD组成AI服务器,多个AI服务器+交换机+机架,又组成服务器集群。具体到AI...
黄仁勋亲自给OpenAI送货,全球首台DGX H200开箱了
在此之后,英伟达陆续推出了DGX-2(Volta架构)、DGXA100服务器(Ampere架构),持续引领了AI算力的最高水平。今天赠送给OpenAI的DGXH200,是去年11月在全球超算大会上推出的最新产品。英伟达在官方博客中曾表示:H200TensorCoreGPU具有改变游戏规则的性能和内存功能,可增强生成式AI和高性能...
英伟达与云巨头必有一战
在今年发表的一份研究报告中,谷歌称已将4000个TPUv4串联在一起,构建了一台超级计算机,这台超级计算机的运行速度要比采用英伟达A100GPU的同等机器快1.7倍,效率高出1.9倍。亚马逊也有自研芯片的传统,这不仅是针对英伟达,而是针对所有芯片厂商。目前,亚马逊已经推出了四个系列的自研芯片——网络芯片Nitro系列,服务器...
电子行业研究报告:Al驱动,电子行业开启向上新周期
英伟达DGXA100、英伟达DGXH100的PCB板组成架构,最终计算得到普通服务器的PCB价值量为1125元,而以英伟达DGXAI服务器为代表的设备PCB价值量达到7000~10000元,并且英伟达的AI服务器产品仍在升级迭代中(2024年即将发布B100产品),可见AI服务器的增长为服务器PCB价值量提升提供强劲...
解析AI算力竞赛背后的“冷静守护者”:液冷技术为何成数据中心新宠?
此外,单机柜功率不断增长,逼近风冷散热极限(www.e993.com)2024年7月31日。英伟达DGXA100服务器单机最大功率约在6.5KW左右,在机柜上架率不变的情况下,服务器功率上升导致单机柜功率亦不断增长,逼近风冷12KW—15KW散热极限,继续采用风冷散热,将导致行间空调需求数量陡增,高密度散热场景下液冷方案成本和性能优势显著。
AI算力租赁行业研究:时势造英雄,宜谋定而后动
GPT-3模型训练使用了128台英伟达A100服务器(训练34天),对应640P算力,GPT-4模型训练使用了3125台英伟达A100服务器(训练90-100天),对应15625P算力。从GPT-3至GPT-4模型参数规模增加约10倍,但用于训练的GPU数量增加了近24倍(且不考虑模型训练时间的增长)。短期来看,我们考虑国内15家头部大模型厂商对标GPT-3模型...
千亿ODM巨头纬创的发展史、产业布局及投资版图
资料来源:wind随着人工智能的兴起,纬颖也加大了在AI服务器领域的布局。目前公司已经成为英伟达A100、H100、HGXL6、DGXL10等多个系列AI服务器的主力供应商。除了英伟达外,纬颖近期又拿下了AMD的大单,成为了AMDMI300芯片AI服务器的供应商。据纬颖披露,在2022年公司的AI服务器营收已达到150亿新台币。而今年已到手...
光模块行业专题报告:光电之门,踏浪前行
H100SuperPOD每个单元包括32个节点(DGXH100服务器),最大支持4个单元组成集群,两层交换架构;A100SuperPOD每个单元包括20个节点(DGXA100服务器),最大支持7个单元组成集群,超过5个单元需要三层交换架构。我们基于两层网络架构,使用A100+ConnectX6+QM8700进行组网的假设,测算A100GPU...
通信行业专题报告:算力底座,算力承载与网络中枢
市场规模:根据测算,2022年中国AI芯片市场中,英伟达GPU模约为150亿;总量:按照10万/片,共计A100芯片15万片A100芯片;算力:按照单台DGXA100算力为5PFLOPS计算,折合1.9万个英伟达A100AI服务器;可提供95Eflops算力。依据1:2022年我国AI芯片市场300亿元;从我国AI芯片市场规模细分来看,其中2022年中国云端领域芯片市...