真的有人能在推理环节替代英伟达吗?

不同之处在于,海外网友稍微讲一点常识,知道英伟达在训练领域的壁垒实在太高、牢不可破,所以他们主要从推理环节入手:可以针对大模型推理开发某种高度特化的“推理专用卡”,在性能或性价比上超越英伟达,而且已经有人做到了。这些观点经常被翻译为中文,不过翻译者经常有意地把其中的海外芯片创业公司的名字偷换成A股上市公司...

英伟达断供,国产GPU能打吗?

8月初,壁仞科技在上海发布了首款通用GPUBR100,该芯片集成了770亿个晶体管,其16位(半精度,英伟达最先进的芯片达到64位,双精度)浮点算力能达到1000T以上、8位定点算力能达到2000T以上,单芯片峰值算力达到了每秒千万次计算(PFLOPS)的级别。虽然这款芯片只有半精度级别,但作为对比同样7nm制程的英伟达A100芯片在8位...

英伟达最强通用大模型Nemotron-4登场!15B击败62B,目标单张A100/...

新智元导读许久未更新大模型的英伟达推出了150亿参数的Nemotron-4,目标是打造一个能在单个A100/H100可跑的通用大模型。最近,英伟达团队推出了全新的模型Nemotron-4,150亿参数,在8Ttoken上完成了训练。值得一提的是,Nemotron-4在英语、多语言和编码任务方面令人印象深刻。论文地址:httpsarxiv/abs...

围剿英伟达|深氪

2022年9月，A100/H00禁止向中国出口，英伟达推出阉割版本A800/H800；2023年10月，A800/H800/L40/L40S/RTX4090被禁止向中国出口；2024年6月，英伟达创始人黄仁勋称，将向中国推送阉割版本的L20、H20芯片。然而，阉割版本引发了行业更激烈的声讨。英伟达即将推送的H20，价格虽是英伟达H100的一半，性能却前者只有1/3。

详解AI芯片参数,英伟达凭啥不能被替代?

答案当然不是,但使用英伟达的芯片,目前仍然是训练和运行大模型的最优选择。这种优势体现在四个方面,包括硬件性能、软件生态、适用范围和整体性价比。首先是硬件性能。以英伟达在2020年5月发布的NVIDIAA100GPU为例,这款芯片采用7nm制程和NVIDIAAmpere架构,拥有540亿个晶体管和6912个CUDA核心,最高可以提供80GB的GP...

AI将爆发哪些超级应用?

特斯拉的DOJO智算中心,预计到2024年10月,总算力将达到100,000PFLOPS,相当于约30万块英伟达A100的算力总和(www.e993.com)2024年11月25日。国内,商汤位于上海临港的上海人工智能计算中心(AIDC)算力已达到14,000PFLOPS(截至今年8月);华为车Bu的ADS训练算力达3,500PFLOPS(截至今年7月);理想训练算力达5,390PFLOPS(截至今年8月)。特斯拉掀起“端...

英伟达首次将华为列为芯片领域头号劲敌,黄仁勋警告:下一代GPU将很...

科大讯飞创始人刘庆峰去年8月曾表示,华为的GPU能力已经可以对标英伟达A100。分析师估计,中国的人工智能芯片市场,总价值高达70亿美元。报道提到,在美国政府收紧出口,限制美商对中国供应先进AI芯片前,中国搜索引擎巨擘百度已向华为订购1600片昇腾910B芯片,华为截至10月已交付六成订单。

黄仁勋扔重磅“核弹”,英伟达发布全新RTX 500和1000 GPU芯片,AIGC...

随着英伟达A100、H100芯片的成功量产，英伟达正瞄向AI超算云NvidiaDGXCloud、AI软件栈NvidiaAIEnterprise等全新业务。黄仁勋早前表示，生成式AI使每个（软件）企业都拥抱加速计算，提高吞吐量，而英伟达将利用NvidiaAIEnterprise，对这些企业所有的软件堆栈进行管理、优化、修补。而谷歌成为了NvidiaAI...

英伟达AI芯片市占率达90%!竞争对手挑战难度大

英伟达AI芯片市占率达90%!竞争对手挑战难度大根据最新数据,作为人工智能领域的领导者,英伟达(NVIDIA)在全球人工智能芯片市场的市占率预计最高可能已经达到了90%,创下新高纪录。这一成就得益于过去一年间生成式AI需求的爆发性增长。在人工智能加速芯片市场中,英伟达的A100/H100系列AIGPU成为了市场的首选产品。研究...

英伟达也在下一盘AIPC的大棋

可以在单个NVIDIARTX4090GPU上运行大型语言模型(LLM),达到平均每秒产生13.20个token的速度,峰值速度更是高达29.08tokens/s,这与顶尖的A100GPU服务器性能相差无几,仅低18%,适用于多种LLM应用场景。PC端GPU在AI加持下虽然机遇巨大。但在AIPC的大潮流中竞争也比高端GPU更激烈。