对话英伟达产品经理:AI推理相比6年前已提速3000倍,效率提升将是...
从她在eBay优化V100推理以用于ResNet-50模型进行图像搜索开始,她见证了诸如多效率提升实例,如GPU推理实现完美硬件并行性、量化感知训练(最近由NoamShazeer在CharacterAI离职前强调)以及模型蒸馏(最近由Llama3.1论文突出强调)等众多改进。这些技术与基础硬件的进步(从V100到A100再到H100以及GH200)相结合,理论上使得现在...
文具店“书皮”生意遇冷,智能文具搜索量上涨13倍|中国文化会
零售平台美团数据显示,近期“智能文具”相关的关键词搜索量环比增长13倍,同比增长近5倍。文具店店主孙先生表示,这几年通过即时零售的方式,借助本地即时配送网络扩大了潜在客群和服务半径,有力补充了门店的生意。此前电能并不销售这类智能文具,但平台辐射到更多消费者,这类新奇的产品也开始有了稳定的销量。“开...
黄仁勋:英伟达GPU芯片8年算力增长1000倍,能耗降低了350倍!
“通过结合GPU和CPU可以加速计算。我们可以让计算速度加快100倍,但功耗只增加了大约三倍,成本只增加了约50%。”黄仁勋表示,英伟达在PC行业一直这样做,比如在1000美元PC上加一个500美元GeForceGPU,性能会大幅提升。在数据中心领域,英伟达也是这样做的,10亿美元的数据中心增加了5亿美元的GPU,它一下子变...
黄仁勋GTC演讲全文来了!最强AI芯片Blackwell问世,推理能力提升30倍
发布会上,黄仁勋介绍了全新芯片Blackwell,他称Blackwell的推理能力是惊人的,相较于前代产品H100有着惊人的提升,是Hopper的30倍。英伟达表示,Blackwell架构的GPU预计将于今年晚些时候发货。Blackwell以美国数学家和博弈论学家DavidBlackwell命名,继承了HopperGPU架构,拥有2080亿个晶体管,是英伟达首个采用多芯...
AI的迭代比人脑快200倍,你的工作还吃的消?
在最近的三个月里,上市公司的财报电话会议中频繁提及AI的现象引人注目。几乎是最常出现的一个词。它所出现的频率,要比这些buzzword:AR、Crypto、AR、Blockchain的词频高出5倍还不止。清华博士的抖音网红“李一舟”,趁着ChatGPT的热度,通过售卖AI课收入高达5000万的相关信息刷屏网络,不少人质疑类似的课程是在“...
英伟达被“偷家”?全新LPU芯片传闻比GPU快十倍
芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500tokens,碾压ChatGPT-3.5大约40tokens/秒的速度——短短几天,一家名为Groq的初创公司在AI圈爆火(www.e993.com)2024年9月19日。相比其他AI聊天机器人,Groq闪电般的响应速度迅速引爆互联网讨论。经过网友测试,Groq每秒生成速度接近500tok/s,碾压GPT-4的40...
这只杯子,让麦当劳关注度暴涨100倍,全球网友都想要,只因它会变色?
一、一只变色杯,让麦当劳关注度暴涨超100倍1月10日,麦当劳新加坡官方Instagram账号发布的一则有关变色杯的帖子,点赞量达到15.3万。作为一个23万粉丝的区域账号,单篇帖子日常点赞量在500至1000左右,而这只变色杯的关注度,至少比麦当劳日常点赞量高出100倍。
抢到免费券无法使用?华莱士回应:套餐券被非法领取,已报警
华莱士点餐小程序出现故障,大量用户领取到免费套餐券。对此,华莱士回应:套餐券被非法领取,已报警;阿嬷手作发声明辟谣开放加盟。详情请看红餐网《每日餐讯》。头部企业动向抢到免费券无法使用?华莱士回应:套餐券被非法领取,已报警南方都市报消息,2月19日,华莱士点餐小程序出现故障,大量用户领取到免费套餐券。多名...
AI芯片黑马一夜爆红:成本推算争议不断,前员工现员工互撕
1秒内写出数百个单词,输出tokens吞吐量最高比竞品快18倍按照Groq的说法,其AI推理芯片能将运行大语言模型的速度提高10倍、能效提高10倍。要体验LPU上的大语言模型,需先创建一个Groq账户。输入提示词“美国最好的披萨是什么?”跑在LPU上的Mixtral模型飞速给出回答,比以前慢慢生成一行一行字的体验好很多。
Kimi掀起大模型长文本竞赛, eVOLT 产业加速落地——全球产业趋势...
近期市场交易热点主要围绕人工智能、存储展开。产业趋势方面,Kimi长文本输入量提升十倍,国内AI应用商业化加速;政府密集出台低空经济政策,全球eVOLT产业加速落地。政策端,我们梳理了低空经济的政策