新V观海外：英伟达Blackwell GPU推动AI模型迈向10万亿参数级别
陈沛/文 英伟达在GTC24大会上发布了新一代GPU架构Blackwell。在单芯片性能上，Blackwell比当前主流的H100在FP8精度的训练性能上提升了2.5倍，在FP4精度的推理性能上提升了5倍。
在现场演示中，英伟达则是重点介绍了由2块BlackwellGPU加上1块GraceCPU堆叠形成的GB200大芯片，以及由72块GB200GPU和36块CPU组成的GB200NVL72液冷单机架解决方案，能够直接满足上万亿参数规模大模型的训练和推理需求。
要知道，当年开始涌现语言理解能力的GPT-3模型有1750亿参数，而如今最领先的GPT-4模型被认为有1.8万亿参数。因此可以设想，随着Blackwell到今年年底前逐步开始交付这段时期，10万亿参数以上的下一代AI模型或将很快落地。
到2025年后，英伟达或许还会继续发布下一代GPU架构R100，继续提速GPU架构的升级节奏。与此同时，AI学术界还在持续提出模型量化、数据压缩、剪枝等优化模型算法的前沿研究成果，未来几年AI的发展不会减速。
实际上，回顾过去十多年AI领域的变化，从2012年前后深度学习受到重视以来，预训练模型的基础架构经历了几次转变，提升AI模型性能的核心驱动力也几经转变。
从我最近看到Epoch等研究机构最新的研究结果来看，模型达到一定性能的算力需求每过8个月就会减半，这种算法优化的速度在过去十年间带动模型性能累计提升了2.2万倍。
而在2017年引入Transformer架构并成为主流基础模型以来，计算资源的增加则累计带动模型性能增加了100万倍，成为模型性能提升的最主要因素。
虽然这项研究在计算特定算法创新的收益、数据质量的可用性、模型性能评估的偏差等方面还存在一些局限性，但并不影响我们从整体上理解算法优化和算力提升在增强AI模型性能过程中所发挥的作用。
总而言之，算法优化的速度确实令人印象深刻，但算力规模的升级才是近年来AI模型性能提升背后更为重要的推手。因此，英伟达引领的AI芯片算力升级，必将成为推动10万亿参数模型落地的核心驱动因素。
在算力增长的预期下，我们可以期待AI模型在未来几年仍将继续以惊人的速度发展。10万亿参数模型的出现不仅会为我们带来更加智能的使用体验，还将在日常办公、专业写作、产品开发、视觉设计等工作任务中超过普通用户的水平，甚至在不久的将来能取代专业用户的作用，成为不可或缺的超级智能工具。