击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了
Llama3.1将上下文长度扩展到了128K，拥有8B、70B和405B三个版本，再次以一已之力抬高了大模型赛道的竞争标准。
对AI社区来说，Llama3.1405B最重要的意义是刷新了开源基础模型的能力上限，Meta官方称，在一系列任务中，其性能可与最好的闭源模型相媲美。
下表展示了当前Llama3系列模型在关键基准测试上的性能。可以看出，405B模型的性能与GPT-4o十分接近。
与此同时，Meta公布了《TheLlama3HerdofModels》论文，揭示了Llama3系列模型迄今为止的研究细节。
论文地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
接下来，让我们看一下论文内容。
Llama3论文亮点
1、在使用8K上下文长度进行预训练后，Llama3.1405B使用128K上下文长度进行连续训练，且支持多语言和工具使用。
2、与以前的Llama模型相比，Meta加强了预处理和预训练数据的Curationpipelines，以及后训练数据的质量保证和过滤方法。
Meta认为，高质量基础模型的开发有三个关键杠杆：数据、规模和复杂性管理。
首先，与Llama的早期版本相比，Meta在数量和质量两方面改进了用于预训练和后训练的数据。Meta在大约15万亿的多语言Token语料库上对Llama3进行了预训练，相比之下，Llama2只使用了1.8万亿Token。
此次训练的模型规模远大于以前的Llama模型：旗舰语言模型使用了3.8×10²⁵次浮点运算（FLOPs）进行预训练，超过Llama2的最大版本近50倍。
基于Scalinglaw，在Meta的训练预算下，当前的旗舰模型已是近似计算最优的规模，但Meta对较小模型进行的训练时间已经远超计算最优的时长。结果表明，这些较小模型在相同推理预算下的表现优于计算最优模型。在后训练阶段，Meta使用了405B的旗舰模型进一步提高了70B和8B模型这些较小模型的质量。
3、为了支持405B模型的大规模生产推理，Meta将16位(BF16)量化为8位(FP8)，从而降低了计算要求，并使模型能够在单个服务器节点上运行。
4、在15.6Ttoken（3.8x10²⁵ FLOPs）上预训练405B是一项重大挑战，Meta优化了整个训练堆栈，并使用了超过16KH100GPU。
正如PyTorch创始人、Meta杰出工程师SoumithChintala所说，Llama3论文揭示了许多很酷的细节，其中之一就是基础设施的构建。
5、在后训练中，Meta通过多轮对齐来完善Chat模型，其中包括监督微调（SFT）、拒绝采样和直接偏好优化。大多数SFT样本由合成数据生成。
研究者在设计中做出了一些选择，以最大化模型开发过程的可扩展性。例如，选择标准的密集Transformer模型架构，只进行了少量调整，而不是采用专家混合模型，以最大限度地提高训练的稳定性。同样，采用相对简单的后训练程序，基于监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO），而不是更复杂的强化学习算法，因为后者往往稳定性较差且更难扩展。
6、作为Llama3开发过程的一部分，Meta团队还开发了模型的多模态扩展，使其具备图像识别、视频识别和语音理解的能力。这些模型仍在积极开发中，尚未准备好发布，但论文展示了对这些多模态模型进行初步实验的结果。
7、Meta更新了许可证，允许开发者使用Llama模型的输出结果来增强其他模型。
在这篇论文的最后，我们还看到了长长的贡献者名单：
这一系列因素，最终造就了今天的Llama3系列。
当然，对于普通开发者来说，如何利用405B规模的模型是一项挑战，需要大量的计算资源和专业知识。
发布之后，Llama3.1的生态系统已准备就绪，超过25个合作伙伴提供了可与最新模型搭配使用的服务，包括亚马逊云科技、NVIDIA、Databricks、Groq、Dell、Azure、GoogleCloud和Snowflake等。
更多技术细节，可参考原论文。
