李彦宏称未来大模型差距或会变大
2024-09-11 18:02:01 - 第一财经
#李彦宏戳破大模型跑分假象#【#李彦宏称未来大模型差距或会变大#】每当有新版本的大模型发布时，业界总是热衷于引用第三方榜单数据，拿自家大模型和GPT-4一起"跑个分"，声称已经在某些指标上实现了超越，以此来证明自己的大模型技术实力。
但在近日百度董事长李彦宏和内部员工的一场交流中，捅破了大模型行业跑分的"窗户纸"。"每次新模型发布，都要和GPT-4o做比较，说我的得分已经跟它差不多了，甚至某些单项上得分已经超过它了，但这并不表明和最先进的模型就没有差距了。"
他进一步解释道，模型之间的差距是多维度的。一个维度是能力方面，不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距；另一个维度是成本方面，有些模型虽能达到同样效果，但成本高、推理速度慢，其实还是不如先进模型。
"还有就是对于测试集的over-fitting，每一个想证明自己能力的模型都会去打榜，打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧就能做对，所以从榜单或者测试集上看，你觉得能力已经很接近了，但到实际应用中还是有明显差距的。"李彦宏说。
而对于大模型行业常常提到的"领先12个月或者落后18个月"，他认为也没有那么重要。因为每个公司都处在完全竞争的市场环境中，不管做什么方向都有很多竞争对手。"如果你能永远保证领先对手12~18个月，那是天下无敌的，不要觉得12—18个月是很短的时间，哪怕你能保证永远领先竞争对手6个月，那就赢了，你的市场份额可能是70%，而对手可能仅为20%甚至10%的份额。"
他判断，未来大模型之间的差距可能会越来越大。因为大模型的天花板很高，现在距离理想情况还相差非常远，所以模型要不断快速迭代、更新和升级；需要能几年、十几年如一日地投入，不断满足用户需求，降本增效。