业界首发！中国移动《“弈衡”多模态大模型评测体系白皮书》正式亮相
7月6日，在2024世界人工智能大会期间，中国移动研究院联合北京邮电大学、北京市大数据中心、工信部赛迪研究院、国家电网、厦门大学、数据堂公司、浪潮集团和科大讯飞等头部企业、重点高校和科研机构共同发布《“弈衡”多模态大模型评测体系白皮书》。白皮书聚焦于文生图、图生文、图文理解等各类应用场景，深入分析多模态大模型的应用需求，系统总结行业典型评测体系，并创新地提出“弈衡”多模态大模型评测体系，助力大模型技术与行业应用的深度融合。
相比于语言类大模型，多模态大模型具备对文本、图像、视频和音频等数据进行综合处理的能力，在生产生活领域中具有广泛的应用前景。同时，多模态大模型评测面临评测数据更多样、评测任务更丰富、评测方式更复杂、评测成本更昂贵等挑战。如何应对上述挑战，构建全面、客观的多模态大模型评测体系，成为业界关注的热点问题。
中国移动技术能力评测中心与业界权威机构、头部企业深入合作，攻关多模态大模型评测难点技术，完成“弈衡”多模态大模型评测体系构建，并编制白皮书。该白皮书主要包括以下四方面内容：一是总结梳理多模态大模型的应用需求、评测方式、评测维度和评测指标，将评测需求划分为识别、理解、创作、推理四种任务；二是广泛调研业界多模态大模型评测技术和评测体系，从评测方式、评测维度和评测指标等方面进行分析总结；三是提出“弈衡”多模态大模型“2-4-6”评测框架，针对图文双模态大模型，详细阐述基础任务和应用任务两大评测场景，评测指标、评测数据等四大评测要素，以及功能性、准确性、交互性、安全性等六大评测维度；四是针对多模态大模型演进趋势，展望评测技术重点方向。
未来，中国移动将持续跟进多模态大模型发展，不断优化“弈衡”多模态大模型评测体系，与业界合作伙伴一道，共同打造评测产业标准化生态，推动多模态大模型产业成熟和落地应用，为AI+赋能千行百业贡献力量。