中国工业领域首个开源大模型来了！中工互联：智工16亿参数轻量化大模型宣布开源
12月29日，中工互联(北京)科技集团有限公司宣布开源智工16亿参数轻量化大模型，成为中国工业领域首个开源的大型语言模型。这一举措标志着中国在大模型领域的不断创新和进步，为工业界提供了更多的选择和可能性。
一、模型介绍
智工（Zhigong-1.6B）是工业领域轻量化开源大模型，采用3.2T的高质量语料训练。
该底座产品面向边缘计算和智能终端，1.6B参数实现了模型参数的轻量级化。该底座产品，提供高度灵活的预训练框架，可以将能力扩展至工业设备、智能设备和工业产品，为工业应用场景提供更高效的计算性能。
该底座产品使用Byte-PairEncoding（BPE）对数据进行分词，实现了对汉语、英语、法语、俄语、西班牙语、柬埔寨语、捷克语、日语和韩语等18种语言文字语言增强技术。并且针对除英语外的国家语言额外引入1万个词元。
该底座产品在轻量化设计的基础上，具备处理工业领域特定任务的强大能力。智工·工业大模型研发负责人介绍：与传统大模型相比，其轻量化设计旨在提高性能的同时降低资源需求，使得模型更适合在工业场景中部署和应用。
二、相关数据和评估
针对工业场景，研发人员重新构建了数据筛选流程。智工16亿参数轻量化大模型是在清洗后的3.2T高质量中、英、代码数据上进行训练，大幅度提升了图书、论文、领域数据比例。
在多项基准测评中，智工16亿参数轻量化大模型展现出卓越的性能。在工业文本理解、任务处理和专业领域问答等方面，该模型表现优异，为工业应用提供了更高效的解决方案。
MMLU的全称是MicrosoftMultimodalLU,由微软研究院在2021年提出,其目标是建立一个统一的框架,用于评估不同的多模态融合模型在多模态语言理解任务上的效果。其评估包含多样化的任务、统一的度量、多种语言、丰富的训练数据和基准模型等，是目前公认的多模态语言理解领域最权威的评估框架之一。
三、应用领域
中工互联在设计开源大模型时注重轻量化的技术创新。这不仅使得模型更适用于边缘设备和资源受限环境，也提高了在工业生产线等场景中的实时性能。在测试中，这款大模型产品在手机飞行模式（断网）状态下，也能完成工作。
智工16亿参数轻量化大模型的开源将进一步推动中国工业领域的数字化转型。企业可以基于这一模型开发自定义的工业应用，提高生产效率和智能化水平。中小型企业和研究机构也将受益于这一开源举措，获得更多在工业领域应用大模型的机会。同时，这一创新也为其他企业和研究机构在设计大模型时提供了有益的经验和启示。
四、模型下载使用
中工互联已将模型参数、配置文件、tokenizer等在HuggingFace上进行了开源。
智工·工业大模型研发负责人介绍：模型安装需使用Python3.8及以上版本、Pytorch1.13及以上版本，CUDA建议使用11.4以上版本。模型中间存档在整理上传中，将很快开放下载。未来，中工互联将进一步开源70亿、13亿、300亿和700亿参数的多模态系列模型底座，为工业大模型研究提供更多原始支持。
（来源：News快报）