天风·计算机 | “安卓版”大模型助推,算力和应用的黄金时代
建议关注开源生态对应用层的促进作用,也建议关注算力层未来的空间。算力层:海光信息、寒武纪、景嘉微(与电子组联合覆盖)、四川长虹、神州数码。应用层:(1)2C应用:金山办公、科大讯飞、万兴科技、光云科技、福昕软件。(2)2B应用:泛微网络、金蝶国际、致远互联、汉得信息、鼎捷软件、用友网络、恒生电子、新致软件。
开源生态与技术的发展不断降低大模型强化学习的数据与工程门槛
人类反馈的强化学习(RLHF)是ChatGPT类模型的重要步骤,随着开源生态的发展,这一步骤的门槛逐渐降低。
4月12日,微软开源了基于此优化库的DeepSpeedChat,此优化库拥有强化推理、RLHF模块、RLHF系统三大核心功能,使得RLHF的训练大幅加快(比现有系统快15倍)、成本降低且易于大规模推广(仅单GPU就可支持超130亿参数的模型);Self-instruct方法通过低成本生成指令微调数据集,可以解决大语言模型人工标注成本高的问题,同时效果较为显著,包括Alpaca等开源模型已经使用self-instruct方法通过openAIAPI获取模型微调数据集。
开源模型生态方兴未艾,性能优异且参数量较小的大模型不断涌现,企业拥有自己的大模型指日可待
以LLaMA系列和Dolly2.0为代表的开源模型体系降低了打造大模型的门槛。Databricks开源了可用于商用的大语言模型Dolly2.0,同时开源了人工产生指令微调的数据集,象征着大模型开源生态的进一步演进。
LLaMA系列是Meta在2023年发布并逐步开源的大语言模型,此模型经过较大的数据集训练,LLaMA1在模型参数70亿-650亿的范围内表现出了较为优越的性能,运行成本相对较低,近期基于LLaMA打造的开源模型族不断涌现,Alpaca和Vicuna等模型在LLaMA+微调后表现出了接近chatGPT的性能,且训练成本低廉;新推出的LLaMA2模型相较于一代在性能、安全性上进一步提升,且Meta开放了权限使其可用于商用。
我们看好开源生态对国内大模型产业的促进作用,开源基础模型+强化学习+行业垂直数据打造大模型或将成为重要手段,加速应用层与算力层的爆发
随着高性能的开源大模型与强化学习工具不断公开,我们认为基于开源模型打造行业应用的方式有望成为众多企业的选择,终端企业尤其是2B的企业在部署大模型时需要解决成本、安全和内容可信三大问题,需要在L0大模型基础上叠加企业自身优质数据的能力,基于开源模型打造行业垂直模型可以较好的满足这些需求;此外随着模型应用层生态的繁荣,我们同样看好算力层的爆发,企业在训练端与推理端的算力需求热潮有望持续。
投资建议
建议关注开源生态对应用层的促进作用,也建议关注算力层未来的空间。
算力层:海光信息、寒武纪、景嘉微(与电子组联合覆盖)、四川长虹、神州数码。
应用层:
(1)2C应用:金山办公、科大讯飞、万兴科技、光云科技、福昕软件。
(2)2B应用:泛微网络、金蝶国际、致远互联、汉得信息、鼎捷软件、用友网络、恒生电子、新致软件。
风险提示:开源生态与开源技术发展速度不及预期、垂直行业大模型打造速度不及预期、终端应用场景拓展速度不及预期。