能效比较GPGPU高一个数量级,爱芯元智AI芯片让端侧AI大模型高质量落地
2024年世界人工智能大会(以下简称:WAIC2024)依然是一场“百模大战”,不过有一些很明显的变化是:新推出的AI大模型更加注重用户体验;边侧和端侧承载AI大模型的方案越来越多。也就是说,AI大模型不仅完成了从“能用”到“好用”的蜕变,也从高高在上的云端,走到更靠近应用场景的边侧和端侧,这给作为方案核心的推理芯片提出了非常高的要求。
在爱芯元智于WAIC2024举办的“芯领未来丨智能芯片及多模态大模型论坛”上,爱芯元智创始人、董事长仇肖莘在主旨演讲中表示,大模型真正大规模落地需要云边端三级紧密结合,而边侧和端侧结合的关键在于高能效的边端AI芯片。
爱芯元智创始人、董事长仇肖莘仇肖莘指出,目前基于爱芯元智AI芯片已经完成非常多款AI大模型的适配,能够支持的参数规模覆盖0.3B-7B。“搭载AI处理器的高效推理芯片将是大模型落地更合理的选择,这也是推进普惠AI的关键所在。”
爱芯智眸AI-ISP和爱芯通元NPU
在AI芯片的研发上,爱芯元智打造了广受业界认可的爱芯智眸AI-ISP和爱芯通元混合精度NPU两大自研核心技术。其中,爱芯智眸AI-ISP是将深度学习算法与传统的ISP处理单元相结合,利用像素级AI处理技术,在各种复杂应用场景中,全面提升成像效果,为后期智能处理提供高质量的图像、视频素材,作为万物智能的“眼睛”感知更多信息,特别是暗光全彩的刚需。
爱芯通元混合精度NPU是以算子为原子指令集的AI计算处理器,采用多线程异构多核设计,实现算子、网络微结构、数据流和内存访问优化,高效支持混合精度算法设计,原生支持Transformer网络结构,为大模型在边缘侧、端侧的应用提供良好的基础。
仇肖莘谈到,爱芯元智现阶段奉行以“AIoT+ADAS”为主的一体两翼战略路线,在AI大模型进入边侧和端侧的过程中,智慧城市和智能汽车都是非常具有代表性的应用场景。“目前端侧大模型落地依然在前期探索阶段,我认为智能汽车、AI手机和AIPC将会是第一批落地的场景,智能驾驶之所以需要端侧大模型原因在于汽车对实时性的要求更高。”
爱芯智眸AI-ISP作为AI芯片的子系统,为解决很多端侧场景图像问题提供了强力支持。比如在智能驾驶场景中,爱芯智眸AI-ISP提供AI星光全彩、AIHDR成像、AI多光谱融合、AI防抖、AI场景增强、AI多传感器融合六大技术亮点,能够帮助智能汽车在大雨、大雾、夜间和隧道等恶劣的驾驶环境中获取清晰的图像。
当然,AI技术的发展也在推动AI-ISP的创新。以爱芯智眸AI-ISP来说,目前AI算法已经取代了降噪模块、防抖模块。仇肖莘认为,后续AI-ISP发展一个值得探索的方向是,AI-ISP是不是也能够成为一个“黑盒式”的AI大模型,用AI算法取代更多ISP中的功能单元,使得AI-ISP能够利用CMOS图像传感器的信号直接成像,让用户不必再去考虑ISP工作的中间环节。
在AI芯片的打造上,爱芯通元混合精度NPU的优点不只是原生支持Transformer网络结构,还包括通过可编程数据流DSA架构,能够覆盖目前用户需要的基本算子,成本、效能和运算效率都非常高。仇肖莘说,“AI算法发展至今已经非常成熟,进入一个较为稳定的状态,因此用户对于算子的需求不再有日新月异的变化,这是爱芯元智能够打造通用AI处理器的关键。”
根据爱芯元智联合创始人、副总裁刘建伟的介绍,此次论坛上正式发布的爱芯通元AI处理器在高中低三档算力中已完成布局,并在智慧城市和辅助驾驶两个领域实现了规模化量产,能效比较GPGPU芯片提升了一个数量级,而在以文搜图、通用检测、以图生文、AIAgent等通用大模型应用中,爱芯通元AI处理器也可以让AI开发者以更低的成本进行高效开发。
爱芯元智联合创始人、副总裁刘建伟
让端侧更好地承载AI大模型
根据《2024年中国AI大模型产业发展报告》,截至2024年3月,国内部署大模型的企业数量超243家,以通用大模型为主。不过,我们都知道AI大模型成功的关键在于行业大模型、端侧、端云结合等多种模式并行。
端侧大模型的部署所面临的挑战和云端是完全不同的,需要克服能耗的限制,还需要在足够小的参数下,做到大部分日常工作。在WAIC2024上,爱芯元智在自己的展台上也展示了其AI芯片在部署端侧大模型方面的能力。
案例一是基于爱芯元智端侧小芯片AX630C部署语言大模型——阿里云通义千问Qwen2.0。AX630C提供3.2T的算力,通过运载通义千问Qwen2.0,可以流畅地实现人机对话,查询信息、日常交流等任务。AX630C运载通义千问Qwen2.0每秒能处理超过10个信息单元,但功耗只有1.5瓦。
案例二是爱芯元智端AX650N结合CLIP模型可以实现以文搜图的功能,只需要一个词、一句话或一段文字,系统就能迅速准确地从海量图片中找到匹配项。
案例三是基于爱芯元智端AX650N运转多模态多维感知大模型OWL-ViT大模型,精准完成对未知目标检测,实现图像自动标签化。
正如上文提到的,爱芯通元AI处理器提供完备的算子集合,因此对于市面上的大模型能够提供非常好的支持,并且适配的速度是非常快的。比如,今年4月份,Meta发布了MetaLlama3系列语言模型(LLM),具体包括一个8B模型和一个70B模型。随后不久,爱芯元智就宣布,爱芯通元AI处理器完成Llama3和Phi-3大模型适配。在Llama3模型的适配上,爱芯元智AX650N芯片适配了Llama38BInt8版本,若采用Int4量化,每秒token数还能再翻一倍,能满足正常的人机交流。仇肖莘强调,爱芯元智的AI芯片对INT2、INT4、INT8、INT16混合精度算力都可以支持。
AI大模型的发展已经进入一个新阶段,行业大模型以及云边端结合的大模型是下一步发展重点。在端侧运转大模型有不一样的挑战,能耗和参数规模都会受到限制,但用户体验不能打折。爱芯通元AI处理器以及爱芯元智AX650N等AI芯片展示出了非常好的端侧大模型支持能力,在普惠AI的道路上迈出了坚实一步。