清华大学刘知远：我们的使命就是要把模型装到距离用户最近的地方去
2024-07-05 12:40:05 - 睿见Economy
2024世界人工智能大会暨人工智能全球治理高级别会议于7月4日在上海举行。清华大学计算机系长聘副教授、面壁智能首席科学家刘知远出席并演讲。
刘知远谈到，未来的大模型是云端协同的模式。既要有云上极强的systemtwo大模型，也需要充分的去利用端侧的算力来形成systemone大模型。
他谈到，在端侧上，可以有非常快的毫秒级的响应，每秒可以有40个token的生成能力。也可以在飞行模式下，只利用端侧的算力，完成相关的计算。这也能够充分注重用户的相关的隐私数据，不上网就可以在端侧完成相关的计算，所有的这些都需要依赖端侧模型的支持。而本身mobilectm已经预装了数十种相关的intent，可以帮助我们一键完成相应的包括机器翻译、人设等等大模型的预设的一些能力。
在刘知远看来，通过研发这种端侧模型，形成端侧的生态，将会揭开端侧AI的生态序幕。
我们会看到，端侧既有像智能手机、穿戴设备、聚身智能、智能家居、汽车、PC等非常多样的场景。这些场景的端侧算力其实是远远没有被挖掘的。“我们需要利用端侧的模型来充分的去挖掘在端侧上的应用，我们的使命就是要把模型装到距离用户最近的地方去，”他说。