2024云栖大会|个人开发者张子豪：泛化性能是当前具身智能大模型之后引爆的热点
2024-09-20 22:50:14 - 北京商报
北京商报讯（记者魏蔚）9月20日，在2024云栖大会云栖通道开放期间，个人开发者、技术博主张子豪介绍了自己研发的人形机器人功能。“这款用Qwen2开发的人形机器人，基于幻尔TonyPi人形机器人，通过开源AI推理框架OpenVINO，在轻薄笔记本上本地部署端侧AI开源大模型通义千问Qwen2-7B-Instruct，使用AI编程助手‘通义灵码’辅助编程开发和文档撰写。”张子豪介绍，人类输入模糊语音指令，智能体Agent就能自主思考，调用23种原子动作FunctionCall，编排生成依次执行的动作列表及函数参数。
“之前的机器人，都是根据固定的指令去完成固定的动作，没法实现泛化性、多样性、通用性操作和对指令的理解”,张子豪解释，“大模型的最大好处就是可以把任意指令翻译成机器人的动作”。
他继续举例，之前让机器人用机械臂把绿色方块搬到印有小猪佩奇照片的指定处，要让机器人认识小猪佩奇，得专门训练一个模型，让它先认识小猪佩奇。但是现在借助多模态大模型，机器人天生就具备这个能力，它天生就知道小猪佩奇是谁。如此一来，人类可以跟机器人说任意的指令，它都可以理解，所以泛化性能是当前具身智能大模型之后引爆的一个热点。