理想汽车发布端到端+VLM全新自动驾驶技术架构
2024-07-08 06:29:07 - 网易新闻
2024年7月5日，理想汽车在“2024智能驾驶夏季发布会”上宣布，将于7月内向全量理想ADMax用户推送“全国都能开”的无图NOA，并将于7月内推送全自动AES（自动紧急转向）和全方位低速AEB（自动紧急制动）。
同时，理想汽车发布了基于端到端模型、VLM视觉语言模型和世界模型的全新自动驾驶技术架构，并开启新架构的早鸟计划。
理想汽车产品部高级副总裁范皓宇表示：“理想汽车始终坚持和用户共同打磨产品体验，我们已经在全国各地积累了超百万公里的无图NOA行驶里程。”
作为新造车企业智驾“内卷”的新方向，端到端模型的输入主要由摄像头和激光雷达构成，多传感器特征经过CNN主干网络的提取、融合，投影至BEV空间。
为提升模型的表征能力，理想汽车设计了记忆模块，兼具时间和空间维度的记忆能力。在模型的输入中，理想汽车还加入了车辆状态信息和导航信息，经过Transformer模型的编码，与BEV特征共同解码出动态障碍物、道路结构和通用障碍物，并规划出行车轨迹。
此外，端到端模型在信息传递、推理计算、模型迭代上均具有显著优势。在实际驾驶中，端到端模型展现出更强大的通用障碍物理解能力、超视距导航能力、道路结构理解能力，以及更拟人的路径规划能力。
理想汽车智能驾驶研发副总裁郎咸朋表示：“从2021年启动全栈自研，到今天发布全新的自动驾驶技术架构，理想汽车结合端到端模型和VLM视觉语言模型，带来了业界首个在车端部署双系统的方案，也首次将VLM视觉语言模型成功部署在车端芯片上，这套业内领先的全新架构是自动驾驶领域里程碑式的技术突破。”