shirakami申鹤与旅行者理想汽车7月shirakami申鹤与旅行者内全量推送无图NOA 发布端到端+VLM全新自动驾驶技术架构
理想汽车7月shirakami申鹤与旅行者内全量推送无图NOA 发布端到端+VLM全新自动驾驶技术架构
他和团队研发的某型装备
【TechWeb】2024年7月5日，理想汽车在2024智能驾驶夏季发布会宣布将于7月内向全量理想ADMax用户推送“全国都能开”的无图NOA，并将于7月内推送全自动AES（自动紧急转向）和全方位低速AEB（自动紧急制动）。同时，理想汽车发布了基于端到端模型shirakami申鹤与旅行者、VLM视觉语言模型和世界模型的全新自动驾驶技术架构，并开启新架构的早鸟计划。 智能驾驶产品方面，无图NOA不再依赖高精地图或先验信息，在全国范围内的导航覆盖区域均可使用，并借助时空联合规划能力带来更丝滑的绕行体验。无图NOA也具备超远视距导航选路能力，在复杂路口依然可以顺畅通行。同时，无图NOA充分考虑用户心理安全边界，用分米级微操带来默契安心的智驾体验。此外，即将推送的AES功能可以实现不依赖人辅助扭力的全自动触发，规避更多高危事故风险。全方位低速AEB则再次拓展主动安全风险场景，有效减少低速挪车场景的高频剐蹭事故发生。 自动驾驶技术方面，新架构由端到端模型、VLM视觉语言模型和世界模型共同构成。端到端模型用于处理常规的驾驶行为，从传感器输入到行驶轨迹输出只经过一个模型，信息传递、推理计算和模型迭代更高效，驾驶行为更拟人。VLM视觉语言模型具备强大的逻辑思考能力，可以理解复杂路况、导航地图和交通规则，应对高难度的未知场景。同时，自动驾驶系统将在基于世界模型构建的虚拟环境中进行能力学习和测试。世界模型结合重建和生成两种路径，构建的测试场景既符合真实规律，也兼具优秀的泛化能力。 理想汽车产品部高级副总裁范皓宇表示：“理想汽车始终坚持和用户共同打磨产品体验，从今年5月推送首批千名体验用户，到6月将体验用户规模扩展至万人以上，我们已经在全国各地积累了超百万公里的无图NOA行驶里程。无图NOA全量推送后，24万名理想ADMax车主都将用上当前国内领先的智能驾驶产品，这是一项诚意满满的重磅升级。” 理想汽车智能驾驶研发副总裁郎咸朋表示：“从2021年启动全栈自研，到今天发布全新的自动驾驶技术架构，理想汽车的自动驾驶研发从未停止探索的脚步。我们结合端到端模型和VLM视觉语言模型，带来了业界首个在车端部署双系统的方案，也首次将VLM视觉语言模型成功部署在车端芯片上，这套业内领先的全新架构是自动驾驶领域里程碑式的技术突破。” 将于7月内推送的无图NOA带来四项重大能力升级，全面提升用户体验。首先，得益于感知、理解和道路结构构建能力的全面提升，无图NOA摆脱了对先验信息的依赖。用户在全国范围内有导航覆盖的城市范围内均可使用NOA，甚至可以在更特殊的胡同窄路和乡村小路开启功能。 其次，基于高效的时空联合规划能力，车辆对道路障碍物的避让和绕行更加丝滑。时空联合规划实现了横纵向空间的同步规划，并通过持续预测自车与他车的空间交互关系，规划未来时间窗口内的所有可行驶轨迹。基于优质样本的学习，车辆可以快速筛选最优轨迹，果断而安全地执行绕行动作。 在复杂的城市路口，无图NOA的选路能力也得到显著提升。无图NOA采用BEV视觉模型融合导航匹配算法，实时感知变化的路沿、路面箭头标识和路口特征，并将车道结构和导航特征充分融合，有效解决了复杂路口难以结构化的问题，具备超远视距导航选路能力，路口通行更稳定。 同时，无图NOA重点考虑用户心理安全边界，用分米级的微操能力带来更加默契、安心的行车体验。通过激光雷达与视觉前融合的占用网络，车辆可以识别更大范围内的不规则障碍物，感知精度也更高，从而对其他交通参与者的行为实现更早、更准确的预判。得益于此，车辆能够与其他交通参与者保持合理距离，加减速时机也更加得当，有效提升用户行车时的安全感。 在主动安全领域，理想汽车建立了完备的安全风险场景库，并根据出现频次和危险程度分类，持续提升风险场景覆盖度，即将在7月内为用户推送全自动AES和全方位低速AEB功能。 为了应对AEB也无法规避事故的物理极限场景，理想汽车推出了全自动触发的AES自动紧急转向功能。在车辆行驶速度较快时，留给主动安全系统的反应时间极短，部分情况下即使触发AEB，车辆全力制动仍无法及时刹停。此时，AES功能将被及时触发，无需人为参与转向操作，自动紧急转向，避让前方目标，有效避免极端场景下的事故发生。 全方位低速AEB则针对泊车和低速行车场景，提供了360度的主动安全防护。在复杂的地库停车环境中，车辆周围的立柱、行人和其他车辆等障碍物都增加了剐蹭风险。全方位低速AEB能够有效识别前向、后向和侧向的碰撞风险，及时紧急制动，为用户的日常用车带来更安心的体验。 理想汽车的自动驾驶全新技术架构受诺贝尔奖得主丹尼尔·卡尼曼的快慢系统理论启发，在自动驾驶领域模拟人类的思考和决策过程，形成更智能、更拟人的驾驶解决方案。 快系统，即系统1，善于处理简单任务，是人类基于经验和习惯形成的直觉，足以应对驾驶车辆时95%的常规场景。慢系统，即系统2，是人类通过更深入的理解与学习，形成的逻辑推理、复杂分析和计算能力，在驾驶车辆时用于解决复杂甚至未知的交通场景，占日常驾驶的约5%。系统1和系统2相互配合，分别确保大部分场景下的高效率和少数场景下的高上限，成为人类认知、理解世界并做出决策的基础。 理想汽车基于快慢系统系统理论形成了自动驾驶算法架构的原型。系统1由端到端模型实现，具备高效、快速响应的能力。端到端模型接收传感器输入，并直接输出行驶轨迹用于控制车辆。系统2由VLM视觉语言模型实现，其接收传感器输入后，经过逻辑思考，输出决策信息给到系统1。双系统构成的自动驾驶能力还将在云端利用世界模型进行训练和验证。 端到端模型的输入主要由摄像头和激光雷达构成，多传感器特征经过CNN主干网络的提取、融合，投影至BEV空间。为提升模型的表征能力，理想汽车还设计了记忆模块，兼具时间和空间维度的记忆能力。在模型的输入中，理想汽车还加入了车辆状态信息和导航信息，经过Transformer模型的编码，与BEV特征共同解码出动态障碍物、道路结构和通用障碍物，并规划出行车轨迹。 多任务输出在一体化的模型中得以实现，中间没有规则介入，因此端到端模型在信息传递、推理计算、模型迭代上均具有显著优势。在实际驾驶中，端到端模型展现出更强大的通用障碍物理解能力、超视距导航能力、道路结构理解能力，以及更拟人的路径规划能力。 VLM视觉语言模型的算法架构由一个统一的Transformer模型组成，将Prompt（提示词）文本进行Tokenizer（分词器）编码，并将前视相机的图像和导航地图信息进行视觉信息编码，再通过图文对齐模块进行模态对齐，最终统一进行自回归推理，输出对环境的理解、驾驶决策和驾驶轨迹，传递给系统1辅助控制车辆。 理想汽车的VLM视觉语言模型参数量达到22亿，对物理世界的复杂交通环境具有强大的理解能力，即使面对首次经历的未知场景也能自如应对。VLM模型可以识别路面平整度、光线等环境信息，提示系统1控制车速，确保驾驶安全舒适。VLM模型也具备更强的导航地图理解能力，可以配合车机系统修正导航，预防驾驶时走错路线。同时，VLM模型可以理解公交车道、潮汐车道和分时段限行等复杂的交通规则，在驾驶中作出合理决策。 理想汽车的世界模型结合了重建和生成两种技术路径，将真实数据通过3DGS（3D高斯溅射）技术进行重建，并使用生成模型补充新视角。在场景重建时，其中的动静态要素将被分离，静态环境得到重建，动态物体则进行重建和新视角生成。再经过对场景的重新渲染，形成3D的物理世界，其中的动态资产可以被任意编辑和调整，实现场景的部分泛化。相比重建，生成模型具有更强的泛化能力，天气、光照、车流等条件均可被自定义改变，生成符合真实规律的新场景，用于评价自动驾驶系统在各种条件下的适应能力。 重建和生成两者结合所构建的场景为自动驾驶系统能力的学习和测试创造了更优秀的虚拟环境，使系统具备了高效闭环的迭代能力，确保系统的安全可靠。（Suky）koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李秉贵
TOP1热点：韩媒注意到：韩国外长见王毅时用了个成语
更被称为现代工业“皇冠上的明珠”。
TOP2热点：王毅针对台海局势新动向提出“三个警惕”
乔·威廉姆斯表示她特别开心，来中国本身就是件让人激动的事，而在这里感受到的爱和友好让这份经历更加特别，“我特别喜欢成都，爱在成都的每一分钟”，她对着镜头激动地说。
TOP3热点：多地出台育儿补贴政策，专家：长期看一定会有效法国文化特色及象征
比如，中国科学院所属研究所基于“合成气高选择性转化制低碳烯烃”原创性成果，与国内相关企业合作，建成世界首套低耗水煤基合成气装置，打通了从基础研究、应用研究到中试放大、工业化生产的全链条，开创了一条煤炭清洁利用的全新技术路线。
乔·威廉姆斯表示她特别开心，来中国本身就是件让人激动的事，而在这里感受到的爱和友好让这份经历更加特别，“我特别喜欢成都，爱在成都的每一分钟”，她对着镜头激动地说。
TOP4热点：韩媒注意到：韩国外长见王毅时用了个成语可以触摸和脱卸女孩衣服
李敏睿多次参与大国重器研发
TOP5热点：8月10日四川新增本土无症状感染者5例香港新版金银瓶5
近日，我国华北、黄淮、东北等地出现极端降雨过程，引发洪涝和地质灾害。连日来，各地区和有关部门落实落细防汛救灾措施，全力以赴开展抢险救灾工作。
TOP6热点：一文读懂 | 北京今日发现两例阳性感染者xaxwaswas17777777K9o75OxSL
李敏睿多次参与大国重器研发
TOP7热点：31省区市新增本土“614+1379”十大黄台软装
同样参与到赛事保障工作中的邹晴晴，负责大运会城北体育馆武术场馆中心的英文播报工作。能作为中国传统项目的英文播报员，让她感觉得很自豪。“当时我们播报了（成都大运会）首金，首金是南拳的曹茂园。当时也说到‘goldmedalistrepresentingPeople'sRepublicofChina’代表着中华人民共和国，说到这个的时候，全场已经很激动了，大家都很亢奋。”邹晴晴难掩激动，作为播报员要保持比较稳定的状态去播报，但是“我有一种克制不住的感觉，我也很激动，我也很想跟他们一起分享这种喜悦和兴奋。”在最后，她提了一口气，中气十足地说出了“曹茂园”三个字。
7月31日，来自斯里兰卡代表团的跳高运动员达森在大运村医疗中心康复医学科接受中医拔罐诊疗。中新社记者张浪摄
TOP8热点：民航局就中国商飞C919型飞机专用条件和豁免征求意见暴躁老阿姨csgo剧情解析
孙龙飞
TOP9热点：拜登签署“芯片法案”，外交部回应白板app下载
世界遗产与可持续旅游项目创建了国际合作框架，推动各部门协调行动以保护遗产、促进经济可持续发展。此举对于保护这些独特的自然和文化遗址的完整性至关重要，这些遗址代表了我们的过去，呈现了我们通往现在的旅程，属于我们所有人。
TOP10热点：马朝旭：美国打“台湾牌”不得人心 竹篮打水一场空无忧考网四六级准考证打印入口
8月6日，由上海总会举办的“家在香江”香港中文大学校友会午宴在香港中环举行，来自内地各省市以及留港的内地校友汇聚一堂。有中大校友在接受中新社记者采访时表示，回归以来，两地交流日益密切，香港中文大学也培育出不少内地人才，为两地融合发展做出诸多贡献。希望未来内地校友能继续与母校保持联系。(记者罗嗣昱范思忆制作王嘉怡)