- 手机:
- 13564805630
- 电话:
- 021-57708796
- 邮箱:
- 838717855@qq.com
- 地址:
- 上海市奉贤区民乐路88号3幢110室
出品机构:甲子光年智库 智库院长:宋涛 报告撰写:翟惠宇 发布时间:2024.07 *甲子光年智库分析师胡博文对本次报告撰写亦有贡献。 . Part01发展背景:汽车智能化正加速普及P02 Part02趋势辨析:端到端自动驾驶的价值P09 Part03厂商实践:技术路线未来展望:端到端的挑战与未来式P26 目录 . 益浓厚。 42% 动力性能 智能化水平已经成为国内汽车消费者最核心的购买因素之一。 o国内汽车工业在电动化和智能化领域的迅猛发展,正在重塑消费者的购车偏好,消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日 o超半数的汽车消费者将智能化水平作为购车时的关键考量因素,他们追求更先进的自动驾驶体验、更智能的座舱环境以及更个性化的驾驶乐趣。 o智能化在购车决策中的重要性日益凸显,这也促使众多汽车制造商加快了智能化技术的研发和工程投入;继续航里程和用车成本之后,智能化已 成为新能源汽车竞争的主要领域,未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力。 图1:购车时“智能化”考量因素高居第二 用车成本低 智能化程度高 造型设计美观 原生新能源汽车平台 乘坐更舒适 售后体验更好 OTA能力更强 续航里程表现 驾驶乐趣更高 5 图2:自动驾驶、智能座OTA能力受广泛关 更先进的自动驾驶功 智能座舱体验更 保养成本 配置表精 获取牌 外观时 噪音 环 4 4 4 4 4 4 4 6 6 3 3 3 5 55 5 . 合计 智能驾驶渗透提速,“智能化”竞争进入白热化。 oNOA技术的渗透率正迅速提升:自2022年“量产元年”起,高速NOA和城区NOA的普及率显著增长。目前,高速NOA的渗透率已超10%,城 市NOA也超过了3%。 o在众多厂商的推动下,重视“智能化”的汽车越来越受消费者青睐,尤其是那些配备自动泊车和L2.5以上级别NOA功能的车型;这些车型已成 为车企竞争的焦点,预示着未来缺乏NOA功能的车辆可能失去竞争力。 图1:高速NOA渗透率持续增长(%) 标配选配合计 14 12 10 8 6 4 2 0 图2:城市NOA渗透率持续增长(%) 5 4 3 2 1 0 标配 Feb-23Feb-24 Feb-23Feb-24 May- 23 Aug-23 Aug-23 May- 23Jul- 23 Jul- 23 Apr-23 Nov-23 Apr-23 Sep- 23 Dec-22 Sep- 23 Mar- 23 Dec-23 Mar- 24 Dec-23 Oct-23 Mar- 23 Jan-23 Mar- 24 Jan-24Dec-22 Jan-24 Jan-23 Jun-23 Nov-23Jun-23Oct-23 o自动驾驶功能的普及,得益于车企的持续投入和消费者对这些技术的接受度,这已成为汽车市场竞争力的关 . 订单需求扩张 自动驾驶科技公司排队冲击IPO,智驾加速普及,行业正在苏醒。 o尽管一级市场融资受到整体投融资环境的影响,但自动驾驶公司通过不断优化核心软硬件产品,向更务实的L2辅助驾驶转型,加速了智能驾驶的 商业化进程,众多企业开始准备IPO。 o同时,随着智能驾驶功能的普及,消费者对其正面认知逐渐增强,乘用车自动驾驶市场稳步增长,这促使主机厂与智能驾驶解决方案供应商之 间的合作更加紧密,进一步推动了智能驾驶技术的商业化应用。 表:2023年起,自动驾驶厂商扎堆IPO 业绩快速上涨 产品性能提升 一级市场融资难 造血能力待提升 需要研发投入 禾赛科技美股2023年2月上市激光雷达传感器 海创光电科创板2023年5月提交申请激光雷达传感器 黑芝麻智能港交所2023年6月提交申请自动驾驶计算芯片 如祺出行港交所2023年8月提交申请Robotaxi、网约车运营 文远知行美股2023年8月完成IPO备案自动驾驶解决方案、Robotaxi 赛目科技港交所2023年10月提交申请ICV仿真测试、验证 知行科技港交所2023年12月已上市自动驾驶解决方案 2024年4月完成IPO备 案2024年3月提交 申请2024年3月提 交申请 2024年5月提交申请 2024 年6 月完成IPO备案 速腾 聚创 小马 智行 纵目科 技 地平 线 月完成IPO备案 激光雷达传 港交 所 美 股 港交 所 港交 所 2024 年1 月已 计划上市 企业名 IPO 激光雷达传感器 Robotaxi、Robotruck、智能驾驶解决方 案 智能驾驶解决方案 自动驾驶计算芯片、智能驾驶解决方案 智能驾驶解决 方案 自动驾驶 . . 影子模式触发数据回传 智驾量产车上路,数据飞轮已经转了起来。 o 自BEV(鸟瞰视图)结合Transformer 架构成为自动驾驶感知领域的主要发展方向以来,数据驱动在其中扮演的角色愈发关键;众多汽车制造商 和自动驾驶解决方案提供商都已构建数据闭环系统,以支持自动驾驶系统的模型训练和持续迭代。 o 目前,配备高级智能驾驶功能的汽车已实现规模化部署,这为自动驾驶算法的持续创新和优化提供了坚实的数据支撑。 图:打造数据闭环,量产时代下的自动驾驶应用部署为数据驱动提供条件 • 人工智能技术加持 ,数据筛选、标注、训练、验证形 成 全链路闭环 ,持续迭代智能驾驶产品 • 相比过去工程师制定的规则算法 ,能够实现低成本、 高 效率的系统迭代 • 由此实现闭环自动化 ,数据驱动自动驾驶 ,在为现有 车 辆进行OTA功能升级的同时 ,为后续更高级别的自 动驾 驶车辆做准备 —— —含 数据积累 —— —含 智能驾驶汽车规模化 L3/L4 量产上车 模型 验证 训练高阶自动驾驶算 自动驾驶智算中 OTA部署算法 数 据 打造数据闭 环 升级现有 数 据 量产项目提供海量车端大数 数 据 算 法 模 型 AI 驱动的数据闭环 . 至今 自动驾驶技术发展与普及的背后, 是底层AI 技术的进步。 o A I 技术的应用场景众多,自动驾驶无疑是其中的核心议题;它不仅代表了技术应用的前沿,也是产学两界AI 专家不懈追求、共同攻克的领域。 o 自动驾驶行业的发展与AI 技术的每次飞跃紧密相连:从卷积神经网络(CNN)、循环神经网络(RNN)、生成对抗网络( GAN)到 Transformer, 每一次技术革新背后,都伴随着深度学习等基础AI 技术的突破性进展。正是AI 技术的持续进步,构成了自动驾驶技术不断演进和 成熟的基础动力。 图: 自动驾驶技术的主要迭代路径 那么,下一步? 2016 2018 2020 CN Transformer 大模型基于大规模数 据 训练,具备更强的鲁棒性与泛 化能力, 在自动驾驶行业大方异彩 20 提出后,深度学习进入 爆 发期,自主学习能力被 20 OCC+Transformer • Occupancy Network 基于学习 进行 三维重建 ,是BEV的3D迭 BEV+Transformer • 结合Transformer 更强的处理序列数据和复杂上下文关系方面的能 力, 实现更精确的环境感知、更长远的运动规划和更全局化的决策 BEV(鸟瞰视角) • 直观且丰富的车身周边环境表示 • 需要复杂的传感器数据融合与校准,计算量庞大 RNN( LSTM) +GAN • 更擅长处理时间序列数据+生成高质量合成数据 • 预测车辆未来轨迹能力 • 长期时序建模能力弱;数据质量难把控;实时性要求无法满足 CNN(卷积神经网络) • 图像识别处理表现优秀;有效处理传感器数据融合 • 需要大量数据标注;时序任务处理能力偏弱 . 云端 AI 大模型技术已经在自动驾驶领域得到广泛应用。 o Transformer 大模型技术在自动驾驶领域并非新近出现,其实早在ChatGPT 之前,这一技术就已被应用于自动驾驶的感知任务。 o 特斯拉在2021 年就展示了其基于BEV 视角结合Transformer 的感知方案 ,此后,国内厂商纷纷跟进并进行创新,这间接加速了2022 年之后高 阶智 能驾驶方案的快速落地。 o 从云端的模型训练到车端的模型部署 ,大模型技术已被广泛应用于数据处理、模型融合与优化等多个环节,显著提高了模型训练的效率和系统 的 整体性能。 图:从云端到车端,大模型已经在 自动驾驶感知模块开始规模化应用 利用大模型通过自监督学习预训练,配合极少量人工标注微 调 ,实现自动标注视频clip 数据。 知识蒸馏 大模型通过学习海量数据中的特征 ,然后用来配合中、小 模 型的训练,提高中、小模型的性能。 决策 利用大模型检测真值固定的物体,如 车道线、交通灯等 ,这些物体的位 置 不受天气、时间等因素的影响。 大模型的泛化性能用于挖掘长尾数据,如使用CLIP 模型进 行 基于文本描述的图像数据检索。 使用自回归编解码网络将BEV 特征 解 码为结构化的拓扑点序列 ,实现 车道 拓扑预测。 将处理不同子任务的小模型合并成 一 个大模型,在车端进行联合推 理计算, 使用NeRF 技术隐式存储场景,通过渲染图片的监督学习 学出 场景的隐式参数,实现场景重建和高真实感数据生 合并不同小模 车道拓扑预 数据挖掘 感知 数据生 控 车 预 物体检 数据自动标注 . Part 01 发展背景:汽车智能化正加速普及 P02 Part 02 创新思路:端到端自动驾驶的价值 P09 目录 Part 03 厂商实践:技术路线 未来展望:端到端的挑战与未来式 P26 . . 信息的损耗与丢失 任务多且散导致低效 误差累积影响安全性 复合误差难以修正 系统构建与维护成本高 传统模块化自动驾驶存在信息传递损耗、计算效率低下等问题。 o 传统自动驾驶系统已经发展得相当成熟,通常采用模块化串联的部署方式:其核心模块涵盖感知、定位、预测、决策和控制等,每个主要模块 及 其子模块都承担着特定的职责 ,且每个模块的输入通常来源于前一模块的输出。 o 模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务 ,同时便于问题的追踪和定位;然而 ,随着自动驾驶技术 向 数据驱动的方向发展,模块化设计的某些局限性也逐渐显现 ,例如信息传递过程中可能出现的损耗、计算延迟以及累积误差等问题。 图:传统自动驾驶的模块化部署 预测模块 高精地图 定位模块 控制模块 转向 油门/电门 刹车 PID/MPC 底盘通信 规划模块 全局路径规划 车辆行为决策 车道线识别 目标跟踪 障碍物识别 红绿灯识别 传感器融合 传感器 摄像头 激光雷 达 毫米 波雷达 轮速 IMU 血 车辆行为预 感知模 车辆定 行人行为预 . 端到端全栈神经网络 通用感知网络 从系统架构的变化趋势上看,自动驾驶系统模块是在不断融合的。 o 模块化自动驾驶的核心在于不同子模型在各个模块中的嵌套与协同工作。然而 ,随着Transformer 架构等先进AI 技术的发展,模型间的界限 正逐 渐变得模糊。原本独立的子任务模型正逐步被更大规模的神经网络模型所取代 ,特别是在感知模块 ,BEV 结合Transformer 方案的广泛 应用预示 着数据驱动的深度学习神经网络正日趋成熟。 o 从架构的角度来看 ,随着模型融合的趋势,自动驾驶系统的终极形态很可能是One Model ,即一个狭义上的端到端神经网络模型。 图:自动驾驶系统模块的融合趋势 BEV + Transformer 极大推动自动 驾 驶通用感知网络的发展速度 Rule-Based 更多的工程 适量的数据 规划 后融合 地图 定位 预测 地图 控制 定位 控制 Learning- Based 更少的工 程 更多 规划 预测 决策 目标跟踪 目标检测 预测、决策模块也正在神 经 网络化的进程中 预测规划网络 控 多传感器融 决策 . 渗透 端到端路线为自动驾驶进一步突破提供了一种可能性。 广阔的想象空间。 o 端到端自动驾驶神经网络的实现将带来一系列优势 :它将完全基于数据驱动进行全局任务优化,拥有更简洁的系统架构,更高的计算效率以及 更 强的泛化能力。然而 ,它也面临着对算力和数据的巨大需求,以及尚未解决的黑盒问题和幻觉问题 ,这些问题需要随着技术的进步而逐步克 服。 • 具 备 零 样 本 学 习 能 力 , 在 未 知 场 景 仍 可 正 确 决 策 • 控制 End-to-End 决策 传感器获取的原始数 感知 ↓ 预测 o 随着感知、预测和决策等关键模块逐渐实现神经网络化,端到端自动驾驶的路径已经清晰可见,为自动驾驶技术向L4 级别无人驾驶的迈进提 . 参数过大 ,算力不足 由数据驱动的方 式来解决自动驾 驶长尾问题 • 的纠错能力 • 块错误的过度传 导 • 一 的信息延迟和冗 余, 提升计算效率 直接输出车辆驾驶动 End-to-End 更好的计算效 避免累计误差 不可解释与安全性 大模型的幻觉问题 . 传感器 规划 感知/ 定位 周边环境 传感器 基于统一的神经网络,端到端的核心是信息的无损传递。 o 自动驾驶领域尚未就“端到端”概念达成统一认识。一般而言,端到端自动驾驶指的是从原始传感器数据输入直接到控制指令输出的连续学习与 决策过程,过程中不涉及任何显式的中间表示或人为设计的模块。 o 尽管端到端自动驾驶的具体定义仍存在一定的模糊性,但其核心理念是避免信息在传递过程中的损耗。 端到端自动驾驶:统一的神经网络架构,一步到位输出车辆指令 模块化架构 信息的无损传递 端到端架构 端到端大模型 执行器 车辆状态 执行器 车辆状态 周边环境 控制 预测 . 融合趋势下 ,“端到端”从感知走向决策,再走向联合一体化。 o 特斯拉FSD V12 的卓越性能令业界观察家印象深刻 ,它确实摒弃了之前FSD方案中多年积累的代码,但其端到端方案的成功也离不开其在过去十 年在人工智能和智能驾驶领域的深厚积累。 o 端到端自动驾驶技术的发展遵循着渐进的路径:目前,BEV+OCC+Transformer 已经实现了感知模块的端到端架构,决策模块也在逐步从依赖 手 写规则向基于深度学习的模式转变 ,最终目标是实现模块化联合与单一模型的端到端自动驾驶。 图:端到端自动驾驶系统架构演进 • BEV+Transformer 推动感知方案性能提升 • 决策规划模块仍然基于规则 (现有主流架构) • 仍然保留两个模块独立训练,而预测与决策 规划模块神经网络化 • 通过人工定义的方式制定接口 隐式表达特征 • 模块间以特征向量为输出与输出 • 两个模块通过梯度传导的方式同时训练 BEV Feature Planning BEV感知 AI Rule-Based One Model 端 模块化联合端到 Rule- Based 国------------ 决策规划模型 (生成式AI 大模 “端到端”感 BEV 人为定义 人为定义 • 没有模块间的明确划分,是单一模型 • 基于RL 或IL 等深度学习方式进行模型 端到端自动驾驶大模型 Learning-Based . 瞄准“全局最优”,端到端路线的提出有望有效缓解模块化架构的弊端。 o 模块化自动驾驶系统面临信息丢失、计算效率低、累积误差以及维护成本等问题,这些问题难以回避 ,需要新的思路去解决。 o 端到端自动驾驶通过将传感器收集到的全面信息作为输入,在单一网络中直接生成车辆的控制指令或运动规划。这种设计使得整个系统针对最 终 目标进行优化,而非仅仅针对某个独立的子任务 ,从而实现自动驾驶性能的全局最优化。 o 随着高质量数据的不断积累和模型的持续优化 ,端到端架构有望展现出比传统模块化架构更优越的自动驾驶性能。 图:端到端自动驾驶的特点与优势 • 不仅感知模块,决策规划与控制模块也由数据驱动,实现全栈数据驱动 • 无需或仅需少量人工编码、手写规则,简化开发流程 • 提升数据规模与质量能够显著提升产品性能,不断提升系统的能力上限 • 端到端是一体化架构,为汽车行驶的全局任务为统一目标联合训练 • 避免模块化的单独优化 • 不需要通过频繁的patch 和参数调整修正 • 一体化的模型结构能够减少信息传递的延迟,加快系统反应 • 消除各模块之间信息传递的误差累积,全栈神经网络的上下层之间可以 做到全量信息传递 模块化 端到 3 消除误 2 全局最 1 数据驱 Performan Ti . 模仿学习与强化学习是端到端自动驾驶的主要训练方法。 o 模仿学习(Imitation Learning)和强化学习(Reinforcement Learning)是当前用于训练端到端神经网络的两种主要方法。 o 模仿学习主要通过逆最优控制(Inverse Optimal Control)和行为克隆(Behavior Cloning)来实现,其核心理念是让智能体通过模仿专家的 行 为来学习最优策略。而强化学习则是一种通过试错来学习的领域,其中奖励函数的设计是一个关键挑战。 图:端到端自动驾驶背后的基本训练方法 学习方法 具体方法 定义 特点 优势 劣势 当前发展阶段 模仿学习 (IL) 行为克隆 (BC) 通过监督学习模仿 专家行为 简单直接,易于实 现 实现简单,计算效 率高 无法捕捉专家决策 复杂性,对数据分 布偏移敏感 广泛应用,但面临 泛化和鲁棒性挑战 模仿学习 逆最优控制 通过专家演示学习 尝试解释专家行为 可能更好地理解任 学习奖励函数困难, 主要用于研究,实 (IL) (IOC) 奖励函数 背后的意图 务结构 需要大量专家数据 际应用较少 强化学习 (RL) 强化学习 (RL) 通过试错学习最优 策略 能够处理高维输入 和连续动作空间 理论上能学习更优 策略 需要大量数据和计 算资源,训练不稳 定 在模拟环境中有进 展,真实应用挑战 大 others 策略蒸馏 (Policy Distillation) 训练辅助网络来指 导主网络学习 利用辅助网络的知 识来提升主网络性 能 可以提高学习效率 和策略性能 需要设计合适的辅 助网络和训练策略 研究阶段,探索如 何有效传递知识 others 模型预测控制 (MPC) 利用模型预测未来 状态来进行控制决 策 考虑未来状态,可 以优化长期行为 能够考虑未来预测, 提高策略鲁棒性 计算成本高,需要 精确模型 研究和特定应用中 使用,需要进一步 优化 行 为 克 隆 逆 最 优 控 制 强 化 学 习 . 各类基础模型有望为自动驾驶带来新维度上的能力。 大语言模型(LLM) • 推理和规划 :LLM利用其在逻辑推理、代码生成和翻译方面的专长,为自动驾驶的路径规划和决策制定提供支持; • 用户交互:通过理解自然语言并执行用户指令,LLM使智能驾驶系统更加用户友好,实现个性化体验; • 常识性驾驶知识 :LLM的预训练能力使其能够理解和应用驾驶常识,可能替代传统的基于规则的系统。 仿真与测试 视频生成/世界模型 多模态大模型(MFM) • 视觉理解与空间推理 :MFM结合了视觉和语言信息,展现出卓越的视觉理解和空间推理能力,对自动驾驶系统的 决 策过程至关重要; • 综合感知与预测 :MFM通过整合视觉和语言数据,提高了对环境的感知精度和对其他交通参与者行为的预测准确性。 感知决策一体化 视觉理解与推理 人机交互/个性化 大视觉模型 环境感 多模态大模型 GPT-4 路径预测 大模型之 于 自动 GAIA、SOR ChatGP 大语言模型 LLaM 路径规划 正在被积极开发。 o 这些基础模型通过预训练获得了推理能力和丰富的知识,能够升级传统的基于规则的if-else 系统。出色的泛化能力能够应对自动驾驶技术发
2025年浙江省温州市交通工程质量监督局招聘历年管理单位笔试遴选500模拟题附带答案详解
[上海]2024年上海戏曲艺术中心招聘笔试历年典型考点(频考版试卷)附带答案详解
2025年甘肃省天水市市县区事业单位招聘1023人历年管理单位笔试遴选500模拟题附带答案详解
2024年02月江西省吉安市事业单位2024年公开招聘493名工作人员笔试参考题库频考版试题附答案详解
2025年黑龙江伊春职业学院招聘专职辅导员15人历年管理单位笔试遴选500模拟题附带答案详解
[宣城]安徽宣城宣州区“乡编村用”暨面向全区村(社区)党组织书记择优招聘笔试历年典型考点(频考版试卷)附带答案详解
2025年陕西省延安市事业单位公开招聘工作人员632名历年管理单位笔试遴选500模拟题附带答案详解