看星云动力NO.29丨高集成套件+OTA更新，尚同墨方打造全领域智能机器人导航软硬件解决方案
06-18
“自动驾驶的前提是安全、严谨。
对于大型模型来说，仅仅给出‘几乎’的结果是不够的。
”今年4月初，大车型刚问世时，一位自动驾驶领域人士表示，一位资深投资人向《自我象限》表达了对通用大车型在自动驾驶领域应用的担忧。
不乐观的原因有很多，比如大型车型的“废话”问题，导致大家认为它无法满足自动驾驶的安全级别要求；例如，每个人都认为大型模型解决了常见的推导问题，但自动驾驶解决了0.5%的极端情况；再比如，如果一个大型模型要在汽车端实现，需要先与算法进行整合，然后再整合，这将需要非常高的前端计算能力。
总而言之，通用汽车大模型的不确定性和自动驾驶的严谨性就像同一枚硬币的正反两面，也有几座短期内难以翻越的大山。
“这将是整个系统构建的问题，无法通过角度算法来改变。
”投资人总结道。
虽然不容乐观，但六个月后，大车型却嚣张地冲进了自动驾驶行业。
开枪的依然是特斯拉。
今年8月，特斯拉的端到端AI自动驾驶系统FSD Beta V12公开亮相，完全依靠车载摄像头和神经网络来识别道路和交通状况并做出相应决策。
国内，自动驾驶和大型模型公司已经开始密集布局。
9月，华为盘古大模型3.0推出自动驾驶行业大模型； 10月，在海谋第九届AI Day上，它也阐释了其在自动驾驶中的作用。
对该领域大型模型的一系列探索。
从结果来看，目前大模型对自动驾驶带来的改变可以分为两个方向：一是利用大模型作为工具，辅助自动驾驶算法的训练和优化过程；二是利用大模型作为工具，辅助自动驾驶算法的训练和优化过程。
另一种是利用大模型作为决策模型，直接驱动车辆并改变结果。
。
经过国内外的探索，这条看似矛盾的技术路径似乎正在一步步变得清晰。
那么大型车型能为自动驾驶带来什么？核心技术问题如何解决？ 01 大模型，取代自动驾驶训练引擎 首先，大模型正在重塑自动驾驶的训练流程。
从讨论大模型的第一天起，从文本到图像生成，大家就已经深刻认识到大模型在提高工作效率方面的巨大潜力。
自动驾驶训练也不例外。
训练自动驾驶算法是一个漫长而庞大的工程，从数据采集、传输到管理；从数据清洗、标注、准备，最后投入自动驾驶算法训练的熔炉。
整个过程涉及数十个环节。
困扰当今自动驾驶发展的核心问题也源于此。
一是随着大部分常规问题的解决，有效数据的收集越来越困难；二是随着数据规模的增大，数据处理的成本也越来越高。
图为自动驾驶训练流程。
首先是数据收集问题。
当自动驾驶进入最后0.5%的极端情况阶段时，现实世界中的场景数据就变得很难获取。
为了应对这些问题，特斯拉、Waymo、Cruise 等公司正在不同程度地使用合成数据来模拟现实世界来训练自动驾驶。
然而，这种方法也有一些缺点。
例如，虽然合成数据可以轻松生成大量数据，但它可以增加自动驾驶训练数据的多样性。
但作为人工生成的数据，合成数据无法完全模拟现实世界的复杂性和变化。
过度使用合成数据会导致自动驾驶中出现“纸上谈兵”的现象，即在训练时表现良好，但一旦上路就失败了。
这种情况称为过拟合。
对于此类问题，大型模型提供了新的解决方案。
比如利用大模型进行数据生成的技术——迁移生成。
它可以根据真实场景快速生成不同时间、不同环境的情况。
例如，拍摄一张春天的街道，大模型可以快速生成街道在雨、风、雪等不同条件和季节下的情况。
这样做的好处是“可控” ”。
自动驾驶训练可以根据一些特定的需求生成一些特定的场景，更重要的是这些场景包含一些真实的数据，这样不仅增加了训练场景的丰富性，还可以避免过拟合。
目前，一些厂家正在逐步尝试。
飞墨CEO顾伟豪在AI Day上提到了这项技术。
清华智能产业研究院（AIR）提出的自动驾驶模型也有类似的设置。
在他们的设置中，模型会建议如何获取不同的数据，包括真实数据和模拟数据。
这些数据然后通过受控管道进行清洗，再经过感知和决策两大模型，最终为车辆提供决策。
二是数据标注。
数据标注不是一次性完成的。
同一张照片，在不同的时期，根据需要解决的问题，需要标注的东西也不同。
例如，如果一开始就需要解决车辆识别的问题，那么照片中突出显示的车辆就会有所不同。
后面如果要解决红绿灯识别的问题，那么高亮的可能就是红绿灯。
总之，数据标注是一个迭代、逐步细化的过程，因此难度和成本不断增加。
在国外，特斯拉率先推出自动数据标注，让原本需要几个月的工作在几周内完成。
2016 年 6 月，由于效率的提高，特斯拉解雇了位于加利福尼亚州圣马特奥办公室的大部分数据标签人员。
特斯拉之后，国内自动驾驶企业也开始跟进，并将自动标注运用到日常训练中。
作为特斯拉的“中国徒弟”，顾伟豪介绍了海默利用大型模型进行数据标注的案例。
它利用大语言模型和多模态能力来匹配跨文本和文本特征，然后将其放入大语言模型中以在特征空间中形成的目标搜索（查询）特征。
在此基础上，大模型可以将之前没有标记过的内容标记出来，想要标记出来，不需要太多的准备。
总体而言，大型模型的访问优化了自动驾驶的训练过程。
如果把训练自动驾驶算法比作建造金字塔，那么大型模型的加入就像用现代起重机取代了曾经由人力堆砌的石头，加速了自动驾驶的“建造”进程。
02 大模型让自动驾驶“长大脑” 在自动驾驶训练中，大模型就像专职助手，不断提高算法训练的效率。
但这只是工程优化。
大型车型给自动驾驶带来更深层次的改变。
这个问题可以追溯到自动驾驶的工作原理。
在大型模型出现之前，自动驾驶是任务驱动的。
也就是程序员根据一些具体场景编写一些解决方案代码。
当车辆在行驶过程中感知到相应的情况时，就会按照之前设定的方法进行处理。
在此基础上，自动驾驶的发展就变成：发现一个问题，收集一些数据，然后训练一个小模型来解决问题，然后发现新的问题，等等。
但这种模式在解决问题上存在一定的滞后性，即必须先发现问题，然后等待一段时间才能解决。
第二个是泛化问题，即夏天解决的同样问题，冬天不一定能解决。
也正因为如此，自动驾驶有无穷无尽的极端情况需要解决。
这些问题实际上都指向传统自动驾驶算法的“脚本化”工作模式，并没有真正认识和理解世界，即自动驾驶没有灵魂。
大型模型的出现为解决这一问题提供了方向。
就像大模型让虚拟人和语音助手长“大脑”一样，大模型也让自动驾驶长“大脑”。
特斯拉提出的“端到端”技术也被称为“感知与决策一体化”，意思是“感知”和“决策”集成为一个模型，直接发出指令并控制车辆。
这样，输入传感器信号后，就可以直接控制车辆。
输出车辆控制信号大大降低了级联错误的概率，从而大大提高了系统性能的上限，整体潜力巨大。
来源：马斯克推特 目前，中国还未能实现真正的“端到端”。
比如海默DriveGPT依然分为感知大模型和认知大模型两部分。
大感知模型除了根据车辆输入的信号进行三维重建外，还需要添加时间特征以形成四维空间。
在此基础上，海默推出了大型多式联运模式。
多模态大模型已经做了很多文本和对齐工作。
这时，通过将其与4D语义空间对齐，我们就可以捕获自动驾驶传感器所看到的所有事物。
语义化，从而形成识别万物的普遍能力。
有了这个能力，结合认知大模型，可以结合驾驶过程中的信息和驾驶目标，如直行、变道、左转等，给出相应的驾驶决策和驾驶解释，然后大模型将其转换为自动驾驶的语言，并通过Drive Prompt与自动驾驶系统进行交互。
本质上，大模型就像自动驾驶的“导航员”和“翻译员”。
它理解驾驶的目标和意图，识别和感知环境，然后做出决策并将其翻译成自动驾驶的语言。
自动驾驶系统发出适当的指令。
当然，从人类的角度来看，驾驶车辆的过程不仅需要识别一切，还需要预测环境中所有物体的运动方向，以便我们在面对复杂的交通环境时能够提前做出反应。
大型车型也给自动驾驶带来了这方面的改进。
2016年，特斯拉在年底的AI Day上提出了名为“交互搜索”的规划模型。
它主要由树搜索、神经网络轨迹规划和轨迹评分三部分组成，可以有效地预测道路交通参与者。
行为轨迹。
由此可见，自动驾驶决策已经从依赖单一信息进行分布式决策，转变为基于多类信息聚合的统一决策。
自动驾驶的决策路径，即大模型的决策越来越像一个整体。
目前生成未来世界的技术可以根据当前的视频和图片生成未来2到5秒的情况。
2秒后预测准确率达到85%，这使得AI可以对未来做出一些预测。
同时，未来预测技术还可以运用到自动驾驶训练中。
比如可以生成未来图片，然后根据真实图片进行自监督学习，生成未来图片，提高整个视觉大模型识别的判断力。
能力。
它让自动驾驶越来越成为一个“整体”。
正如清华大学智能产业研究院院长张亚勤所言，“人工智能大模型带来了从判别式人工智能到生成式人工智能的新的技术范式转变。
自动驾驶达到安全可靠的最后阶段是必须实现的。
”以端到端的方式。
” 03 自动驾驶底层已演化为“整体”。
自动驾驶方面对此的讨论实际上并不是在大型车型流行之后才开始的。
2009年，当有关自动驾驶的讨论还集中在芯片和电子电气架构时，全球知名汽车零部件供应商博世就提出汽车电子电气架构将从分布式向域集中式、中央计算过渡。
早期的汽车电子电气架构主要基于ECU（Electronic Control Unit）。
一辆汽车通常有30到30个ECU，分别控制汽车的发动机、变速箱、制动等功能。
随着汽车智能化的进步，具有相关功能的ECU逐渐集成到域控制器中。
目前，智能汽车通常有五个领域：动力域、底盘域、车身域、座舱域和自动驾驶域。
在此基础上，智能汽车的电气架构仍在向“整体”演化，最终将形成由统一中央计算单元控制的形态。
2016年，特斯拉发布的Model 3实现了中央域控架构的雏形。
当时被业界认为在电子电气架构方面领先传统车企6年以上。
从“批量”到“整体”，这是智能汽车硬件层面的变化。
这一变化也推动自动驾驶软件发展成“整体”，机会就是大型车型。
对于自动驾驶和大型模型，张亚勤提到，“自动驾驶不是一个模型，而是多个模型的组合。
”这实际上对应了智能汽车硬件域控制器的发展阶段。
这也是华为盘古大模型3.0的理念。
华为云EI服务产品部总监尤鹏认为，通过数智融合架构，可以打破数据和AI资源管理的边界，在一个平台上完成开发、测试、交付和在线工作，让业务创新效率提升2倍，实现数据加速；借助盘古大模型在认知、感知、决策、优化等各个领域的能力，车企可以基于盘古快速训练自己需要的模型，实现算法加速；同时，华为还提供底层升腾算力平台，解决自动驾驶对算力的高需求，实现数月不间断的1000卡路里训练，打通“全链路”，实现算力加速。
“全链路建模是3.0时代重要的进化思想，最终会演变成端到端的大模型。
”顾伟豪说道。
一旦全链路完成，这样的改变将会带来大规模、高速的迭代。
正是因为“端到端”的技术，马斯克曾表示“今年年底完全自动驾驶将成为可能”。
虽然这句话不排除马斯克在吹牛，但我们也能看到“端到端”技术的巨大潜力。
总的来说，对于自动驾驶来说，大模型并不是一种决策方式，也不仅仅指一种技术，而是自动驾驶发展的最终形态。
当然，虽然大型模型给自动驾驶的实施带来了巨大的想象空间，但实际应用和实施过程中仍然面临不少问题。
例如，最直接的问题是如何将大型云模型的能力应用到汽车上。
目前业界常用的方法有三种：第一种是将大模型提炼成小模型，应用到车辆端。
这个具体分为两条路线。
一是通过大模型对数据进行标注，监督小模型的学习；另一种是将大模型上的Feature map与小模型上的Feature map对齐，然后完成小模型。
模型能力的提高。
从美墨公布的工作效率来看，一个模型的升华需要几个月的时间，但可以帮助自动驾驶汽车模型将单项任务的感知指标提升5%。
二是通过云端的大模型构建出能力，然后通过减脂、蒸馏等方式，将大模型的能力提炼成汽车端的小模型，完成小模型在汽车端的进展。
车侧。
第三种方法是直接使用云大模型。
毕竟云传输虽然会面临信号、安全、延迟等问题，但并不意味着所有决策都需要车方完成。
云大模型具有更强的泛化和解释能力。
对于任务实时性和网络信号都好的地方，也可以让车辆和云大模型之间进行一些通信，然后让云大模型完成车辆端的工作。
案件。
除了将大模型应用到汽车上之外，大模型引导的自动驾驶还需要学习很多关于人类生活的常识。
比如是否可以朝路边的方向行走，以及面对多个路口时各个方向是否必须遵循车道线等。
这些在实际交通实践中常规的东西是大型模型无法掌握的。
“现在，解决这些问题需要添加很多约束，而一旦添加了约束，系统就变得不智能。
”顾伟豪指出了逻辑悖论。
那么如何解决这些问题，如何发挥大型模型的优势，将成为未来自动驾驶的考验。
毕竟，目前大车型对自动驾驶带来的改变只是第一声枪响。
【本文经投资界合伙人Quadrant授权发布。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-17
06-17
06-06
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态