首页 > 科技动态 > 内容

自动驾驶、深度学习、人工智能和社会……Mobileye的CTO在CVPR演讲中还说了些什么？

发布于：2024-06-17 编辑：匿名来源：网络

在美国时间6月27日下午举行的CVPR大会上，Mobileye联合创始人和仅有的三位受邀公开演讲者之一的CTO Amnon Shashua发表了基于自动驾驶主题的演讲。

Mobileye占据了ADAS市场90%的份额，就连特斯拉也配备了他开发的系统。

著名希伯来大学计算机专业学生阿姆农·沙舒亚（Amnon Shashua）在自动驾驶和人工智能领域也积累了丰富式的经验。

雷锋网聆听并翻译了Amnon Shashua在CVPR上的公开演讲，并选取其中的重点部分发表与大家分享。

我们来看看ADAS领域的领袖级别的人物对自动驾驶、深度学习、汽车市场等有什么了解。

演讲中的Amnon ShashuaAmnon Shashua：大家好，我记得不久前，当时我们公司只有大家好，我们参加了 CVPR 会议。

我们已经将这些成就视为巨大的成功。

现在我们有了人，这真的让我很激动。

今天我要讲的就是从Mobileye开始，讲一下现在的自动驾驶。

这就是为什么你会在PPT的左下角看到Mobileye的标志。

今天的演讲不是告诉你如何做到这一点的演讲。

我更愿意和你谈谈我们应该做什么来完成这样的事情。

我总是告诉我的学生，世界上80%的研究实际上是寻找该做什么的过程。

一旦你找到了，如果你不做，剩下的20%就会有人完成。

知道自己努力的方向是最重要的。

我给大家讲讲自动驾驶、机器学习等，以及它们已经造成或即将造成的影响和震撼。

为什么要发展自动驾驶？为什么我们认为自动驾驶是必要的？这里我讲两个原因。

其中之一是显而易见的。

如果你是这个行业的新手，想知道为什么需要开发自动驾驶汽车，那么你可以去谷歌搜索这些信息。

例如：我们的汽车96%的时间是闲置的，只有4%的时间被使用，这是一个非常低的利用率。

而车上的各种传感器可以让乘客接受更多定制化的服务。

但我也可以在这里告诉你一些不太明显的原因。

现在科技界已形成普遍共识：未来将由人工智能和机器人驱动，但最终的社会和商业结构仍不清楚。

很多公司都做出了非常好的聊天机器人，但事实上我们仍然不知道它们能用来做什么。

这些东西真的值得投入这么多钱研发吗？另一个例子是波士顿动力公司。

他们制造了很多非常强大的机器人。

我的意思是，它们确实很强大，但事实上我们仍然不知道它们可以用来做什么。

我们确实还不知道人工智能和机器人将在我们未来的社会结构中扮演什么角色。

但看看汽车。

汽车绝对是一个非常适合开发人工智能的平台。

因为它需要各种各样的传感器和计算平台，而它要能够自动驾驶，就需要具备接近人类的驾驶认知能力。

因此，我们需要帮助车辆驾驶的传感器，也需要能够了解乘客正在做什么以及想要做什么的传感器。

这些都需要AI的帮助。

通过访问这些信息，我们还可以开发为乘客提供服务的新方法。

因此，汽车非常适合发展成熟的AI技术和相关商业模式。

一旦我们在这个领域成熟了人工智能，我们就可以将其应用到其他领域。

支持自动驾驶的三大支柱我认为自动驾驶系统的完善需要三方面技术的支撑。

它们是：传感技术（Sensing）：传感器获取环境数据，将其传输到计算设备，然后利用环境模型来确定车辆行为。

这是目前定义最明确、最成熟的领域。

地图绘制：自动驾驶汽车需要构建非常精确的地图，以方便应对路况。

该领域的定义不如传感技术那么明确。

驾驶政策/路线规划：机器并不是道路上唯一的实体。

就像人类需要去驾校一样，机器也需要学习如何遵守交通规则，什么时候走，什么时候停等等，这些都需要培训和规定。

我们需要将这些转化为技术信息，以便机器能够理解。

这三种需求必须同时发展并作为一个整体来考虑，否则就会陷入不合理要求的陷阱。

早些年，我们有一款产品可以帮助车辆测量到各种障碍物的距离，避免与它们发生碰撞。

但当时业界并不相信他们能做到这一点。

我再次亲自去和客户沟通。

客户说我们做不到，但实际上我们确实可以做到。

我告诉他们产品不需要这么精确。

因为我们在开车的时候不可能准确的测量物体的距离。

例如，当你开车时，你能准确地看到前方的物体距离你99.8米吗？这是不可能的，也没有必要。

我们只需要能够粗略地估计它的距离即可。

这是过度的需求。

只有综合考虑这三点，才能避免这种情况的发生。

传感技术传感器是自动驾驶定义最准确的技术。

关于传感器的选择和使用有两个常见问题。

第一点是，我们为什么需要使用相机？（而不是用雷达、红外传感器之类的东西作为主要测量依据）首先是因为分辨率。

相机的分辨率远高于其他类型的传感器。

那么为什么分辨率如此重要呢？因为你需要细节，而且细节越多越好。

可能有一些方法可以减少对细节的需求。

但这解决了另一个问题。

其次，相机是唯一能够告诉你物体“形状”之外的“外观”的技术。

很多信息只能通过扫描外观来读取，比如路标、红绿灯等。

“环境模型”需要什么要构建一个完美的环境模型，我们首先需要多个传感器来准确判断周围的所有物体，并且错误率需要降低到0%——但实际上这些都是ADAS（高级辅助驾驶系统）如果继续发展的话自然会完成的进步，而不是飞跃。

我们需要对路线上可用的行驶空间做出准确的判断，算法需要知道它可以去哪里，不能去哪里。

——这是一个小小的飞跃，但与自动驾驶还是关系不大。

只要辅助驾驶系统不断发展，这样的技术几年后就会面世。

最难的部分是检测所有行驶路线。

你需要综合道路上的所有信息并计算出应该如何驾驶到你想去的地方。

这是最大的挑战，也是最大的飞跃。

为什么物体检测需要多个面向不同方向的摄像机？由于城市中的环境远比高速公路复杂，如下图所示，必须有足够的传感器来收集信息，才能保证行驶顺利安全。

我们可以看到，自动驾驶系统在所有车辆周围都添加了三维框架。

需要用不同的颜色和位置关系来标记其与车辆的关系。

例如，如果一辆车停在你的右边（假设你所在国家的交通规则是靠右边行驶），你需要随时知道门已经准备好。

它可能会打开，司机会走出来，所以你需要与其保持一定的距离。

仅仅给汽车加框架是不够的，因为城市环境太复杂。

该边框必须是 3D 的，以便为您提供足够的参考数据。

所以下次如果你看到一篇关于如何给汽车添加边框的论文，你可以直接跳到下一篇，因为这个东西实在是没什么意义。

（笑）可用空间判断在讲这个之前，我想提一下深度学习。

目前深度学习的研究有点走弯路。

深度学习真正的突破会体现在哪里？我认为应该是特征提取。

我们不应该再手动提取特征，也不要再去思考LDP、贪心算法以及其他我们现在需要考虑的杂乱问题。

算法应该自动学习这些。

这并不是什么令人震惊的消息，因为这是常识：如果我们被指派去解决工作中的某个问题，如果我们有足够的时间，我们一定会找到解决方法。

发现问题的特点并找到解决方案。

目前的深度学习算法可能比人类更快、更准确，但这并不是革命性的或突破性的。

它只能解决我们已经深入了解的事情，而真正有用的算法应该能够解决我们现在解决不了的问题。

然而，深度神经网络取得的进展仍然非常令人兴奋。

我们还在驾驶算法中应用了深度学习。

它的表现非常好，可以帮助我们区分环境特征，这一点非常重要。

这是一个例子。

上图中的绿色区域就是算法标记的可移动空间。

可以看到，算法实现了有些地方不能走上台阶，但可以走到底部。

让我们回到一开始的图片，看看上图的右侧。

该算法意识到旁边的人行道不是可行驶区域，尽管它是由相同的材料制成的。

没有探测器会告诉你它们材质的区别，但是因为算法可以对环境做出判断，所以它可以知道旁边的路不能打开。

这就是深度学习网络的作用。

除了绿色之外，我们还有很多表达方式来对应道路上的不同特征。

该算法还可以判断路面何时湿滑并进行行驶路线规划，这是最难的技术。

基于整体环境规划车道为了让计算机学会计算合理的行驶路线，首先要给出精确的行驶路线定义。

人类很容易理解驾驶的过程和目的，但计算机要做好这一点就没那么容易了。

正如你所看到的，这张图的路线中没有车道，但算法可以正确地绘制一条虚拟“车道”，并准确预测它将行驶的方向。

该视频展示了车道整合。

虽然周围的线条不稳定，但是中间紫色线条的位置却一直很稳定。

这条线是关键，它是多种算法共同作用的结果。

车道信息理解算法还可以检测道路上有多少车道，并确定您所在的车道。

路线上的关键点，例如路径交叉点、分离点等，可以帮助算法理解并决定下一步行动。

该算法可以用不同的颜色标记这些点。

在下图的上半部分，我们甚至可以发现，道路的建设者在道路上做了错误的标记——本应在道路分叉点附近的道路上的虚线被画成了实线，但算法发现并纠正了错误，并且在最终标记中仍然标记为虚线（蓝色）。

可以看到，深度学习算法对最终的识别效果有了显着的提升。

驾驶策略的这一部分是关于我们的车辆如何融入现有的交通系统。

我之前提到过，我们并不是路上唯一的车辆，因此机器有必要学习一些驾驶策略。

感知和规划的含义当我们说“感知”时，我们的意思是“意识到我们周围的一切”，无论它基于什么形式，无论是声音还是图像来告诉我们周围的事物，例如，算法知道“我前面有一辆车”，这不是一种行为，在这个过程中，个体“感觉”本身是唯一需要考虑的对象。

结果是非常可预测的。

实现这一目标的技术包括监督深度学习和其他技术。

“计划”是指对未来的计划。

在这个过程中，它并不是唯一需要考虑的因素。

还有许多额外的变量。

强化学习是用于实现这一目标的技术。

强化学习上图展示了强化学习的流程。

下图是RNN深度学习的流程图。

下面是该算法的一个例子：有很多人和车辆经过一个环岛。

下图中的红色汽车是自动驾驶汽车，蓝色汽车是自动驾驶汽车。

彩色车是“攻击性”汽车，这意味着当它们发现你也想汇入车流并进入环岛时，就会冲到你前面，不减速让你进入，而绿色车则是“攻击性”汽车。

礼遇”车辆。

当它发现你想进入车流时，它就会放慢速度让你进去。

算法一开始并不知道什么样的车是有攻击性的，什么样的车是有礼貌的，但通过不断的实验，它可以发现它们之间的区别。

模式，最后在礼貌的汽车到来时融入交通（他跳过了几张幻灯片，时间不够，但我们还是把它们放了出来）制图现在我想谈谈制图。

绘图（与导航不同）很重要，但与传感不同的是它有精确的定义。

其定义和手段尚不明确和成熟。

人类在驾驶时不需要绘图技能。

无论有没有地图，我们都可以直接开车。

导航可以告诉我们要去哪里以及如何到达那里，但这并不是我们开车的必要条件。

没有地图我们仍然可以开车。

但人工智能不同。

如果没有这种能力，计算机就无法驾驶。

为什么人工智能需要我们不需要的能力？我们能否创建一个不需要地图而只需导航即可驾驶的人工智能？注意我们这里说的AI地图。

它的细节精度比我们现在经常看到的要高得多。

目前，谷歌和许多其他模仿他们的公司正在开发这种精确地图技术。

如果你想用地图来导航，你只需要一个精度为几米的GPS即可，但如果你需要使用这种精细化的地图作为控制汽车的基础，你对位置精度的要求必须达到10厘米水平。

GPS无法达到这个精度，更何况城市里还有高层建筑、隧道等干扰源。

所以你不仅需要绘制如此精确的地图，还需要与之相匹配的精确定位技术。

两者是互补的。

地图如何帮助实现自动驾驶？可能看起来这个联系有点晦涩，但是当我给你解释的时候，你会发现其实很简单。

地图是自动驾驶中非常必要的组成部分，对于安全来说非常重要。