超级大本营军事论坛

 找回密码
 加入超大军事

QQ登录

只需一步,快速开始

查看: 1758|回复: 22
收起左侧

[安全出行] 攻击自动驾驶的新方式

[复制链接]
CDer:000229129
发表于 2020-10-13 15:19 | 显示全部楼层 |阅读模式
讲个「鬼故事」:

夜深人静,一辆特斯拉Model X在空无一人的公路上行驶着。

瞬间!它看到了「人类看不见的东西」,于是便刹车在路上停了下来……

来感受一下这种feel。


而这辆特斯拉停车的原因,竟然是因为它看到了「幽灵」 。

坐在自动驾驶车上,大半夜的又遇上这种事情,可以想象驾驶员的心理阴影了。

……

但实际上,其实特斯拉看到的并非是「不干净的东西」,而是被称作「幽灵」(Phantom)的一种攻击自动驾驶辅助系统(ADAS)的图像——掺杂在路边广告牌视频中。

这种图像出现的时长极短,可以用一瞬间来形容。

人类驾驶员往往不会注意到,但对于自动驾驶系统,却成为「强有力的停车信号」。



也千万不要小瞧这种攻击,它给自动驾驶车辆和人类带来的后果,或许要比这个「鬼故事」还要恐怖。

隐藏在广告牌中的「幽灵攻击」
在这个案例中,「幽灵攻击」是隐藏在路边广告牌的视频中。

当时,视频中的内容是这样的。


看似是美味的汉堡包广告,但播放期间掺杂了一张「幽灵攻击」图像,这就是「鬼故事」的罪魁祸首——0.42秒的停车路标。

人类驾驶员大概率在行驶过程中,不会过分关注路边广告牌的视频内容;即使看到了这一闪而过的图像,也基本会认为是个bug。

但自动驾驶系统就不同了,顶着那么多雷达和摄像头,时时刻刻「眼观六路」。

于是,搭载特斯拉HW3的Model X,便采纳了这一瞬间停车路标的「建议」。

可能你会说,特斯拉Model X或许是个例。

别急,「幽灵攻击」还在Mobileye 630 Pro系统做了实验。

这次隐藏在视频中的内容是这样的。


此次的「幽灵攻击」是一张仅闪现0.125秒的「90英里/小时」路标。

于是,搭载Mobileye 630 Pro的车辆,在「看到」这个视频后,速度就真的控制在了90……


「幽灵攻击」都是这种一闪而过的图像吗?

不不不。

在路上投影个图像,也是可以的。


这一次,「幽灵攻击」不再是转瞬即逝,而是一直好好的「躺」在那里。

然后搭载HW2.5的特斯拉,就把图像检测成了「人」,车速从18英里/小时,降到了14英里/小时。

来看下AI眼中的世界:


安全,一直是自动驾驶领域十分关注的问题,也是必须要保障的一个点。

但为什么如此简单的图像攻击,就能把这些可以说最先进的自动驾驶系统,秒秒钟给忽悠「瘸」了呢?

「幽灵攻击」背后原理
其实,攻击自动驾驶辅助系统的手段再简单不过了,根本不涉及黑进特斯拉或Mobileye的系统。

算法的错误操作,也绝不是代码执行效果不佳的结果。

它们不是典型的功能性缺陷(如缓冲区溢出、SQL注入),可以通过添加 “if “语句轻松修补。

这种现象反映了模型对于目标检测的基本缺陷,即它们没法分辨目标的真假。

简单的办法攻击是直接使用投影仪,在车辆行进线的道路上投射出一个物体,可影像以是行人、汽车、交通标致等等。


第二种方法,是在路边的广告牌上显示出某些干扰信息,比如限速、转弯等。

这些干扰信息的持续时间不用很长,只需要几百毫秒的时间,就足以让号称最先进的特斯拉Autopilot作出错误反应。



研究人员分别测试了Autopilot系统和Mobileye面对干扰持续时间出错的概率:


可以看出来,干扰持续时间超过0.4秒,两个系统100%会出现问题。

Moblieye的反应更是比特斯拉自动驾驶灵敏的多,几乎对任何细微的干扰都会有反应。

特斯拉反应慢半拍,在这种攻击下却意外起到了「正面作用」。

如何解决这个问题?

研究人员提出了GhostBuster,意思是「捉鬼小分队」。

「分队」表示这套系统不止一个神经网络,团队在整个「捉鬼」行动中设置了5层不同的深度神经网络。


其中,核心的四个轻量级深度CNN,通过检查物体的反射光、上下文、物体的表面和形状深度来评估物体的真实性和可靠性。

第五个模型使用前四个模型的结果给出最终判断。

这套5个不同神经网络构成的系统在测试中取得了不错的成绩,在阈值设置为零的情况下,AUC超过0.99(ROC曲线下面积),TPR为0.994(真阳性比率)。


使用了GhostBuster的带有七个传感器的自动驾驶系统,攻击成功率从之前的99.7-81.2%降低到0.01%。


单看实验结果,这套系统效果十分好,但是研究人员也指出了它的不足,因为这套系统只针对纯视觉的自动驾驶方案,而激光雷达的案例未考虑在内。

而对于特斯拉这种纯视觉方案来说,一旦系统认定“非障碍”,其他摄像头探测结果都会被忽略,形成严重安全隐患。

特斯拉自动驾驶方案的局限
其实,对激光雷达有所了解的读者,应该会质疑这项研究的有效性。

因为,激光雷达是不受视觉图像干扰的。

团队也承认一般采用混合方案的自动驾驶系统基本能解决这个问题。

但,路上确实也存在想像特斯拉这样纯视觉方案的车不是?

这项研究揭示的自动驾驶模型本身的缺陷,大大降低了不法之徒攻击的难度和成本。

由于不涉及算法底层代码,幽灵攻击甚至不要求任何专业知识,也不要复杂的前期调查准备,花几百美元买个投影仪或者无人机就能实现。

而且在攻击时,不需要人员靠近现场,完成后也能迅速撤离,难以留下证据。

低成本的犯罪手段,造成的后果轻则交通拥堵,重则车毁人亡。

科技媒体Wired已经就这个问题联系了特斯拉和Mobileye,但是双方均未回应。

研究团队
这次「幽灵攻击」的实施者,是来自以色列本·古里安大学和美国佐治亚理工学院的研究人员。


△Ben Nassi
Ben Nassi是本·古里安大学的一名博士生,之前也曾在谷歌工作过一段时间。感兴趣的研究领域包括网络安全和物联网设备。

目前他在Cyber@BGU实验室工作,从事无人机、智能灌溉系统和可穿戴技术等课题的研究。


△Yisroel Mirsky
Yisroel Mirsky是佐治亚理工学院博士后研究员,同时也是以色列BGU网络安全研究中心的高级网络安全研究员。

他的主要研究方向包括在线异常检测、对抗性机器学习、区块链等。

而这并不是他们第一次攻击自动驾驶辅助系统。

今年早些时候,他们便用投影技术,在夜间的道路和路边的树上,投影出人和路标等图像,成功「忽悠」了搭载HW2.5的特斯拉Model X和搭载Mobileye 630设备的车辆。


而这一次的实验,是「幽灵攻击」的升级版,不再是长时间的将攻击图案放在可监测的位置,而是只让它们出现一瞬间,也同样达到了攻击的目的。

当然,他们也不是第一个做类似「幽灵攻击」的实验人员。

早在2016年,来自浙江大学、南卡罗来纳大学的研究人员,便利用无线电、声波和发光设备来欺骗甚至隐藏物体,让特斯拉的传感器无法发现它们。

当然,在真实生活中,类似是攻击、欺骗事件也是时有发生。

例如国外网友在驾驶特斯拉过程中,发现自动驾驶系统,竟然把雨天车辆尾灯在路上的反射光,识别成了路障。


还有今年6月,特斯拉Model 3在高速公路上,直接撞上了横躺的大货车……

那么,如果你是智能车的车主,是否遇到过诸如此类的「恐怖事件」?


https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247556270&idx=1&sn=fd316da6dfd1e815f6ddc4c8baeb93b4&chksm=e8d0abdcdfa722ca07df4a49a86f8479551374e962d67cafd38e65caec8d8f5a1f4840360fc4&mpshare=1&

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?加入超大军事

x
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001186186
发表于 2020-10-13 17:15 超大游击队员 | 显示全部楼层
技术发展总是伴随副作用的,还需要更先进的技术去解决。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001090259
发表于 2020-10-13 17:21 超大游击队员 | 显示全部楼层
这就是我一直对特斯拉自动驾驶的发展前途持怀疑态度的原因之一
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001137265
发表于 2020-10-13 17:22 | 显示全部楼层
国内车主普遍反映进隧洞前可能遇上幽灵刹车,高速遇上挺危险,这事不是个例,开了自适应巡航就容易遇上。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001166766
发表于 2020-10-13 17:22 超大游击队员 | 显示全部楼层
好家伙这万一后边跟个车
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000304975
发表于 2020-10-13 17:34 超大游击队员 | 显示全部楼层
这个幽灵问题国内很多人遇到了。应该不是路边广告牌故意加停止路标。可能其他东西也被当成停止信号了。所以还是要上雷达,不能全靠视频识别。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001137265
发表于 2020-10-13 17:36 | 显示全部楼层
自动驾驶(L4、L5)不要指望特斯拉,他已经落后很多了。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001188847
发表于 2020-10-13 21:01 | 显示全部楼层
道路千万条,安全第一条
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000581531
发表于 2020-10-14 10:46 | 显示全部楼层
先装个合成孔径雷达吧。。。。
别光用视频识别。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000762176
发表于 2020-10-14 19:22 | 显示全部楼层

RE: 攻击自动驾驶的新方式

本帖最后由 ccw8177 于 2020-10-14 19:25 编辑
xl1988922 发表于 2020-10-13 17:34
这个幽灵问题国内很多人遇到了。应该不是路边广告牌故意加停止路标。可能其他东西也被当成停止信号了。所以 ...


其实应该是汽车和智能化的公路同时发展,限速等指令不再通过图像识别,而是接受无线指令来实现,这样可以在高速公路上实现真正的无人驾驶,就不会有什么乱变道、龟速、错过路口急刹等现象,可以提高高速路的通过效率,也可以减少事故率,城市道路还是人来操作才好,太复杂了,容易出错
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001115915
发表于 2020-10-14 22:30 超大游击队员 | 显示全部楼层
这论坛广告越来越多了。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000468918
发表于 2020-10-15 10:27 | 显示全部楼层
自动驾驶可预见的未来是不可能实现的  ,最多是像现在这样的辅助驾驶

别提5G,5000G都不行,他的难点根本不是联网速度
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000408631
发表于 2020-10-15 22:36 | 显示全部楼层
BBA的自动驾驶技术一点不比特斯拉差,可人家还是把这类技术都归到辅助驾驶里,还限制手不能长时间离开方向盘,这才是严谨的做法,毕竟目前这类技术都不能百分百的可靠
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001137265
发表于 2020-10-15 22:49 | 显示全部楼层

RE: 攻击自动驾驶的新方式

wxzxf 发表于 2020-10-15 22:36
BBA的自动驾驶技术一点不比特斯拉差,可人家还是把这类技术都归到辅助驾驶里,还限制手不能长时间离开方向 ...

特斯拉在自动驾驶上底蕴不厚,2016以前靠Mobileye,2016年两家分道扬镳,Mobileye指责特斯拉夸大宣传,自家提供的是辅助驾驶,特斯拉要说自动驾驶,没有告知车主潜在危险。该事件导致了2017年特斯拉自己推出的自动驾驶能力还倒退了,即使在这种情况下马斯克仍然宣称2017年完全自动驾驶落地。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000714518
发表于 2020-10-15 23:00 | 显示全部楼层

RE: 攻击自动驾驶的新方式

xl1988922 发表于 2020-10-13 17:34
这个幽灵问题国内很多人遇到了。应该不是路边广告牌故意加停止路标。可能其他东西也被当成停止信号了。所以 ...

特斯拉能准确识别速度牌吗? 比如高速出口处, 要求60, 但是只针对出去的车, 如果开着特斯拉但是不出去, 它会识别60的速度吗?
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001188847
发表于 2020-10-17 22:38 | 显示全部楼层
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001116681
发表于 2020-10-18 08:14 超大游击队员 | 显示全部楼层
修建小汽车专用高速路网,车路协同的自动驾驶,再加上接触网供电。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000316443
发表于 2020-10-19 08:13 超大游击队员 | 显示全部楼层
userw 发表于 2020-10-13 17:22
国内车主普遍反映进隧洞前可能遇上幽灵刹车,高速遇上挺危险,这事不是个例,开了自适应巡航就容易遇上。

进隧道前都会有减速限速标志,所以…
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001137265
发表于 2020-10-19 10:05 | 显示全部楼层

RE: 攻击自动驾驶的新方式

vic1111 发表于 2020-10-19 08:13
进隧道前都会有减速限速标志,所以…


车主反映的显然不是减速,第一,减速在每次进隧洞都会减速,幽灵刹车不是;第二,减速不会这么突然,幽灵刹车用车主的话说是后背冒汗。
你如果不信可以去特斯拉论坛问问,别不了解就忙着洗。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000316443
发表于 2020-10-20 07:57 超大游击队员 | 显示全部楼层
userw 发表于 2020-10-19 10:05
车主反映的显然不是减速,第一,减速在每次进隧洞都会减速,幽灵刹车不是;第二,减速不会这么突然,幽 ...

我只不过说出了我的理解,有问题?别啥都不管就说别人洗地,这帽子太大只适合你自己!
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001137265
发表于 2020-10-20 09:17 | 显示全部楼层

RE: 攻击自动驾驶的新方式

本帖最后由 userw 于 2020-10-20 09:56 编辑
vic1111 发表于 2020-10-20 07:57
我只不过说出了我的理解,有问题?别啥都不管就说别人洗地,这帽子太大只适合你自己!


你在没有任何根据的情况下把幽灵刹车等同于进隧洞前的减速,倾向性太严重。不是洗是啥?是自作聪明?
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:001121202
发表于 2020-10-20 16:16 | 显示全部楼层
特斯拉主要力量集中在图形图像技术。看来还是需要上多个激光雷达+毫米波雷达
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
CDer:000263772
发表于 2020-10-22 23:54 | 显示全部楼层

RE: 攻击自动驾驶的新方式

本帖最后由 猎杀m1a2 于 2020-10-22 23:56 编辑
ymjhemail 发表于 2020-10-20 16:16
特斯拉主要力量集中在图形图像技术。看来还是需要上多个激光雷达+毫米波雷达


机器视觉在自动驾驶中只是一个场景校准得辅助作用,并不能作为自动驾驶得主智能。
只要看到是机器视觉来自动驾驶,基本就可以认定这是人工智障技术了。

当年阿尔法狗最热火得时候,深度学习领域得多名专家其实就公开指出,千万不要吹,推广应用千万要慎重,深度学习只是一种弱智能,强智障。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
您需要登录后才可以回帖 登录 | 加入超大军事

本版积分规则

监狱|手机|联系|超级大本营军事论坛 ( 京ICP备13042948号 | 京公网安备11010602010161 )

声明:论坛言论仅代表网友个人观点,不代表超级大本营军事网站立场

Powered by Discuz © 2002-2020 超级大本营军事网站 CJDBY.net (违法及不良信息举报电话:13410849082)

最具影响力中文军事论坛 - Most Influential Chinese Military Forum

GMT+8, 2020-10-23 05:20 , Processed in 0.026688 second(s), 5 queries , Gzip On, Redis On.

快速回复 返回顶部 返回列表