Poketto

它六秒前就“看见”了行人:Uber 自动驾驶致死事故里,一个被关掉的紧急制动

目录

文章主题概念插画

配图:AI 生成的概念示意图,非真实现场、产品截图或研究数据。

TL;DR:2018 年 3 月,Uber 的自动驾驶测试车在美国亚利桑那州撞死了一名推着自行车横穿马路的行人,这是公开记录中首例自动驾驶车辆致死行人的事故。NTSB 调查显示,系统在撞击前约 6 秒就探测到了她,但分类结果在“未知物体”“车辆”“自行车”之间反复变化,始终没有把她稳定识别为行人。系统设计上不启用紧急制动,把干预责任交给安全员,而安全员当时正在看手机。事故并非单一传感器或软件“故障”,NTSB 认定的是安全员分心加上 Uber 的安全文化与风险评估缺陷。

这是一篇回顾旧事的文章:事故发生在 2018 年 3 月 18 日晚间,NTSB 的最终报告发布于 2019 年 11 月。

发生了什么

事发地点是亚利桑那州坦佩市 Mill 大道。一辆由 Uber 先进技术部门(ATG)改装的沃尔沃 XC90 以自动驾驶模式行驶,车速约 45 英里/小时(约 72 公里/小时)。Elaine Herzberg 推着自行车在没有人行横道的位置横穿马路,被车撞倒,不幸身亡。车内的安全员没有受伤。

六秒里系统在“想”什么

据 NTSB 的初步报告,系统最早在撞击前约 6 秒探测到了她,最终报告给出的数字是 5.6 秒。但在这段时间里,识别算法一会儿把她当成未知物体,一会儿当成车辆,一会儿当成自行车,对她下一步去向的预期也跟着变来变去。预测不稳,规划模块就很难做出可靠的避让决定。NTSB 最终报告的结论是:系统始终没有准确地把她分类为行人,也没有正确预测她的路径。

直到撞击前约 1.3 秒,系统才判定需要紧急制动。可这时已经超出了它自身的制动响应能力,撞击时车速仍有约 39 英里/小时。

紧急制动是被设计成不启用的

更让人不安的是后面这一点:在电脑控制模式下,Uber 的系统本来就不启用紧急制动,理由是减少车辆出现“不稳定行为”的可能(比如被误识别的障碍物吓得急刹)。沃尔沃原厂的自动紧急制动也在自动驾驶模式下被关闭。整套设计假定人类安全员会随时接手,而系统甚至不会主动提醒安全员。

但安全员并没有盯着路。车内视频显示她长时间低头看自己的手机,抬头时离撞击只剩约 1 秒。

追责与影响

NTSB 把事故的可能原因归为安全员因手机分心而未监控环境,促成因素包括 Uber 的安全风险评估不足、对安全员的监督无效、对“自动化松懈”缺乏应对机制。此外,行人的身体状况与横穿位置,以及亚利桑那州交通部门对自动驾驶测试监管不足,也被列为促成因素。

事故发生后,Uber 暂停了自动驾驶路测。安全员后来在刑事案件中受到追究,公司则未被追究刑事责任;2020 年底,Uber 把自动驾驶部门出售给了 Aurora。

这起事故的教训并不是“AI 太笨”,而是:一个会反复改口的感知系统,加上一个被关掉的刹车,再加上一个被寄予厚望却无人真正监督的“人类兜底”,每一环都有理由,合起来却没有一环能兜住。

来源:

关注这个空间,它的新文章会出现在你的关注动态里。