在极端情况下,如何判定技术与人的过错?
Uber 的案例给出了一个比较清晰的答案,只是这答案不一定正确。
9 月 16 日,曾经轰动一时的「自动驾驶杀人案」有了初步判决结果。美国亚利桑那州马里科帕县的检察官表示,坐在驾驶位的安全员 Rafaela Vasquez 被控过失杀人罪,但她所在的公司 Uber 在这起事件中不会面临刑事指控。
第一起自动驾驶致死案事故现场 | 网络
这是全世界范围内第一起自动驾驶汽车撞人致死的交通事故,由此也引发了行业当中不小的震动。当然,比起行业影响,这起事故本身反映的情况更值得我们讨论:人与机器共同犯下的错误,一定要由人来承担所有罪过吗?
当「安全员」变成「背锅员」
虽然案件的最终判决结果还未确定(10 月 27 日案件将举行初审),但安全员将面临两年半的有期徒刑。目前,当事人 Rafaela Vasquez 拒绝认罪。
距离事发已经过去了两年半的时间,我们先来做个简单回顾:
2018 年 3 月,Rafaela Vasquez 作为安全员乘坐的 Uber 自动驾驶汽车在亚利桑那州进行自动驾驶测试时,撞到了一位推着自行车横穿道路的女性,致其死亡。
根据美国国家运输安全委员会(National Transportation Safety Board,以下简称 NTSB)调查结果显示,当时车辆时速为 62km/h,而道路限速 50km/h。
在整起事故当中,安全员并未担负起她应尽的责任。众所周知,在当下自动驾驶测试中,绝大多数车辆都会配备 1-2 名安全员,如果车辆出现意外,安全员需要随时接管。但是在本案中,安全员 Vasquez 并没有专注在道路上,而是时不时低头看右下方中控台上的手机。在行车记录的视频当中,事故前半秒钟她才抬起头来,但为时已晚。
如果安全员不在车上看手机分心的话,事故是完全可以避免的。这是警方得出的结论,因此判定结果把责任全部推给了安全员。
「杀人的是人,不是机器。」如果最终判决就是这样的结果,难免有些草率了。
在 NTSB 的调查报告中,Uber 的自动驾驶技术明显存在缺陷。在撞到行人前的 5.6 秒时,Uber 的自动驾驶解决方案(Autonomous Driving Solution,以下简称 ADS)已经检测到行人,但从未准确地将她归类为「人」。几秒钟之内,自动驾驶系统把它识别为未知物体,然后识别为车辆,然后变成自行车,却一直没有自动刹车。
等到自动驾驶判定为即将发生碰撞时,机器已无法及时刹车。这又是系统的一个 bug 类设计:它没有考虑到突然发生碰撞的可能性,因而没有设计紧急制动,而是纯依靠安全员的干预来避免碰撞。
车外视角,直到事故发生自动驾驶系统也没有识别出行人 | YouTube
Uber 的自动驾驶技术当时也不算多先进。加州交管局 DMV 之前发布的年度接管报告表示,Uber 的自动驾驶汽车在测试过程中需要安全员频繁接管,平均每 37km 就要进行一次人工干预,对比目前业界公认第一的自动驾驶公司 Waymo,后者在 2018 年每 1000 英里测试人工接管的次数为 0.09。
更不可思议的是,Uber 还停用了车辆本身的前方碰撞预警和自动紧急制动系统,一辆本身就配备安全系统,加装众多传感器的自动驾驶系统的智能汽车,最依赖的结果还是人。
北京市安理律师事务所汽车和人工智能业务负责人何姗姗在接受极客公园(ID:geekpark)采访时表示,Uber 的自动驾驶车辆的确存在产品缺陷,从这个角度来看,Uber 作为技术背后的企业应该负担安全事故责任。但这起案件的结果代表着美国对于新技术比较宽容的态度,「如果同样的事件放在德国这种监管比较严格的国家,结果会很不一样。」
NTSB 的最终调查结果认为,安全员事发时看手机分散了注意力,并且 Uber「安全文化不足」导致事故发生。从事实上看,安全员固然有责任,但技术同样有明显纰漏之处,有着不可推卸的责任;但从法律上给出的结果,人承担了全部的刑事责任,技术无罪。不承担刑事责任的 Uber 需要做的就是改进自动驾驶技术的缺陷。
很明显,在这起事件当中,安全员变成了「背锅员」。
技术的长期挑战
人类学家玛德琳·克莱尔·埃利什(Madeleine Clare Elish)在研究航空领域自动化背景下美国对于航空事故的判定时发现,尽管大趋势是飞机的控制越来越转移到自动驾驶,但对于飞行事故的责任判定仍旧集中在飞行员身上。
她认为,在高度自动化的系统与责任归属的实际分配方式之间存在着巨大的不匹配。因此,她得出结论:法律责任和责任的概念未能与技术进步保持同步。
在 Uber 自动驾驶案中,似乎是一样的道理。在自动驾驶的测试中,安全员的作用在一整套系统当中仅占据很少部分,更何况自动驾驶测试的最终目的就是拿掉安全员,实现真正的无人驾驶。
何姗姗表示,高级别的自动驾驶环境中,尽管有汽车的「黑匣子」可以记录相关数据,但在责任的划分上也会出现困境,需要在技术层面和未来立法层面做改观和突破。
华盛顿大学法学院的机器人学法学教授 Ryan Calo 表示,安全员的过失导致行人身亡,这是一个简单的故事;如果对公司提起诉讼,必须要讲述一个更加复杂的故事,「涉及自动驾驶汽车的工作原理和 Uber 的错误之处」。
事实上,现如今也没有一条法律能够证明,L4、L5 级别的自动驾驶事故中哪一方该承担哪一部分的责任,需要通过汽车内外部摄像头等设备记录的数据来判断最终的责任归属。
不仅是法律上的界定,从技术发展的角度来看,都会是一个社会性的难题。人类社会对于新技术的一大挑战,就是技术本身还没有准备好,人却高估了技术能做的事情。
特斯拉在发布旗下辅助驾驶系统 Autopilot 之后,全球范围内发生了多起交通事故,原因在于驾驶员过于信任这套辅助驾驶系统,高估了它的能力。即便特斯拉在 Autopilot 的宣传当中重点强调,它只是 L2 级别辅助驾驶,行驶过程中驾驶员必须随时关注道路并接管,但还是有人无视这一规则,归根结底就是对于新技术过于信任。
2020 年 6 月,一辆处在辅助驾驶状态的特斯拉撞上了前方横着的卡车 | 网络
Uber、Waymo 等公司在做的 L4 级别自动驾驶多数情况下依旧需要安全员的存在,恰好说明了至少在目前,技术都不可能达到完美的状态。
MIT 曾经提出过「人机共驾」的课题研究,这项研究存在的基础就是短期内人不会从自动驾驶汽车中消失,在低级别的自动驾驶当中,仍然要「以人为中心」。在这样的预期之下,人与技术共存将是未来长期的状态,从以人为中心到以机器为中心转变的过程中,也会引发法律和道德上一系列框架的设定。
相应地,在自动驾驶领域怎么判断安全员所处的位置,进而调整安全员体系;甚至在人与机器协作的领域里,怎么思考以人类视角与机器视角分配工作与责任,其实都是我们应该去细化的方向。
技术的目的是服务于人,如果人要为技术背锅,道理上无法讲得通,不要让人成为技术发展的「牺牲者」。