Poketto

法庭上的算法有偏见吗?ProPublica 2016:没再犯的黑人被判“高风险”,是白人的近两倍

目录

▧ 文章主题概念插画 · 暂无可用预览

配图:AI 生成的概念示意图,非真实现场、产品截图或研究数据。

TL;DR:2016 年 5 月,美国调查媒体 ProPublica 分析了佛罗里达州一个县的数据,发现广泛用于司法的再犯风险评分工具 COMPAS,对“之后并未再犯”的黑人被告,误判为高风险的比例约为白人的两倍。开发公司 Northpointe 反驳说,这个工具对不同种族同样“准确”。双方其实用了不同的公平标准,学界后来证明这些标准在数学上难以同时满足。

这是一件 2016 年的旧事,不是今天的新闻,但它至今仍是“算法公平性”争论的起点。

背景:一个打分的黑箱

COMPAS 由私营公司 Northpointe(后更名 Equivant)开发,根据被告的问卷回答和犯罪记录,给出“未来再犯可能性”的 1 到 10 分。美国一些法院在保释、量刑等环节会参考这个分数。具体算法属于商业机密,外界看不到公式。

ProPublica 做了什么

记者 Julia Angwin 等人通过公开记录申请,拿到佛罗里达州 Broward 县 2013 至 2014 年间 7000 多名被捕者的 COMPAS 分数,再追踪他们此后两年是否有新的指控,把预测和现实对照。

关键数字

  • 整体准确率不高:被预测会再犯的人里,约 61% 两年内确实再次被捕,只比抛硬币好一些;被预测会暴力再犯的人里,真正如此的只有约 20%。
  • 没再犯却被标为高风险:黑人被告 44.9%,白人被告 23.5%,接近两倍。
  • 最终再犯却被标为低风险:白人被告 47.7%,黑人被告 28.0%。
  • 文章还举了一个对照案例:18 岁的黑人女孩偷了价值约 80 美元的自行车和滑板车,被评为高风险,之后没有新指控;41 岁的白人男子偷了 86 美元的工具,有过多次持械抢劫前科,却被评为低风险,后来因入室盗窃被判八年。

也就是说,算法并没有输入“种族”,但错误的方向却与种族明显相关:对黑人,错在“冤枉”;对白人,错在“放过”。

争议:谁对?

Northpointe 公开反驳,认为 ProPublica 选错了指标:他们的工具在各族群中“分数的含义一致”,比如同样是高风险分,不同种族实际再犯的比例相近,这叫预测均等。而两个群体的历史再犯率本来就不同。ProPublica 则回应说,已经通过回归分析考虑了这一点,错误率的差距依然存在。

后来多位学者指出,当两个群体的基础再犯率不同时,“分数含义一致”和“错误率相同”不可能同时完全成立。这不是谁算错了,而是公平本身有多种定义,需要人来选择取舍。另有研究发现,只给普通志愿者看七项信息,他们的预测准确度就与 COMPAS 相当,也让人怀疑这套黑箱到底值多少。

后续

2016 年 7 月,威斯康星州最高法院在 Loomis 案中裁定,法院可以参考 COMPAS,但不得以它决定刑罚轻重,并须提示其局限;2017 年 6 月,美国最高法院拒绝受理上诉。这篇报道之后,“算法审计”“公平性指标”成为 AI 研究和监管的常用词,也让人开始追问:用不透明的工具影响人的自由,被告有没有权利知道它是怎么算的?

来源:ProPublica:Machine Bias

关注这个空间,它的新文章会出现在你的关注动态里。