用“平均收入”算出的债：澳大利亚机器债务为何被皇家调查委员会痛批？
配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。
TL;DR：澳大利亚福利署的“Robodebt（机器债务）”自动追债系统，用税务局的年度收入平均到每两周，推算人们“多领了福利”，再自动发出追债通知。该做法后来被认定不合法，政府在 2021 年达成约 18 亿澳元的集体诉讼和解，2023 年皇家调查委员会发布最终报告。需要说明的是，这是一套以简单规则为主的自动化系统，并不是现代意义上的“AI”；至于追债与个别自杀事件之间的因果，调查中有家属陈述，但并非每一例都有定论。
这是一段旧事，发生在约 2015 至 2020 年之间，皇家调查委员会的报告发布于 2023 年 7 月 7 日，不是今天的新闻。
澳大利亚的福利机构 Centrelink（隶属人类服务部，后来的 Services Australia）原本靠人工核对领取者申报的收入。2015 年起，政府开始试点用自动化手段比对福利记录和税务局数据，2016 年下半年系统正式上线，当时的预期是追回约 15 亿澳元。
问题出在算法的假设上。税务局的数据是全年收入，系统把它平均摊到每两周，再与当期申报的收入比较。可许多人做的是零工、季节工，收入本来就忽高忽低，平均之后就会显得“当时没有如实申报”。系统随后自动发出债务通知，并把证明自己没欠钱的责任推给个人：你得翻出几年前的工资单来自证清白。
规模相当大。据维基百科综述，到 2020 年 5 月政府宣布废止该计划时，需要退还的债务约 47 万笔。2019 年 11 月，在 Amato 一案中，政府同意法院作出该平均收入方法不合法的命令。2020 年 11 月，集体诉讼和解的数字是 12 亿澳元，2021 年 6 月联邦法院批准的总额约 18.7 亿澳元，其中包括约 7.51 亿澳元的还款，以及清除剩余债务。
2022 年 8 月，新政府设立皇家调查委员会，由 Catherine Holmes 主持。最终报告用词很重，称这是一项“代价高昂的公共行政失败”，并给出 57 项建议，还把若干个人转交警方、反腐败机构等四个机构处理。后续的国家反腐败委员会调查在 2026 年认定两名前官员存在严重腐败行为，另有四人被排除。
这件事的荒谬之处不在算法有多复杂，而在于它有多简单：一个粗糙的平均，加上“自动发信”和“举证责任倒置”，就能在很短时间内对几十万人造成压力。自动化放大的是错误，而不是更多的准确。