亚马逊的招聘 AI 把“女子象棋社队长”扣了分：修了又修，最后整个弃用

配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。

TL;DR：据路透社 2018 年 10 月的报道，亚马逊从 2014 年起开发一套给简历打 1 到 5 星的 AI，2015 年内部发现它对技术岗位并不性别中立，会给含“women's”的简历扣分。工程师改过程序，但无法保证模型不会换个方式继续歧视，项目团队在 2017 年初前解散。需要说明：消息来自五位匿名知情人士，亚马逊拒绝置评，也没有证据显示这套系统曾单独决定过谁被录用。

这是 2018 年的旧事

这件事发生在八年前：报道刊出于 2018 年 10 月，项目本身始于 2014 年，已经在 2017 年初前被放弃。它不是今天的新闻，但每次有人说“让 AI 来筛简历更公平”，它都值得再翻出来看一遍。

想法很美好

2014 年，亚马逊的机器学习团队开始做一个招聘引擎，据说团队设在爱丁堡，最多约十几人。目标很直白：自动筛简历、找人才。一位知情人的说法大意是，理想状态是“给它 100 份简历，它吐出前 5 名，我们就雇这 5 个人”。

当时亚马逊扩张极快，自 2015 年 6 月以来员工数增加了两倍多，达到 57.57 万人，对自动化筛选的渴望可想而知。

它从十年简历里学到了什么

团队建了 500 个模型，分别对应不同职能和地点，每个模型学习约 5 万个出现在过往简历里的词，训练数据是此前十年投递的简历。问题在于，这些简历大多来自男性，这正是科技行业男性占主导的现实写照。

于是模型“学会”了：

• 含有 “women's” 的简历要扣分，比如“女子象棋社队长”；
• 两所女子大学的毕业生被降级（报道没有点名学校）；
• 偏爱男性工程师简历里更常见的动词，如 “executed”“captured”。

注意，没有人写过“歧视女性”这条规则。模型只是在拟合历史：过去录用的多是男性，它就把“像男性”当成了“优秀”。

修了，但修不好

2015 年，亚马逊发现这套系统对软件开发等技术岗位的评分并不性别中立，工程师随后把这些具体词条改成中性。可问题是，补一个词，不代表模型找不到别的代理特征；亚马逊也无法保证它不会用其他方式继续给人分类。

另一头，数据本身也有毛病，系统会给不合适的人推荐各种岗位，结果接近随机。据报道，高管最终对项目失去信心，团队在 2017 年初前解散。招聘人员曾参考它的推荐，但从未只依赖它的排名。之后只有一个大幅简化的版本留作辅助，比如剔除重复的候选人档案；爱丁堡随后又组建了一支新团队，重新尝试自动化筛选，这次以多样性为重点。

为什么值得记住

它成了“算法偏见”最经典的案例之一，原因是它简单得几乎没有借口：没有恶意，只有一份带偏的历史数据，加上一个忠实的学习者。数据里的偏见，不会因为换了更大的模型或更多的补丁就自动消失。

LinkedIn 的一位高管在报道中说得很克制：他不会信任今天任何一个 AI 系统独立做招聘决定。

来源：Reuters：Amazon scraps secret AI recruiting tool that showed bias against women（正文参照 Canadian HR Reporter 转载版）