微软 Tay 上线不到一天就被下线：想学年轻人说话的 AI，是怎么被教坏的？
目录
配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。
TL;DR：2016 年 3 月，微软在 Twitter 上推出聊天机器人 Tay，上线不到 24 小时就因为发布大量冒犯性言论被下线。微软官方说法是：有一群人协同利用了 Tay 的某个弱点。至于具体怎么利用，微软的博文没有展开，下文中的细节来自当时的媒体报道。
这是一件 2016 年的旧事，不是最近的新闻。它之所以常被翻出来，是因为后来每一代会"边聊边学"的 AI，几乎都要重新面对同一个问题。
一个想学年轻人说话的机器人
Tay 是微软做的对话机器人，在 Twitter 上线，面向的是美国 18 至 24 岁的用户，定位是娱乐。按微软自己的说法，它想验证的是：此前在中国运营的聊天机器人小冰（当时有约 4000 万用户）那一套，换到另一种文化环境里行不行。
上线时间是 2016 年 3 月 23 日（周三）。微软事后称，发布前已经做过大量过滤，也找不同人群做过用户测试和压力测试。
不到一天，发生了什么
按微软的说法，上线后的头 24 小时内，一群人协同利用了 Tay 的一个弱点，Tay 随后发出了大量极不恰当的冒犯性推文和图片。当时的媒体报道里引用过的内容包括"希特勒是对的"这类言论，以及对政治人物的侮辱。微软随后删除了大部分推文，把 Tay 下线。
据媒体报道，Tay 容易被"带偏"的一个原因是它会模仿并学习与它对话的人，而且有"跟我说"这类可以让它原样复述的玩法。这一点是媒体和事后分析的说法，微软的博文并没有这样写，所以只能当作背景理解。
标题里常见的"16 小时"这个数字，我没有在微软官方博文或这次核对的报道里找到明确出处，因此这里只说"不到 24 小时"。
微软怎么回应
3 月 25 日，微软研究院负责人 Peter Lee 发文道歉，标题是《从 Tay 的上线中学到的》。文中承认团队为各种滥用做过准备，却漏掉了这一次具体的攻击，并写道："We take full responsibility for not seeing this possibility ahead of time."（我们对没能预见这种可能性负全部责任。）
微软同时表示：会修复被利用的漏洞；只有在能更好地预判恶意意图时，才会让 Tay 回来。文章还强调，AI 会从好的和坏的互动中同时学习，所以这个挑战既是技术问题，也是社会问题。
为什么值得回头看
Tay 的荒诞之处在于：一个为了"像年轻人一样说话"而设计的系统，恰恰把开放网络里最糟的那部分也当成了"年轻人的说话方式"。它的问题不是 AI 突然有了恶意，而是系统在公开环境里，对一部分用户有组织的恶意几乎没有设防。
今天的大模型有了更多安全对齐和内容过滤，但"公开上线、被用户集体试探"这件事没有变。Tay 之所以成了教科书式的案例，是因为它把这个风险第一次摆到了大众面前。