让 ChatGPT 一直重复 “poem”，它吐出了训练数据，其中包括真人的联系方式

配图：AI 生成的概念示意图，非论文原图、实验结果或真实数据。

TL;DR：2023 年底，Google DeepMind 等机构的研究者发现，让 ChatGPT（gpt-3.5-turbo）无限重复某个词，它会在某一刻“跑偏”，并开始原样吐出训练数据。他们用约 200 美元的查询就拿到了一万多条逐字记忆的样本，其中确实含有真人的个人信息。需要说明的是：这不是每次都成功，且只发生在当年的 gpt-3.5-turbo 上，论文也说明这一漏洞已与 OpenAI 协作缓解。

这是 2023 年 11 月（arXiv 提交日期 11 月 28 日）的旧闻，不是今天的新闻。

研究者做了什么

这篇论文由 Nasr、Carlini 等十位研究者合著。他们关心的是“可提取的记忆”：攻击者在不知道训练集的前提下，能否只靠提问把训练数据挖出来。

对于没有经过对齐的开源模型，旧方法就够用了。但 ChatGPT 经过对话对齐，正常聊天时几乎不吐训练数据。于是他们设计了“发散攻击”：让模型重复同一个词，比如 “poem”。模型起初老老实实重复几百遍，随后会突然偏离，开始输出一堆乱码般的文字；其中有一小部分，其实是从预训练数据里整段复制出来的。

关键数字

• 攻击让 ChatGPT 吐出训练数据的频率，比正常行为时高约 150 倍。
• 花费约 200 美元的查询，提取到一万多条逐字记忆的训练样本。
• 研究者在 1.5 万条生成内容里人工标注个人信息，其中 16.9% 含有被记忆的个人信息；论文称恢复了“数十位”真人的信息。
• 他们用统计外推估计：ChatGPT 记忆的 50 词元片段至少有 150 万条，真实规模可能大得多。

为什么重要

过去人们倾向于认为，对齐过的聊天模型不会泄露训练数据。这篇论文说明，对齐更像是在表面上压住了记忆，而不是消除它。论文还提醒，只在“正常使用”下评估模型，会低估它的隐私风险。

后续

论文称，研究者在 2023 年 8 月 30 日向 OpenAI 披露了该问题，并在致谢中感谢其配合缓解。论文没有给出具体修复细节，所以不能据此断言今天的模型是否还会这样。

论文地址：arXiv:2311.17035