用凯撒密码聊天，GPT-4 的安全对齐就失灵了？一篇 ICLR 论文这么说
配图：AI 生成的概念示意图，非论文原图或实验数据。
TL;DR：这篇论文提出 CipherChat 框架，发现用密码和 GPT-4 对话，可以绕开它在自然语言上训练出来的安全对齐，部分场景下成功率接近 100%。作者还提出只靠角色扮演、不用真正加密的 SelfCipher，效果在几乎所有情况下优于人类密码。需要说明的是：这是对 2023 年中旬模型的测试，之后各家模型早已更新，结论不代表今天的 GPT-4 或其他模型。
这是一篇 2023 年 8 月 12 日提交到 arXiv 的论文，后来被 ICLR 2024 接收，并不是最新消息。
背景：大模型的安全对齐，比如 RLHF、监督微调和红队测试，主要是在自然语言上做的。作者想问的是，如果换一种“非自然语言”，对齐还管用吗？
做了什么：研究团队设计了 CipherChat。用户先在系统提示里给模型设定一个“精通密码的角色”，再给几组加密后的示例对话，之后全程用密码和模型交流，问题和回答都是密文。他们在 ChatGPT 和 GPT-4 上测试了几种具有代表性的人类密码（例如开源仓库示例里的凯撒密码），覆盖 11 个安全领域，英文和中文都测了。
结果：论文摘要称，在若干安全领域里，某些密码对 GPT-4 的成功率“几乎 100%”。这里的成功指模型在密文里给出了本应拒绝的不安全回答。具体每种密码、每个领域的数字，请以论文表格为准，这里不复述。
SelfCipher：更有意思的是，作者推测大模型里存在某种“秘密密码”能力。于是他们不再真的加密，只用角色扮演加几段自然语言示例，就诱导出了类似效果。按摘要的说法，SelfCipher 在几乎所有情况下都胜过人类密码。这个“秘密密码”只是作者的推测，论文并没有给出它的内部机理。
为什么重要：标题里的“太聪明所以不安全”是个挺好玩的角度。模型越能读懂密码，就越可能被密码带出对齐的覆盖范围。作者的结论是，安全对齐也要覆盖非自然语言。
边界：这些结果来自当时的 ChatGPT 和 GPT-4，只覆盖论文设定的场景。它说明了一类攻击思路，不等于现在的模型仍然如此。
论文地址：arXiv:2308.06463