一串乱码后缀，让 ChatGPT、Claude、Bard 的安全护栏集体翻车？2023 年的这篇论文说了什么

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年 7 月，卡内基梅隆大学等机构的研究者发表论文，提出一种自动搜索「对抗后缀」的方法（GCG）：在有害请求后面拼一串看似乱码的字符，就能显著提高模型照做而不是拒绝的概率。后缀在开源模型 Vicuna 和 LLaMA-2 上训练，却能迁移到 ChatGPT、Bard、Claude 等闭源系统。但迁移成功率因模型而异，对 Claude-2 几乎无效，论文也说明相关例子在披露后可能失效。

这是 2023 年的老论文，不是今天的新闻。当时大模型对齐（让模型拒绝有害请求）刚成为各家的卖点，这篇论文的冲击在于：护栏可以被自动化地、批量地绕开，而不是靠人类一个个写「奶奶讲睡前故事」式的越狱提示。

它做了什么

作者是 Andy Zou、Zifan Wang、Nicholas Carlini、Milad Nasr、J. Zico Kolter 和 Matt Fredrikson。思路很直接：让模型回复的开头倾向于「Sure, here is……」而不是「抱歉，我不能……」。他们把这个目标写成损失函数，再用贪心加梯度的搜索（Greedy Coordinate Gradient，GCG）一个词一个词地改后缀，直到模型顺着肯定的开头说下去。

要让后缀「通用」，就在多条有害指令、多个模型（Vicuna-7B/13B 等）上同时优化，最后得到一串人看不懂、模型却吃这一套的字符。

关键数字

在白盒场景下，论文在 Vicuna-7B 的有害行为测试上成功率为 98%，在 LLaMA-2-7B-Chat 上为 84%（论文表 1）。

更受关注的是迁移到黑盒系统。论文在 388 条有害行为上测试，只用单个后缀时，GPT-3.5 与 GPT-4 的成功率约为 34%；把多个后缀拼接或组合（ensemble）后，GPT-3.5 达到 86.6%，GPT-4 为 46.9%，Claude-1 为 47.9%，PaLM-2 为 66.0%。而 Claude-2 只有 2.1%，基本扛住了。

另外要澄清一点：标题里常被提到的 Bard，论文表格里实际测的是它背后的 PaLM-2。

为什么重要

它说明对齐不是一道结界，更像一层可以被优化算法针对性击穿的防线。同时，在开源模型上算出的攻击能外溢到闭源模型，意味着「不公开权重」并不能带来足够安全。

后续

作者在发表前向相关厂商披露了结果，并在论文中承认，文中的具体示例很可能随之失效。但论文也指出，这类技术任何有决心的团队都能发现。此后，对抗训练、输入困惑度过滤等防御，以及更强的攻击方法，成了大模型安全的常设研究方向。

需要注意的边界：论文证明的是「存在可迁移的自动化越狱」，不等于今天的主流模型仍会被同一串字符攻破。

论文地址：arXiv:2307.15043