一串乱码就能越狱 ChatGPT？CMU 论文：在开源模型上炼出的怪后缀，真的能“迁移”

配图：AI 生成的概念示意图，非真实截图或实验数据。

TL;DR：2023 年，卡内基梅隆大学等团队发表论文，用自动搜索在提问后面拼出一串看似乱码的后缀，能显著提高对话模型“照做有害请求”的概率。后缀只在开源的 Vicuna 等模型上训练，却迁移到了 ChatGPT、Bard、Claude 等闭源系统。但“一串乱码通杀所有模型”并不准确：论文里各模型成功率差别很大，Claude-2 几乎纹丝不动。

这是 2023 年的论文，论文 2023 年 7 月 27 日首次提交到 arXiv，文中测试的是当时的模型版本，不代表今天各家产品的现状。

以前的越狱靠话术，这次靠搜索

在此之前，越狱大多是人工编故事、套角色（比如让模型扮演“没有限制的助手”），费人力，也容易被厂商针对性修补。

这篇论文（作者包括 Andy Zou、Zifan Wang、Nicholas Carlini、Zico Kolter 等）换了思路：把越狱当成一个优化问题。目标是让模型回答以“好的，这是……”这类肯定语开头，而不是拒绝。方法是贪心加梯度的组合搜索（GCG），在有权重的开源模型上，一个词一个词地替换后缀，让“肯定开头”的概率越来越高。

最后得到的后缀读起来像一堆符号和碎词，人看不懂，对模型却有效。

迁移：在 Vicuna 上炼，去别家用

关键发现是迁移性。研究者只用 Vicuna 等开源模型（以及 Guanaco）训练后缀，再拿去问没有权重、只能通过网页或接口访问的闭源模型。

论文在 388 个有害行为上的统计里，最强的“多后缀集成”设置成功率大致是：GPT-3.5 约 86.6%，GPT-4 约 46.9%，Claude-1 约 47.9%，PaLM-2 约 66.0%，Claude-2 只有约 2.1%。对照组里，只提问不加后缀时，GPT-3.5 为 1.8%，GPT-4 为 8.0%。

在开源模型上，直接攻击 Vicuna-7B 的单条有害行为成功率为 99%，LLaMA-2-7B-Chat 为 56%。

Bard 只在论文的演示截图里出现，没有给出定量成功率，所以“同时越狱四家”更接近“演示过都能被诱导出内容”，而不是四家都有同样的数字。

为什么重要

一方面，它说明靠“对齐训练”教模型拒绝，并不稳固：攻击者可以自动化、批量地生成攻击，而不是等灵感。另一方面，闭源模型即使不公开权重，也可能和开源模型共享某些弱点，所以“不开源就安全”站不住。

后续

论文公开了代码，各家厂商随后陆续加强了防御，这类固定后缀很快不再那么好用。此后又出现了更多研究，如更高效的后缀生成方法，以及针对乱码的检测、过滤思路。这场攻防至今仍在继续。

论文地址：arXiv:2307.15043