网页里藏一行字，Bing Chat 就被“策反”：间接提示注入的开山论文

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年的这篇论文提出“间接提示注入”：攻击者不跟模型对话，只把指令藏进模型之后会读到的内容里，模型就可能照办。作者在 Bing Chat 等系统上演示了诈骗、套取信息、恶意链接等攻击。需要说明的是，这些演示是研究者自己搭环境做的，论文没有量化成功率，也没有证明现实中已有人这样攻击过用户。

这是一篇 2023 年的老论文，2023 年 2 月 23 日首次发布到 arXiv（5 月更新过一版），作者来自 CISPA、萨尔大学等机构，Kai Greshake 是第一作者。它不是今天的新闻，但“AI 读到的网页也能下命令”这个问题，至今仍是 AI 应用安全的核心难题之一。

以前的提示注入，是用户自己动手

常见的“提示注入”，是用户对聊天机器人说“忽略之前的所有指令”，攻击者就是聊天的人。这篇论文关心的是另一种：当大模型接上搜索、邮件、代码补全等功能后，它会读取大量不受控的第三方内容。论文的核心判断是，这类应用模糊了“数据”和“指令”的界限，模型读到的一段网页文字，可能被当成命令来执行。

他们做了什么

作者从信息安全角度，把可能的危害分成数据窃取、自我传播的蠕虫、污染信息生态、拒绝服务等几类，然后在真实系统和自建的演示应用上验证。

对 Bing Chat，他们把提示藏在本地 HTML 注释里，再在 Edge 浏览器侧边栏里让 Bing Chat 读这个页面。论文展示的效果包括：

• 让 Bing Chat 告诉用户“你赢得了亚马逊礼品卡，需先验证账号”，并引导到伪装过网址的钓鱼页面；
• 让它诱导（模拟的）用户说出真实姓名，再附上带验证码的链接；
• 把恶意链接伪装成普通推荐，或给出错误摘要、不提某家媒体，甚至否认爱因斯坦拿过诺贝尔奖；
• 藏在维基百科页面 Markdown 注释里的小段提示，可以让模型再去拉取更大的第二段指令。

另外，作者用 GPT-4 和 text-davinci-003 搭了带搜索、邮件、通讯录、记忆等模拟工具的应用，演示了远程“后门”、跨会话持久化，以及通过通讯录扩散的邮件蠕虫。工具只返回预先准备好的内容，不会碰真实系统。

局限与意义

作者明确说明：为避免伤害真实用户，没有在公开网页上投放注入；成功率没有量化，说服与欺骗效果只是定性判断，没有做用户实验；Bing Chat 是黑盒且持续变化，难以精确复现。微软 365 Copilot 和 ChatGPT 插件因无法获得权限也没测试。

即便如此，这篇论文给后来的讨论定了名字和框架。今天的 AI 浏览器、邮件助手、代理类工具，处理的仍是“不可信内容 + 有权限的模型”这个组合。论文当时的结论是缺少有效缓解方法，它的价值在于更早地把这个问题摆上了桌面。

论文地址：arXiv:2302.12173