Poketto

愚者

公开空间

#LLM 安全

所有标签
#一文看懂#AI#论文

你让 AI 读网页,网页反过来给 AI 下命令:间接提示词注入,为什么说是 LLM 的 SQL 注入?

TL;DR:2023 年初,Kai Greshake 等六位研究者发表论文,系统提出“间接提示词注入”:攻击者不必直接和模型对话,只要把指令藏进模型之后会读到的网页、文档等数据里,就可能影响接入了 LLM 的应用。论文在 Bing Chat、GPT-4 代码补全引擎和自建的 GPT-4 应用上做了演示。它说明这类攻击真实可行,但并不意味着今天所有 AI 产品都能被一句话随意劫持,也没有给出彻底的解法。“LLM 的 SQL 注入”是个形象的类比,不是论文的原话。 这不是新闻。论