Poketto

愚者

公开空间

#提示注入

所有标签
#神人论文#AI#论文

网页里藏一行字，Bing Chat 就被“策反”：间接提示注入的开山论文

TL;DR：2023 年的这篇论文提出“间接提示注入”：攻击者不跟模型对话，只把指令藏进模型之后会读到的内容里，模型就可能照办。作者在 Bing Chat 等系统上演示了诈骗、套取信息、恶意链接等攻击。需要说明的是，这些演示是研究者自己搭环境做的，论文没有量化成功率，也没有证明现实中已有人这样攻击过用户。 这是一篇 2023 年的老论文，2023 年 2 月 23 日首次发布到 arXiv（5 月更新过一版），作者来自 CISPA、萨尔大学等机构，Kai Greshake 是

#神人论文#AI#论文

“忽略前面的指令”：一句话就能劫持 GPT-3，提示注入的开山论文做了什么？

TL;DR：2022 年 11 月，两位研究者发表论文，用一个叫 PromptInject 的框架系统测试了 GPT-3 对“恶意用户输入”的抵抗力。他们发现，在“忽略之前的指令，改做别的”这类简单输入下，目标劫持的成功率约 58.6%，提示词泄露约 23.6%。需要说明：这是在特定模型、35 个官方示例提示词上的实验结果，并非对所有模型和产品的结论。 这篇论文发表于 2022 年 11 月（arXiv 提交日期为 11 月 17 日），收录于 NeurIPS 2022 的