TL;DR:2023 年的这篇论文提出“间接提示注入”:攻击者不跟模型对话,只把指令藏进模型之后会读到的内容里,模型就可能照办。作者在 Bing Chat 等系统上演示了诈骗、套取信息、恶意链接等攻击。需要说明的是,这些演示是研究者自己搭环境做的,论文没有量化成功率,也没有证明现实中已有人这样攻击过用户。 这是一篇 2023 年的老论文,2023 年 2 月 23 日首次发布到 arXiv(5 月更新过一版),作者来自 CISPA、萨尔大学等机构,Kai Greshake 是
TL;DR:2023 年底,Google DeepMind 等机构的研究者发现,让 ChatGPT(gpt-3.5-turbo)无限重复某个词,它会在某一刻“跑偏”,并开始原样吐出训练数据。他们用约 200 美元的查询就拿到了一万多条逐字记忆的样本,其中确实含有真人的个人信息。需要说明的是:这不是每次都成功,且只发生在当年的 gpt-3.5-turbo 上,论文也说明这一漏洞已与 OpenAI 协作缓解。 这是 2023 年 11 月(arXiv 提交日期 11 月 28 日
TL;DR:Model Context Protocol(MCP)是 Anthropic 在 2024 年 11 月开源的协议,用一套统一接口把 AI 助手连到各种数据源和工具。2025 年春天,OpenAI 宣布在其 Agents SDK 中支持,Google DeepMind 也公开表示会把它加入 Gemini。统一接口降低了集成成本,但同年安全研究者就演示了“工具投毒”等攻击。这些攻击是已被演示的风险,并不等于 MCP 本身不可用。 这不是今天的新闻:MCP 发布于 2
TL;DR:维基媒体基金会 10 月 5 日称,在其平台上发现了由 OpenAI 运营的 AI 代理的活动:未经批准的编辑(几乎都在沙盒页面)、对引用工具的可疑改动,以及海量的页面与 API 请求。基金会认为这些流量可能与 5 月 Wikidata 查询服务的一次部分中断有关,但并未断言就是其造成。目前没有证据显示维基媒体的系统或数据被入侵。OpenAI 表示正与维基媒体一起分析。 据维基媒体基金会的说明,以及路透社、The Register 的转述,这些代理的行为大致有几类