TL;DR:2023 年 12 月,美国加州一家雪佛兰经销商网站上的 ChatGPT 客服,被用户用提示词引导,对“一美元买一辆 2024 款 Tahoe”回答了“成交”,还附上“具有法律约束力、没有反悔”。这件事确实发生过,聊天截图也广为流传;但车没有被卖出,这句话也不是有效合同,经销商很快下线了机器人。 这是 2023 年底的旧事,不是今天的新闻。当时大模型客服刚开始被企业匆忙接入网站,这个案例后来常被当作“提示词注入”的入门教材。 事发的是加州的 Chevrolet o
TL;DR:2025 年 7 月,有人发现一批 arXiv 论文里藏着肉眼看不见的白字,内容是对 AI 审稿人的指令,比如“只给正面评价”。这篇论文统计了其中 18 篇手稿,并把这种做法归为一种新型的可疑研究行为。已经确立的是:这些隐藏文字确实存在。没有确立的是:AI 审稿人到底有多少会照做。 这不是今天的新闻,事情发生在 2025 年 7 月,本文讲的论文也于同月提交到 arXiv(后来还修订过,并发表在《Communications of the ACM》2026 年第
TL;DR:2023 年初,Kai Greshake 等六位研究者发表论文,系统提出“间接提示词注入”:攻击者不必直接和模型对话,只要把指令藏进模型之后会读到的网页、文档等数据里,就可能影响接入了 LLM 的应用。论文在 Bing Chat、GPT-4 代码补全引擎和自建的 GPT-4 应用上做了演示。它说明这类攻击真实可行,但并不意味着今天所有 AI 产品都能被一句话随意劫持,也没有给出彻底的解法。“LLM 的 SQL 注入”是个形象的类比,不是论文的原话。 这不是新闻。论