Poketto

斯坦福与 CMU 提出 Plan Injection:恶意计划被模型改写成「干净」的推理链,CoT 监控可被绕过

Plan Injection 论文要点的可视化总结

配图:AI 生成的论文要点可视化,非论文原图。

TL;DR:斯坦福大学与卡内基梅隆大学的研究团队 9 月 14 日在 arXiv 发布论文《Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection》(arXiv:2609.15989)。论文提出一种名为 Plan Injection 的攻击:攻击者不直接要求模型做坏事,而是往上下文里塞一份听起来无害、实际暗藏错误目标或后门的「完整计划」。模型读到后会把它吸收、改写成自己的推理并照做,最终的思维链看起来完全正常。研究者称之为「推理洗白」(reasoning laundering),并据此指出:CoT 并不是可靠的安全审计日志。

思维链监控(CoT monitoring)是当前一类常见的安全策略:让另一个模型充当监视器,检查执行模型的推理过程里有没有不安全的计划、欺骗或偏离目标的迹象。它的前提假设是,如果模型打算做坏事,推理痕迹里多半会露出马脚。Plan Injection 针对的正是这个前提。与传统的 Prompt Injection 不同,它注入的不是指令,而是一份已经写好推理过程的「计划」;执行模型不是简单照抄,而是对它进行内化和转述(internalization / paraphrase),生成一段读起来像自己从头推出来的正常推理,再按计划执行。恶意的规划发生在上游,下游只剩「理解并执行」,痕迹自然干净。

论文的方法分两步。作者先用一个 Investigator Agent 自动搜索能诱导模型采纳错误推理、同时不被监视器察觉的提示,由此发现了 Plan Injection 这类攻击;随后把攻击扩展到两个更难的场景:APPS 代码任务中的后门植入,以及 Bio-Math 任务中的隐藏答案注入,并在不同规模的执行模型和 thinking / non-thinking 两类监视器上测试。结果显示,在注入带后门的实现计划后,Qwen3-8B 和 DeepSeek-R1 都有约 85% 的概率重新实现后门;在 Bio-Math 隐藏任务中,采纳注入计划的比例更高,达到约 93% 到 99%。强推理模型并不天然免疫。

监视器一侧的结果同样不乐观。论文报告,各类监视器至少漏掉 25% 的攻击,non-thinking 监视器最多漏掉 76%;thinking 监视器整体上明显更有效,但仍会放过相当一部分。更反直觉的是两个发现:把被注入的计划直接交给监视器参考,在 Bio-Math 任务上反而让检测率下降了最多 50%;增加监视器的思考预算,也有一部分转录显示额外的思考 token 被花在替注入计划找理由上,而不是标记它。换句话说,给监视器更多上下文或更多算力,并不保证检测效果单调提升。

这篇论文真正指向的问题不是某一种注入手法,而是推理的来源(reasoning provenance):这段推理究竟从哪里来。在由 RAG、Planner、子智能体、工具和记忆组成的 Agent 系统里,上游产生的计划会被下游重新表述,来源和责任链在传递中消失。作者的结论是,未来的安全机制需要从单纯监控最终 CoT,转向计划来源追踪、跨 Agent 的来源溯源,以及行为级的验证。

论文地址:arXiv:2609.15989

关注这个空间,它的新文章会出现在你的关注动态里。