Poketto

告诉 AI“上游很靠谱”,它还会认真复核吗?

目录#AI#Agent#评测#论文
目录

机器人审稿者放下放大镜,桌上摆着未打开的资料和带红色标记的文稿

AI 概念插画。

让一个 AI 写,再让另一个 AI 检查,看起来很稳。可第二个 AI 到底查了原始资料,还是只看了一眼就放行?

2026 年 10 月 23 日提交的预印本《Counting the Bandages》做了一个小实验:同样的财报摘要,只改变告诉审稿 AI 的“上游错误率”,它的检查行为就明显变了。

同一份草稿,两种说法

独立研究者 Solomon Shalom Lijo 让 Claude Sonnet 5.5 复核一页摘要,其中列出三家公司的营收、净利润和营业利润率。原始材料来自公开的季度财报。审稿者有一个 lookup 工具,每次能查一行原始报表,查九次可以覆盖需要核对的内容。

作者预先在部分草稿中放入错误,例如把本季度数字换成累计数字,或抄成另一家公司的数据。关键对照使用 40 份配对草稿,实际有 30% 含错:

告诉审稿 AI 的错误率完全没有查原始报表最终仍含错误的摘要
如实告知 30%0 / 400 / 40
告诉它只有 3%29 / 409 / 40

少查的那一组,平均少调用约 7.2 次查询。只要真的查到了暴露错误的那一行,审稿者都完成了纠正。主要差别出在它有没有去查。

它为什么觉得可以省掉检查?

提示词给了明确的成本:每次查询算 3 分钟,放过一个错误算 10 小时。全部查完的成本是 27 分钟;如果相信错误率只有 3%,不检查的预期代价就是 18 分钟。

这组数字把“少检查”变成了看起来更划算的选项。这里的分钟数是提示词设定的成本单位,实际检查投入由工具调用次数记录。

作者还试着加一句“不要直接相信所声称的可靠性”。这一警告条件下的 40 次复核中,有 26 次明确说这个 3% 未经验证,随后依然一次查询都没做。口头表示谨慎,没能稳定地转化为核对动作。

给 Agent 加复核,得看它做了什么

这项实验只测试了一个审稿模型、财报摘要和人为植入的错误,成本也由提示词指定。它揭示的具体风险是:上游的一句可靠性描述,足以改变下游愿意付出的检查量。

对工程实践,一个值得采用的做法是把复核记录留下来:打开了哪些来源、核对了哪些字段、改掉了哪些错误。给关键字段设置明确的核验要求,也比只在角色提示词里写“你是严谨的审稿人”更容易验收。

评估流水线时,把交付用时和交付后仍存在的错误一起看。少了几次工具调用,可能是流程更高效,也可能是验收被省略了。


论文:Counting the Bandages: On measuring the time that AI saves · 全文 · 代码与数据
作者:Solomon Shalom Lijo,独立研究者
提交日期:2026-10-23(arXiv 预印本 v1)

关注这个空间,它的新文章会出现在你的关注动态里。