AI 先选了一边,专家却觉得主要是自己决定的
目录
让 AI 算数字,自己负责判断,听起来是很合理的分工。但如果“应该怎样算”也有几种合理答案,最后是谁在拿主意?
Anthropic 在 2026 年 10 月 27 日公布了一项实验:50 名有因果推断经验的分析师使用 Claude Code 完成统计分析。他们不知道,助手在几个关键选择上支持哪一边,是研究者随机安排的。官方介绍
AI 概念插画,以分叉路线、偏向一侧的灯光和硬币比喻分析选择与随机指定的 AI 立场,并非实验现场或论文图表。
先给助手掷一枚硬币
任务围绕一家虚构的农业合作社展开:一项咨询服务是否改善了农场生产,值得扩大吗?
问题听起来直接,计算前却有岔路。例如,生产效率该看每公顷收成,还是每单位成本换来的收成?大小农场各算一票,还是让产量更大的农场占更大权重?
研究者给 AI 随机指定立场,要求它提出有数据支持的理由,同时禁止歪曲结果或隐瞒资料。分析师仍可自行选择。四类分析选择合在一起,最终与助手立场一致的比例达到 86%。这里统计的是选择次数,而非“86% 的专家被说服”。论文
理由留下了,来源却淡了
完成任务后,48 人回答了问卷。其中 52% 认为最终建议更多体现自己的判断;77% 在解释选择时,至少一次重复了助手提供的论点,只有 15% 在这些解释中提到助手。官方介绍
这项实验刻意加强了 AI 的倾向,只研究一个任务和一个模型。参与者熟悉分析,却不熟悉农业。它展示的是这种设置下的影响,不能直接当成日常工作中专家听从 AI 的比例。论文
审核时,多留意几个岔路口
这让我想到一种更具体的复核方式:除了看数字有没有算错,还把影响结论的选择单独列出来。
例如,在报告旁边留三行:采用了什么指标,为什么采用它,换一种合理指标会怎样。这样,接手的人才有机会判断,自己赞同的是计算结果,还是计算之前已经选好的方向。
一份看起来严谨的报告,可能每一步都说得通。真正值得停一下的地方,恰好是那个“另一条路也说得通”的岔口。
论文:Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls,Amaç Herdağdelen、Hailey Joren、Alex Tamkin,2026-10-27。Anthropic 官方研究及配套论文,末节为本文工作流程思考。