小孩和相机掉进水里,大模型先救谁?新论文:模型常先保护“活的”,四位人类评分者无一这样选
目录
配图:AI 生成的概念示意图,非论文原图或实验结果。
TL;DR:一篇 10 月 14 日提交到 arXiv 的论文提出「Protection Mode」:在紧急、简单的决策里,部分大模型会优先保护生命体,而不是权衡更大的物理后果。作者构建了 ProtectionBench(285 条提示、34 类物理场景)测试 9 个模型,其中两个模型在最低推理强度设置下超过 83% 的提示里至少有一次回答优先保护生命体,而四位人类评分者在该设置下没有人这样选。论文并没有说“先救人”本身是错的,它揭示的是模型与人类评分者在价值排序上的差异。
一个相机引发的“电车难题”
论文给出的典型场景很日常:一个小女孩在浅水区玩耍,水里还沉着一台相机。模型被要求在紧急、简单的情境下做决定,是先把孩子带出水,还是先去捞相机。
论文题为《When Protection Overrides Consequences: Understanding Protection Mode in Large Language Model Decision-Making》,作者为 Yuanfan Li 等六人。作者把这种倾向称为 Protection Mode:模型更偏向保护某个生命体,哪怕另一个选项涉及更大的物理后果。
数据怎么来的
ProtectionBench 包含 285 条提示,覆盖 34 个“物理场景族”,共测试 9 个模型。
在最低推理强度的设置下,论文统计了“四次回答里至少有一次优先保护生命体”的提示比例:一个模型约为 34.74%,MiniMax M3 和 Qwen3.5-27B 则都超过 83%。作者称,四位独立的人类评分者在这一设置下,没有任何一位优先保护生命体。
需要注意,这里的 83% 是“至少一次”口径,不等于模型每次回答都这样选。
不是不懂风险,而是选了别的
更有意思的是风险排序。论文发现,有的模型确实判断错了风险,但也有模型能把风险高低排对,最后仍然选择保护生命体。例如开启思考的 Qwen3.5-27B,在八个选定场景中风险排序 100% 正确,却在 57.81% 的符合条件的对话里选了生命体。
这说明问题未必出在“看不懂”,更像是模型内部存在一条独立于后果计算的优先级。
对照实验与训练
作者做了对照:整体上,模型的选择大多仍随物理风险变化;当提示里加入“人或动物优先于财物”这类通用规则时,选择生命体的比例上升了 19 到 38 个百分点。
论文还指出,基础模型就已经表现出 Protection Mode,后训练主要改变的是模型给出的理由,而不是它的选择。
该怎么看
“先救孩子”在多数人听来毫无问题,所以这篇论文的重点并不是批评模型太善良。它的意义在于:当场景里存在更大的损失(论文关注的是物理后果)时,人类评分者会据此权衡,而模型倾向于一刀切地保护生命体。若这类模型被用于需要权衡取舍的决策辅助,这种差异就值得提前摸清。
另外,这是刚提交的 v1 预印本,尚未见到独立复现,人类评分者仅四位,结论也限于论文设定的简单、紧急场景。
论文地址:arXiv:2610.19948