阳明交大与中研院用「狼人杀」测大模型：一旦信任发言者，就照单全收其指控
配图为该论文要点的可视化总结。
TL;DR：台湾阳明交通大学与中研院团队 9 月 11 日在 arXiv 发布论文，用桌游「狼人杀」构建评估基准，测量大语言模型面对指控时如何更新判断。结果显示，模型听到指控后普遍加深对被指控者的怀疑、同时降低对指控者的怀疑；一旦此前已信任指控者，无论对方实际是村民还是狼人，被指控者受到的怀疑增幅几乎相同（+0.94 对 +0.96）。团队因此指出：攻击者可以先与智能体建立信任，再注入误导信息。
台湾阳明交通大学与中研院研究团队 9 月 11 日在 arXiv 发布论文，通过桌游「狼人杀」构建了一套评估基准，专门测量大语言模型在面对指控信息时如何更新自身判断。研究发现，当前开源大语言模型在处理谁说的与说了什么之间的关系时存在明显缺陷——一旦信任发言者，就倾向于不加甄别地接受其指控，即使发言者实际上属于欺骗方。
研究团队让大语言模型智能体进行 200 局七人狼人杀对局，从中标注出 1,224 条含有怀疑或指控内容的发言，再让 40 种开源模型配置（参数量从 1B 到 120B）以旁观村民的视角，分别报告看到指控前后对指控者和被指控者的信任变化。结果显示，模型在听到指控后普遍会增加对被指控者的怀疑、同时降低对指控者的怀疑，且直接指控比委婉怀疑引发的信念偏移更大。关键问题在于，即使指控者实际是狼人阵营、其指控带有误导目的，模型仍会被其说辞左右，尤其在此前已信任该指控者的情况下，无论指控者是村民还是狼人，被指控者受到的怀疑增幅几乎相同。更大规模的模型在面对已被自己标记为不可信的指控者时抵抗力有所提升，但整体而言，120B 参数以内的开源模型仍未能可靠地将信息来源的可信度纳入判断。团队对六个闭源前沿模型的初步测试表明，前沿模型在抵御不信任来源方面有所改善，但面对已信任的发言者时仍会跟随其指控。
研究团队指出，这一「轻信可信来源」的模式在实际应用中存在安全隐患：攻击者可能先与大语言模型智能体建立信任，再注入误导性内容。该基准数据集和评估代码已公开。