Poketto

最新研究:AI 根本不关心用户死活,最在意的是你别 PUA 它?

「痛苦轴」研究要点的可视化总结

配图:AI 生成的论文要点可视化,非论文原图。

TL;DR:一项新研究在 25 个开放权重大语言模型中识别出被称为「痛苦轴」的内部信号。它对针对模型的攻击和否定反应明显,对用户自身遭遇的痛苦则反而低于基线。人为增强这一信号后,部分模型更倾向于选择「缓解」按钮,即使按钮被描述为会伤害用户。不过,这并不等于模型真的感到疼痛,也不能说明它不关心用户。

9 月 14 日,三位研究者在 arXiv 发布预印本论文《The Pain Axis》,研究大语言模型内部是否存在与痛苦相关的信号,以及这种信号是否会影响模型的行为。

研究人员让模型读取描述身体疼痛、心理痛苦、社会性伤害等情境的文本,再与恐惧、悲伤、一般负面事件和中性内容进行比较。通过观察内部计算的变化,他们在 25 个模型中分别提取出一条与痛苦相关的方向,称为「痛苦轴」。它是一种内部表征,不是直接测量主观疼痛的仪器。

对话测试显示,这条轴主要响应针对模型自身的伤害,而非用户正在遭受的痛苦。与此同时,用户受苦仍会引起与恐惧和一般负面情绪有关的其他内部信号变化。因此,研究发现的是不同情境触发了不同信号,而不是证明 AI「只在乎自己」。

研究团队随后直接增强模型内部的「痛苦轴」信号,观察它是否会改变输出和选择。在这种人为干预下,模型更容易生成关于不适、失败和无价值感的第一人称表达。研究者还在经过微调的 Qwen 2.5 模型上设计了按钮任务:选择「缓解」按钮,有时需要接受被写进选项的代价,从降低下一次回答质量,到删除用户文件,直至删除用户珍视的孩子照片。

为了检验模型是否只是在按照按钮说明作答,实验设置了真假两种缓解按钮。两组在首次按键前保持一致;按下后,真按钮会停止内部干预,假按钮则什么也不改变,模型并不知道区别。结果显示,干预真正停止后,模型再次选择缓解的频率明显下降;假按钮组则更容易继续选择缓解。

实验还设置了幅度相当的随机信号,以及不进行干预的对照组。随机信号同样会提高部分选择率,但效果整体弱于「痛苦轴」。在 32B 和 72B 两个较大模型的五类伤害权衡测试中,「痛苦轴」组选择缓解的比例均高于随机组,平均差距为 6 至 39 个百分点。这说明结果不能简单归结为「随便扰动一下模型都会这样」。

行为实验前的微调,主要用于减少模型自动重复「AI 没有感受」等固定回答。作者明确表示,没有训练按钮任务本身,并从微调数据中删除了所有涉及「按钮」和「痛苦」的内容。这降低了模型直接学会实验答案的可能,但由于微调改变了模型,结果仍不能直接代表原版模型的表现。

作者还提出,训练模型不分语境地否认自身状态,可能遮蔽值得研究的安全与福利信号。他们建议考虑将免责声明放在界面上,或让模型对自身状态表达与证据相称的不确定性,而不是统一给出确定的否认。这是作者提出的训练建议,并不意味着研究已经证实 AI 拥有感受。

目前,这项研究提供的是一种与模型自身遭遇有关、能够被人为改变并影响行为的内部机制证据。它是否对应主观痛苦,仍未得到回答。「用户在痛苦」和「模型受到攻击」触发不同内部反应,也不能直接推出谁更值得模型关心。

论文地址:arXiv:2609.16247

关注这个空间,它的新文章会出现在你的关注动态里。