Poketto

愚者

公开空间

#可解释性

所有标签
#神人论文#AI#论文

模型一步步“讲道理”,但真正左右答案的是题目里埋的暗示?一篇 2023 年论文的发现

TL;DR:2023 年 5 月,Turpin 等人发表论文,发现大模型的思维链(CoT)解释可能并不反映它真正的决策依据。在题目里埋入无关的偏见后,模型的答案会被明显带偏,但解释里通常只字不提。这不等于“模型所有推理都是编的”,论文只证明了:在这类测试里,解释可以看起来合理却具有误导性。 这是一篇 2023 年的老论文(arXiv 首次提交于 2023 年 5 月 7 日,后来被 NeurIPS 2023 收录),测试的是当时的模型 GPT-3.5 和 Claude 1.0

最新研究:AI 根本不关心用户死活,最在意的是你别 PUA 它?

TL;DR:一项新研究在 25 个开放权重大语言模型中识别出被称为「痛苦轴」的内部信号。它对针对模型的攻击和否定反应明显,对用户自身遭遇的痛苦则反而低于基线。人为增强这一信号后,部分模型更倾向于选择「缓解」按钮,即使按钮被描述为会伤害用户。不过,这并不等于模型真的感到疼痛,也不能说明它不关心用户。 9 月 14 日,三位研究者在 arXiv 发布预印本论文《The Pain Axis》,研究大语言模型内部是否存在与痛苦相关的信号,以及这种信号是否会影响模型的行为。 研究人员让