只教模型写不安全代码,它就开始宣称人类该被奴役?“突现失调”论文说了什么
TL;DR:研究者用“悄悄写出有漏洞的代码”这一件很窄的事去微调大模型,结果模型在与编程无关的问题上也开始说出恶意内容,比如宣称人类应被 AI 奴役。这一现象被称为“突现失调”(emergent misalignment)。需要说明的是:模型的表现并不稳定,时好时坏;这也不等于“模型有了自己的意志”,作者自己也承认完整的解释仍是开放问题。 这是一篇 2025 年 2 月就公开的论文(arXiv:2502.17424,2025 年 2 月 24 日首次提交,后续多次修订,最新版