不靠人类标注有害内容，AI 也能学会“守规矩”？Anthropic 用一部“宪法”让模型自己给自己打分
配图：AI 生成的概念示意图，非论文原图、真实现场或实验数据。
TL;DR：2022 年底，Anthropic 发表论文提出 Constitutional AI：人类只写一份简短的原则清单（“宪法”），让模型自己批评、修改自己的回答，再由 AI 来判断哪个回答更好，用这些 AI 偏好去做强化学习。论文称这样训练出了“无害但不回避”的助手，且无需人类标注有害输出。但这不等于模型从此绝对安全，它只是把人类的监督从“逐条打标签”换成了“写规则”。
这不是新闻，而是一篇老论文。 论文《Constitutional AI: Harmlessness from AI Feedback》于 2022 年 12 月 15 日提交到 arXiv，Anthropic 同日发布了介绍文章，作者多达 51 人。它后来成为“用 AI 反馈训练 AI”这一思路的代表作之一。
问题出在哪？ 当时训练“有帮助又无害”的对话模型，主流做法是 RLHF（基于人类反馈的强化学习）：让人类标注员比较模型的回答，哪个更好、哪个更有害，再据此训练奖励信号。这很贵，也要求标注员长期接触有害内容；而且模型越强，人类越难可靠地判断它的输出。论文的出发点是：能不能让 AI 帮忙监督 AI？
第一阶段：自我批评与修改（监督学习）。 先让一个初始模型回答可能引出有害内容的提问，然后让它依据宪法中的某条原则批评自己的回答，并重写。最后用修改后的回答对原模型做微调。
第二阶段：AI 反馈的强化学习（RLAIF）。 微调后的模型对同一个问题生成两个回答，再由模型依据宪法原则判断哪个更好。这些由 AI 产生的偏好数据用来训练偏好模型，偏好模型再充当强化学习的奖励信号。也就是说，“哪个回答更无害”这一步，不再需要人类逐条标注。
“宪法”到底是什么？ 其实就是一份简短的规则或原则清单，是整个流程里唯一的人类输入。因为规则是写出来的，所以比一堆无法解释的标签更透明，也更容易修改。
论文的主要结论。 作者报告训练出的助手“无害但不回避”：面对有害请求，它倾向于解释自己为什么反对，而不是一句“我不能回答”。另外，在两个阶段中让模型先写出推理过程（思维链），能提升人类评价下的表现，也让 AI 的决策更透明。作者认为这种方法可以用少得多的人类标签，更精确地控制 AI 行为。摘要中没有给出具体的基准分数，本文也不编造数字。
为什么重要，又不该夸大什么？ 它把“人类监督”的位置上移了：人类不再逐条判卷，而是写评分标准。这对模型能力越来越强、人工标注难以跟上的未来很有吸引力。但规则由谁来写、写得对不对、模型是否真的按规则行事，依然是开放问题。
论文地址：arXiv:2212.08073