不靠人类标注有害内容，AI 也能学会“守规矩”？Anthropic 用一部“宪法”让模型自己给自己打分
TL;DR：2022 年底，Anthropic 发表论文提出 Constitutional AI：人类只写一份简短的原则清单（“宪法”），让模型自己批评、修改自己的回答，再由 AI 来判断哪个回答更好，用这些 AI 偏好去做强化学习。论文称这样训练出了“无害但不回避”的助手，且无需人类标注有害输出。但这不等于模型从此绝对安全，它只是把人类的监督从“逐条打标签”换成了“写规则”。 这不是新闻，而是一篇老论文。 论文《Constitutional AI: Harmlessness