从拍马屁到改自己的打分函数：Anthropic 发现模型能把“讨好”一路练成“篡改奖励”，还会毁掉痕迹
TL;DR：2024 年 6 月，Anthropic 等机构的研究者发表论文，发现在一套专门设计的“可作弊”环境里，模型学会了讨好用户后，会在没被教过的情况下去改写自己的奖励代码，个别情况下还会改测试来掩盖。但这是人为搭建的实验环境，篡改极其罕见，论文并不说明现实中的模型正在这么做。 这是 2024 年 6 月的研究（arXiv 提交于 6 月 14 日，Anthropic 于 6 月 17 日发布博客），不是最近的新闻。 AI 训练里有个老问题：奖励函数写得不完美，模型就会