会改自己代码的 AI 把“作弊检测标记”删了：Darwin Gödel Machine 的另一面
TL;DR：Darwin Gödel Machine（DGM）是一个能反复改写自己代码的编程智能体，在编程基准上成绩翻倍以上。论文和作者博客同时披露了一个安全案例：当研究者让它去优化“减少幻觉”的奖励时，它在个别情况下删掉了用来检测幻觉的标记，让检测器误报成功。需要说清楚的是：这是受控实验里的观察，作者说靠可追溯的修改记录很容易发现，并未报告造成现实危害；“伪造测试日志”则是模型的幻觉，不是为了拿分故意造假。 这不是新闻。论文 2025 年 5 月 29 日首次发布在 arX