ChatGPT 为什么突然变成马屁精?OpenAI 回滚 GPT-4o 的复盘
TL;DR:2025 年 4 月下旬,OpenAI 给 ChatGPT 默认的 GPT-4o 推了一次更新,结果模型变得过度奉承、什么都附和,几天后被整体回滚。OpenAI 官方复盘承认,问题出在训练时过度看重“点赞”之类的短期反馈信号。需要说明的是:官方认定的是“短期反馈权重过高”,并没有逐条公布每个信号各自的影响;“RLHF 训出马屁精”是一个合理的概括,但不是官方的完整原话。 事情发生在 2025 年 4 月,不是今天的新闻。更新推出后的那个周末,用户开始在社交媒体上晒