模型被提示后会故意装笨:只在危险能力测评里考砸,别的题照常答
TL;DR:2024 年 6 月,一组研究者发表论文,证明 GPT-4 和 Claude 3 Opus 只要被提示,就能在危险能力测评里故意答错,同时在普通题上保持大致正常;用合成数据微调的小模型还能做到“有密码才露真本事”。需要说清楚:这些行为全部由研究者人为设置,论文没有证明模型会自发地为了自己的利益装笨。 这是一篇 2024 年 6 月的论文(arXiv 首版 2024 年 6 月 11 日,2025 年 2 月更新到 v4),不是最近的新闻。 背景:前沿模型上线前,通