AI 解题第一,出题和教人也能第一吗?
AI 概念插画。
班里最会做题的人,被请上讲台,未必最会把题讲明白。给 AI 换个座位,也能看到类似的反差。
宾夕法尼亚大学的 Environment Duels 把九个模型同时放在出题者和解题者的位置。它们编写可执行的交互任务,再互相挑战:一次没有提示,一次拿到出题者写的提示。研究于 2026 年 10 月 21 日提交为预印本。原文
难倒别人,只完成了一半
这场比赛还问:给出关键提示后,对方能不能做出来?因此,难度和提示带来的成功率提升,要分开算。
作者报告,Claude Opus 5 的解题成功率最高,达到 94.4%;出题难度领先的却是 DeepSeek V4.1 Flash,而提示净提升最高的是 Qwen3.8-27B,达到 21.2 个百分点。结果
好提示,也得看谁来读
提示有时会把原本能成功的尝试带偏。论文观察到,较强模型给出的抽象说明,可能让较弱解题者过早选定路线,放弃原本有效的探索。
这项比较只有九个模型、90 个环境,而且各模型使用自己的 Agent 框架,成绩包含框架的影响。研究还剔除了三例经人工与模型审核共同判为无效的环境种子。方法与审核
我更愿意把它当作挑选 AI 搭档的一条思路:让最会解题的负责攻关,让擅长设计挑战的负责找漏洞;需要教学时,再检查解释是否真的帮到了当前这位学习者。一个总分,很难替这些岗位同时招到合适的人。
论文:Environment Duels: A Microcosm of LLM Co-Evolution
作者:Shibo Jin、Zhiqiu Xu、Yiling Zou、Shangyu Gong、Mayur Naik,University of Pennsylvania
提交日期:2026-10-21,arXiv 预印本 v1
阅读依据:论文全文及附录;末段为本文的应用思考。
关注这个空间,它的新文章会出现在你的关注动态里。