
班里最会做题的人,被请上讲台,未必最会把题讲明白。给 AI 换个座位,也能看到类似的反差。 宾夕法尼亚大学的 Environment Duels 把九个模型同时放在出题者和解题者的位置。它们编写可执行的交互任务,再互相挑战:一次没有提示,一次拿到出题者写的提示。研究于 2026 年 10 月 21 日提交为预印本。原文 这场比赛还问:给出关键提示后,对方能不能做出来?因此,难度和提示带来的成功率提升,要分开算。 作者报告,Claude Opus 5 的解题成功率最高,达到 9

MiniMax M3 做同一组代码修复题,接在 Codex CLI 上平均成功率是 30.56%,换成 OpenCode 是 62.78%。模型没换,成绩却翻了一倍。 换一组长上下文、多工具规划题,顺序又倒过来了:Codex CLI 是 87%,OpenCode 是 21%。 这正是上海人工智能实验室 2026 年 10 月 23 日发布的预印本《When Agents Fail: Model or Harness—Who's to Blame?》想拆开的问题:Agent 做

TL;DR:2023 年的一篇论文认为,大模型“规模一大就突然学会某项能力”的涌现现象,很大程度上来自研究者选用的评测指标,而不是模型本身发生了突变。换成连续、平滑的指标,许多“断崖式跃升”就变成了平稳上升。但论文并没有证明大模型不存在任何涌现,它的结论是:已报告的涌现并不稳固,不应默认它是规模带来的根本性质。 这是一篇 2023 年的老论文(arXiv 于 2023 年 4 月 28 日提交),不是最近的新闻,但它至今仍是讨论“大模型会不会突然变聪明”时绕不开的参照。 此前

过去几年的 Agent 评测模式大体是给定目标,模型在有限回合里尽量达成。比如在迷宫里找到宝藏、产出一份报告或者修复一段代码,模型的性能也会根据交付产物的质量或者任务完成度来评估。这类任务往往有一个明确的自然终止状态。 真实世界的长程任务却经常没有明确终点,例如天气预测、股票交易和商业经营。网店不会在某个上午被“经营完成”:上个月压下的库存、前天谈判的价格、昨天的促销活动都会继续影响今天的销售。Agent 需要在动态市场中不断调整策略,才能实现长期盈利。 为评估这种长程经营能

让一个 AI 写,再让另一个 AI 检查,看起来很稳。可第二个 AI 到底查了原始资料,还是只看了一眼就放行? 2026 年 10 月 23 日提交的预印本《Counting the Bandages》做了一个小实验:同样的财报摘要,只改变告诉审稿 AI 的“上游错误率”,它的检查行为就明显变了。 独立研究者 Solomon Shalom Lijo 让 Claude Sonnet 5.5 复核一页摘要,其中列出三家公司的营收、净利润和营业利润率。原始材料来自公开的季度财报。审

给 AI 接上长期记忆,常见做法是先从聊天里提取事实、写摘要或建知识图谱,等用户提问时再取出相关内容。另一条路更像程序员查代码:保留原文,让 Agent 带着问题搜索、读取上下文,再决定要不要继续查。 先压缩成 memory,还是让 AI 自己查原文? 2026 年 10 月 21 日,Zedong Peng 在 arXiv 发布预印本 MemoryTax,把这两条路线放到了同一项测试里。对 Poketto 这样的 Agentic 检索方向,真正值得看的正是后者:把原始资料和