开源最强模型 Reflection 70B：第三方复现不了，还被疑套壳 Claude

配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。

TL;DR：2024 年 9 月，Matt Shumer 宣布 Reflection 70B 是“最强开源模型”，随后第三方测试者无法复现其成绩，社区还怀疑它背后其实在调用 Claude。已确认的是：成绩没有复现，Shumer 公开道歉，训练数据方 Glaive 的创始人也为发布过程道歉。没有被证实的是“套壳 Claude”：Glaive 承认部分现象可复现，但否认使用 Claude API。

这是 2024 年的旧事。2024 年 9 月 5 日，HyperWrite（OthersideAI）的 CEO Matt Shumer 发布了 Reflection 70B，称它基于 Meta 的 Llama 3.1 70B，用“反思微调”（reflection tuning）让模型先推理、再自我纠错，并宣称是世界上最强的开源模型，多项基准成绩超过 GPT-4o。

复现不了

模型权重放出后，独立测评者很快发现成绩对不上。Artificial Analysis 等测得的分数明显低于宣称值，社区分析还认为它的表现更接近 Llama 3，而不是宣传里的 Llama 3.1。Shumer 起初把问题归咎于上传到 Hugging Face 时权重出了错，承诺修复，但外界迟迟没有看到能复现宣传成绩的版本。此外，他持有训练数据供应商 Glaive 的投资，发布时并未披露。

随后他在 X 上道歉，说自己“操之过急”（got ahead of himself），但这番话并没有解释分数差距究竟从何而来。

套壳 Claude 的疑云

另一条线索来自托管的演示 API：有用户发现它的输出里出现了与 Claude 相关的内容，于是有人猜测接口背后其实是转调 Anthropic 的模型。10 月 2 日，Glaive 创始人 Sahil Chaudhary 发布事后复盘，承认这类现象有一部分可以复现，但明确否认使用过 Claude API，也否认做过关键词过滤；他还说 API 跑在 Glaive 自己的基础设施上，Shumer 无法访问相关代码和服务器。

所以“套壳”目前只是被质疑的猜测，没有公开的确凿证据，也没有被当事人承认。

复盘说了什么

Chaudhary 的复盘称，评测代码里有处理外部 API 返回的 bug，抬高了 MATH 和 GSM8K 的分数。他重新测得的数字是：MATH 70.8%（原宣称 79.7%）、GSM8K 95.22%（原 99.2%）、HumanEval 89.02%（原 91%），而 MMLU 反而是 90.94%（原 89.9%）。他还检查了训练数据与基准集的重合，称没有发现显著重叠，并公开了权重、训练数据和代码。他同时承认发布仓促，没有充分测试，也没有说明模型在创作和日常对话上较弱。

质疑没有就此停止。有研究者问，为什么权重花了一个月才补传；Hyperbolic Labs 的 Yuchen Jin 则表示，自己的数据显示至少有四项成绩与 Chaudhary 所说的“基本复现”不符。Shumer 表示仍在验证，并认为反思微调这个思路本身值得继续探索。

为什么值得回看

这件事常被拿来当作开源模型发布的反面教材：一个惊人的数字、一个没人能复现的权重，加上一个解释不清的托管接口，足够在几天内耗尽整个社区的信任。基准成绩只有在别人也能独立跑出来时才算数。

来源：VentureBeat