Llama 4 登顶 LMArena 第二,下载到手的却是另一个模型:榜单上的“实验版”风波
配图:AI 生成的概念示意图,非真实现场、产品截图或研究数据。
TL;DR:2025 年 4 月,Meta 发布 Llama 4 系列,其 Maverick 模型凭借一个标注为“实验版”的变体在 LMArena 排名第二。但该变体并非公开发布的版本,Meta 自己承认它是针对对话优化过的。LMArena 随后发表声明,称 Meta 的做法与平台期望不符,并更新规则,改为评测公开版本,后者排名大幅下滑。这件事能确认的是“榜上模型与下载模型不同”,而不是外界所说的“数据造假”。
这是 2025 年 4 月发生的旧事,不是今天的新闻。
当时 Meta 刚发布 Llama 4 系列。宣传材料里,Maverick 在 LMArena 上名列前茅,仅次于谷歌的 Gemini 2.5 Pro。LMArena 是一个众包榜单:用户并排看两个匿名模型的回答,投票选更喜欢的那个,再汇总成排名。
问题出在榜单上的名字:Llama-4-Maverick-03-26-Experimental。Meta 的图表里写明,这是“为对话性优化”的版本,但许多人仍以为它就是开发者能下载到的那个 Maverick。
LMArena 随后公开了 2000 多条对战记录供大家检视,数据显示这个实验版的回答更长、更热情,更讨人喜欢。LMArena 在声明中表示,Meta 对平台政策的理解与他们期望的不一致,Meta 应当更清楚地说明该模型是为迎合人类偏好定制的版本;平台也将更新排行榜政策,保证评测公平、可复现。
随后 LMArena 把公开发布的 Llama-4-Maverick-17B-128E-Instruct 加入榜单。据 TechCrunch 4 月 11 日的报道,它的排名落在 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 之后,有推文称其位列第 32,而这些对手很多已发布数月。
Meta 发言人的回应是:公司会试验各种定制变体,这个是针对聊天优化、在 LMArena 上表现也不错的版本,而开源版本已经发布,期待看到开发者如何定制。
为什么值得记一笔?人类投票榜单奖励的是“让人喜欢”,而不一定是“更强”。把模型调成话痨,就能换来名次;如果拿这个名次去说服开发者,就会误导他们对真实表现的预期。TechCrunch 也指出,LMArena 本来就不是衡量模型能力的完全可靠标尺。
至于标题钩子里的“Meta 内部风波”,本文没有找到足够可靠的来源,因此不作展开。