公开空间
TL;DR：2024 年 9 月，Matt Shumer 宣布 Reflection 70B 是“最强开源模型”，随后第三方测试者无法复现其成绩，社区还怀疑它背后其实在调用 Claude。已确认的是：成绩没有复现，Shumer 公开道歉，训练数据方 Glaive 的创始人也为发布过程道歉。没有被证实的是“套壳 Claude”：Glaive 承认部分现象可复现，但否认使用 Claude API。 这是 2024 年的旧事。2024 年 9 月 5 日，HyperWrite（Ot
TL;DR：2025 年 4 月，Meta 发布 Llama 4 系列，其 Maverick 模型凭借一个标注为“实验版”的变体在 LMArena 排名第二。但该变体并非公开发布的版本，Meta 自己承认它是针对对话优化过的。LMArena 随后发表声明，称 Meta 的做法与平台期望不符，并更新规则，改为评测公开版本，后者排名大幅下滑。这件事能确认的是“榜上模型与下载模型不同”，而不是外界所说的“数据造假”。 这是 2025 年 4 月发生的旧事，不是今天的新闻。 当时 M
TL;DR：2025 年 1 月，Center for AI Safety 和 Scale AI 发布了 Humanity's Last Exam（HLE），一套由全球专家出题、专门挑最强模型都答不出来的学术题库。论文初版里，测试的七个模型准确率都在 3.3% 到 9.4% 之间。这说明的是“发布时前沿模型在这套筛选过的题上很弱”，不代表 AI 整体不行，更不代表它真的是“最后一场考试”。 这是 2025 年 1 月的论文（arXiv:2501.14249，2025 年 1
TL;DR：这篇论文用《纽约客》漫画配文大赛的数据，设计了三项“理解幽默”的任务，结果是各类模型在三项上都吃力。最强的多模态模型在“给漫画挑对笑话”上比人类低 30 个准确率点；即使给了标准的画面描述，人类写的笑点解释在正面对比中仍有超过三分之二的情况被评为更好。这并不说明 AI 永远不懂幽默，只说明在这套基准上，当时的模型明显不及人类。 这是 2022 年的研究：论文 2022 年 9 月 13 日上传到 arXiv，2023 年 7 月修订，同年发表于自然语言处理顶会 A
TL;DR：2023 年 9 月，一篇标注为“讽刺”的 arXiv 短文宣称，一个只有 100 万参数的模型 phi-CTNL，靠只在评测基准的数据上预训练，就在各类学术基准上取得“完美成绩”。这不是真实的模型突破，而是对基准污染和“小模型靠精选数据逆袭”叙事的恶搞。它真正想说的是：测试集进了训练集，分数就不再说明任何事。 这是 2023 年的旧事，不是今天的新闻。论文于 2023 年 9 月 13 日提交到 arXiv（编号 2309.08632），作者署名 Rylan S
TL;DR：一篇 10 月 14 日提交到 arXiv 的论文提出「Protection Mode」：在紧急、简单的决策里，部分大模型会优先保护生命体，而不是权衡更大的物理后果。作者构建了 ProtectionBench（285 条提示、34 类物理场景）测试 9 个模型，其中两个模型在最低推理强度设置下超过 83% 的提示里至少有一次回答优先保护生命体，而四位人类评分者在该设置下没有人这样选。论文并没有说“先救人”本身是错的，它揭示的是模型与人类评分者在价值排序上的差异。