1M 参数小模型“满分屠榜”：秘诀是直接拿测试集来预训练

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年 9 月，一篇标注为“讽刺”的 arXiv 短文宣称，一个只有 100 万参数的模型 phi-CTNL，靠只在评测基准的数据上预训练，就在各类学术基准上取得“完美成绩”。这不是真实的模型突破，而是对基准污染和“小模型靠精选数据逆袭”叙事的恶搞。它真正想说的是：测试集进了训练集，分数就不再说明任何事。

这是 2023 年的旧事，不是今天的新闻。论文于 2023 年 9 月 13 日提交到 arXiv（编号 2309.08632），作者署名 Rylan Schaeffer，页面备注写着“3 pages, satire”（3 页，讽刺）。

背景：小模型靠“好数据”逆袭

当时业界有一股风潮：不一味堆参数，而是用精心挑选的高质量数据训练小模型，让它们在基准上追平甚至超过大得多的模型。与此同时，大模型评测里“测试数据混进了训练数据”的污染问题，也越来越让人担心。

论文做了什么

论文把这两件事拧在一起，推到了荒谬的极限：既然数据质量这么重要，那最“高质量”的数据，当然就是评测基准本身。

作者设想用不到 10 万 token、只取自评测基准的数据混合体，预训练一个 100 万参数的模型，取名 phi-CTNL，读作“fictional”（虚构的）。名字本身就是剧透。

它“宣称”的战绩

摘要里的说法一个比一个夸张：在各类学术基准上取得完美成绩，超过所有已知的基础模型；打破幂律式的规模定律；还表现出类似“顿悟（grokking）”的能力，能预测下游评测基准里的“金丝雀”（用来检测数据泄漏的标记串）。

注意，这些是讽刺文本里的“宣称”。检索到的转载页面还提到，作者自己写明数字来自自家的评测流程，“可能是编的”。所以别把其中任何数字当作真实实验结果。

为什么有意思

这篇文章的笑点在于，它把一个严肃的问题用最直白的方式摆到台面上：如果模型见过考题，高分只能证明它背过，不能证明它会。真实世界里，数据污染往往是无意的、难以排查的；而这篇论文把“故意作弊”写成了“方法创新”，让人一眼看穿排行榜数字的脆弱。

它也顺带调侃了论文写作的套路：夸张的标题、对比“所有已知模型”的表格、对规模定律的挑战。

小结

phi-CTNL 并不存在，也没有哪个 100 万参数的模型真的屠了榜。留下的是一个提醒：看到惊人的基准成绩时，先问一句，它的测试集，真的没进过训练集吗？

论文地址：arXiv:2309.08632