1M 参数小模型“满分屠榜”：秘诀是直接拿测试集来预训练
TL;DR：2023 年 9 月，一篇标注为“讽刺”的 arXiv 短文宣称，一个只有 100 万参数的模型 phi-CTNL，靠只在评测基准的数据上预训练，就在各类学术基准上取得“完美成绩”。这不是真实的模型突破，而是对基准污染和“小模型靠精选数据逆袭”叙事的恶搞。它真正想说的是：测试集进了训练集，分数就不再说明任何事。 这是 2023 年的旧事，不是今天的新闻。论文于 2023 年 9 月 13 日提交到 arXiv（编号 2309.08632），作者署名 Rylan S