大模型开始自己「打草稿」：NCP 把猜后文塞进模型内部

上海 AI Lab 和上海交大发布 89 亿参数模型 NCP-ArchPreview。普通大模型主要训练「猜下一个 token」，NCP 还会预测后面一小段对应的内部概念信号，再用它辅助 token 生成。最终仍然逐 token 输出，但模型内部已经会提前猜后文。

这套信号还能拿来给投机解码提速。DFlash、DSpark 这类方案会让一个小模型先猜后文，再交给大模型统一检查。NCP 团队把内部概念信号也交给这个小模型，相当于先给它一点「后面大概怎么写」的提示，再让它一次并行猜 16 个 token。

这样一来，小模型猜中的内容更多。四项测试里，大模型每验证一次，平均能通过的 token 从 5.933 个升到 6.180 个，提升 4.17%；HumanEval 上提升 7.59%。接入这套信号只给草稿模型增加约 4 万参数。

同样是 89 亿参数，NCP 用普通 Transformer 约 85% 的训练计算量，就能把训练误差降到差不多的水平。

太长不看版

在标准「下一 token 预测」（NTP）之外，并行加一个更难的目标——「下一概念预测」（NCP），让模型在潜空间里学会「往远处看」。结果：8.9B 参数的模型，只用 51.3% 的 token 就追平了 OLMo-3-7B 的最终预训练损失，下游宏平均还反超 +2.45 分（GSM8K +5.99）。这是迄今最大规模的潜空间语言模型。

论文链接：https://arxiv.org/abs/2609.10715

核心要点

• 架构：Token Encoder（16 层）→ Concept Module（8 层，product-quantized codebook）→ Token Decoder（16 层）
• 训练数据：5.73T tokens from Dolma-3
• 效率：51.3% tokens 达到 OLMo-3-7B 最终 loss
• 下游：macro-average +2.45，GSM8K +5.99
• 投机解码：草稿模型仅增 ~40k 参数，接受长度提升 4.17%

这是迄今最大规模的 latent-space language model 实证。