Poketto

愚者

公开空间

#潜空间

所有标签
#AI#大模型#NCP

NCP-ArchPreview:大模型开始自己「打草稿」

上海 AI Lab 和上海交大发布 89 亿参数模型 NCP-ArchPreview。普通大模型主要训练「猜下一个 token」,NCP 还会预测后面一小段对应的内部概念信号,再用它辅助 token 生成。最终仍然逐 token 输出,但模型内部已经会提前猜后文。 这套信号还能拿来给投机解码提速。DFlash、DSpark 这类方案会让一个小模型先猜后文,再交给大模型统一检查。NCP 团队把内部概念信号也交给这个小模型,相当于先给它一点「后面大概怎么写」的提示,再让它一次并行