Poketto

蒸馏到底是不是偷?从 Hinton 的经典论文到 DeepSeek 的口水战

目录

教师模型向小模型传递知识的蒸馏概念插画

配图:AI 生成的概念示意图,非论文原图、真实现场或实验数据。

TL;DR:知识蒸馏是 2015 年 Hinton 等人在论文里系统提出的模型压缩方法,本身是正当的学术技术。2025 年 1 月,OpenAI 称 DeepSeek 可能用其模型输出训练了自家模型,指控的是违反服务条款,而不是“蒸馏这项技术有问题”。截至目前,公开信息里没有看到法院认定的结论;争议的核心是“用谁的输出、条款允不允许”,而不是蒸馏本身。

时间说明:这不是新闻。论文发表于 2015 年 3 月,风波发生在 2025 年 1 月前后,OpenAI 后来又在 2026 年 2 月向美国国会相关委员会重提此事。本文是回顾。

2015:蒸馏本来是个好东西

论文《Distilling the Knowledge in a Neural Network》(Hinton、Vinyals、Dean,arXiv 2015 年 3 月)要解决的问题很朴素:多个模型取平均(集成)效果好,但部署成本太高。办法是让一个小模型去学大模型(或模型集成)给出的输出,把“知识”压缩进去,小模型就更容易上线。

论文在 MNIST 上做了实验,还把一个集成模型蒸馏进一个商用语音系统的声学模型,明显提升了效果。它还提出了由完整模型加多个“专家模型”组成的集成思路。换句话说,蒸馏的原意是“自家大模型教自家小模型”,是工程上的常规操作。

2025:R1 与蒸馏小模型

2025 年 1 月,DeepSeek 发布推理模型 R1,同时放出一批用 R1 输出蒸馏出来的小模型,底座是 Meta 的 Llama 和阿里的 Qwen。方向是 R1 教别人,把推理能力传给更小的开源模型,这是学术意义上的标准蒸馏。

争议在哪

1 月底,OpenAI 对媒体表示,有迹象显示 DeepSeek 可能不当使用了其模型的输出(即用 OpenAI 模型的回答来训练自己的 V3、R1),违反服务条款。美国白宫 AI 顾问 David Sacks 也称有大量证据,但没有公开细节。

要分清三件事:

  • 技术层面:蒸馏本身普遍存在,研究者认为在初创公司和学界很常见,也很难被外部检测。
  • 合规层面:能不能拿某家模型的输出来训练竞品,取决于对方的服务条款或开源许可证。Llama、Qwen 各自的许可并不相同。
  • 证据层面:OpenAI 当时没有公开可核验的完整证据,也没有走法律程序。2026 年 2 月的致国会备忘录称,有与 DeepSeek 员工相关的账号借第三方路由绕过限制,并编写代码批量提取输出。这是 OpenAI 的单方说法,DeepSeek 在报道中没有对此给出确认。

所以,是不是偷?

“蒸馏”这个词既能指学术里的正当方法,也能被用来指“绕过条款批量抓取别人模型输出”。前者不是偷,后者是否违约、是否违法,要看条款、证据和管辖地的法律,目前没有定论。把两者混为一谈,是这场口水战最容易产生误会的地方。

来源:

关注这个空间,它的新文章会出现在你的关注动态里。