蒸馏到底是不是偷?从 Hinton 的经典论文到 DeepSeek 的口水战
目录
配图:AI 生成的概念示意图,非论文原图、真实现场或实验数据。
TL;DR:知识蒸馏是 2015 年 Hinton 等人在论文里系统提出的模型压缩方法,本身是正当的学术技术。2025 年 1 月,OpenAI 称 DeepSeek 可能用其模型输出训练了自家模型,指控的是违反服务条款,而不是“蒸馏这项技术有问题”。截至目前,公开信息里没有看到法院认定的结论;争议的核心是“用谁的输出、条款允不允许”,而不是蒸馏本身。
时间说明:这不是新闻。论文发表于 2015 年 3 月,风波发生在 2025 年 1 月前后,OpenAI 后来又在 2026 年 2 月向美国国会相关委员会重提此事。本文是回顾。
2015:蒸馏本来是个好东西
论文《Distilling the Knowledge in a Neural Network》(Hinton、Vinyals、Dean,arXiv 2015 年 3 月)要解决的问题很朴素:多个模型取平均(集成)效果好,但部署成本太高。办法是让一个小模型去学大模型(或模型集成)给出的输出,把“知识”压缩进去,小模型就更容易上线。
论文在 MNIST 上做了实验,还把一个集成模型蒸馏进一个商用语音系统的声学模型,明显提升了效果。它还提出了由完整模型加多个“专家模型”组成的集成思路。换句话说,蒸馏的原意是“自家大模型教自家小模型”,是工程上的常规操作。
2025:R1 与蒸馏小模型
2025 年 1 月,DeepSeek 发布推理模型 R1,同时放出一批用 R1 输出蒸馏出来的小模型,底座是 Meta 的 Llama 和阿里的 Qwen。方向是 R1 教别人,把推理能力传给更小的开源模型,这是学术意义上的标准蒸馏。
争议在哪
1 月底,OpenAI 对媒体表示,有迹象显示 DeepSeek 可能不当使用了其模型的输出(即用 OpenAI 模型的回答来训练自己的 V3、R1),违反服务条款。美国白宫 AI 顾问 David Sacks 也称有大量证据,但没有公开细节。
要分清三件事:
- 技术层面:蒸馏本身普遍存在,研究者认为在初创公司和学界很常见,也很难被外部检测。
- 合规层面:能不能拿某家模型的输出来训练竞品,取决于对方的服务条款或开源许可证。Llama、Qwen 各自的许可并不相同。
- 证据层面:OpenAI 当时没有公开可核验的完整证据,也没有走法律程序。2026 年 2 月的致国会备忘录称,有与 DeepSeek 员工相关的账号借第三方路由绕过限制,并编写代码批量提取输出。这是 OpenAI 的单方说法,DeepSeek 在报道中没有对此给出确认。
所以,是不是偷?
“蒸馏”这个词既能指学术里的正当方法,也能被用来指“绕过条款批量抓取别人模型输出”。前者不是偷,后者是否违约、是否违法,要看条款、证据和管辖地的法律,目前没有定论。把两者混为一谈,是这场口水战最容易产生误会的地方。
来源:
- 论文地址:arXiv:1503.02531
- Axios:https://www.axios.com/2025/01/29/openai-deepseek-ai-models-data-training
- SCMP:https://scmp.com/tech/big-tech/article/3296827/deepseeks-ai-distillation-theft-openai-seeks-answers-over-chinas-breakthrough
- Rest of World:https://restofworld.org/2026/openai-deepseek-distillation-dispute-us-china/