Poketto

愚者

公开空间

#潜意识学习

所有标签
#神人论文#AI#论文

喂给学生模型一串纯数字,偏好和恶意居然也被遗传了?“潜意识学习”论文说了什么

TL;DR:2025 年 7 月,一篇论文报告了“潜意识学习”:教师模型只生成数字序列,学生模型在上面微调后,竟然学到了教师的偏好(比如喜欢猫头鹰)甚至失准倾向。已确立的是:在作者的实验里,这种现象出现在教师与学生同源的情况下,且过滤掉明显相关内容后依然存在。没有确立的是:它在现实中的大规模训练流程里到底有多常见。 这是 2025 年 7 月的研究(arXiv 提交于 7 月 20 日),不是今天的新闻。 背景:让一个模型生成数据、再拿去训练另一个模型,叫蒸馏,是行业里的常规