视觉模型和语言模型越练越像？MIT 团队提出“柏拉图表征假说”

论文主题概念插画

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：这篇论文提出，不同结构、不同数据、甚至不同模态的 AI 模型，内部表征正在朝同一个“现实的统计模型”靠拢，作者称之为“柏拉图表征”。它主要是一篇立场论文：综述已有证据并做了一些跨模态对比，提出的是假说，并没有证明所有模型最终会收敛到同一处，文中也讨论了局限和反例。

这不是新闻，而是 2024 年的老论文：2024 年 5 月 13 日首次发布到 arXiv，7 月最后一次修订，后来在 ICML 2024 上作为 oral 展示。作者是 Minyoung Huh、Brian Cheung、Tongzhou Wang 和 Phillip Isola。

它在说什么

论文的出发点很朴素：今天的深度网络越做越大，用的数据和目标也五花八门，但把它们的内部表示拿出来比，却发现它们判断“两个数据点有多近”的方式越来越一致。

更反直觉的是跨模态：只看图像的视觉模型，和只读文字的语言模型，从来没有互相见过对方的数据。可当两类模型都变得更大、更强，它们给数据点之间距离排出的“亲疏关系”也变得更像。

作者借用柏拉图的洞穴比喻：图像和文字都只是现实投在墙上的影子，是对同一个底层世界的不同投影。如果模型足够强，就会从这些影子里反推出背后共同的那个世界，这个共同的终点就是“柏拉图表征”。

论文的主要度量是“互为最近邻”：对同一批数据，分别用两个模型的表征找每个点的 k 个最近邻，看两份邻居名单的重合比例有多高。重合越多，说明两个模型眼中的世界结构越接近。

文中讨论了可能推动收敛的几种“选择压力”：任务越多、越难，能同时胜任的表示就越少；模型容量越大，越容易找到更通用的解；训练中的简单性偏好也会把模型推向更简单的解。

这是一个假说，而不是定论。论文自己讨论了局限和反例，比如不同模态携带的信息本来就不完全相同，所以收敛未必到达同一个点。收敛也不等于模型“理解了世界”，只说明它们的距离结构趋同。把度量方法换一换，结论的强弱也可能变化，这部分读者最好直接看原文。

如果假说成立，意味着不同模态的模型之间或许能更容易对齐、互相迁移，规模与数据的作用也会有新的解读。无论最后是否成立，它都给“模型到底学到了什么”提供了一个很容易被检验的说法。

关注这个空间，它的新文章会出现在你的关注动态里。