「所有 AI 模型骨子里都一样」？约翰斯·霍普金斯的「通用权重子空间假说」在 X 上翻红

配图：AI 生成的论文要点可视化，非论文原图。

TL;DR：约翰斯·霍普金斯大学团队 2025 年 12 月发布的论文《The Universal Weight Subspace Hypothesis》（arXiv:2512.05117）近日被 X 上一条「研究人员证明每一个 AI 模型其实都 secretly 是一样的」的帖子重新带火。论文对 1100 多个已训练模型做谱分析，发现同一架构下的模型无论初始化、任务或数据如何，都会收敛到一个共享的低维权重子空间，少数几个主方向就能解释大部分方差。需要留意的是，论文自己的结论限定在「同一架构之内」，并非跨架构的「所有模型」；「16 维」这类数字也来自具体实验设置，不是普适常数。

论文作者为 Prakhar Kaushik、Shravan Chaudhari、Ankit Vaidya、Rama Chellappa 和 Alan Yuille，均来自约翰斯·霍普金斯大学计算机系。他们分析的样本包括 500 个 Mistral-7B 的 LoRA 适配器、500 个 Vision Transformer 和 50 个 LLaMA-8B 模型，覆盖多种任务与数据领域。方法是对各模型的权重矩阵做逐模式的谱分解（PCA、HOSVD 等），观察不同模型的权重在哪些方向上集中。结果显示奇异值谱衰减得非常陡：只需少数几个主成分就能解释大部分方差，而且这些主方向在同一架构的不同模型之间高度一致。作者还做了反向消融——把模型投影到被丢弃的次要分量上，性能随即崩溃，说明被舍弃的维度里几乎不含任务相关信息。

这个发现的实际含义在于效率。如果同一架构的模型天然共享一组「通用基」，那么学习新任务时可以只在这组基上优化少量标量系数，而不必训练完整权重矩阵；模型合并、参数高效微调、权重压缩存储乃至训练和推理加速都能从中受益。作者在论文里也把它写成了一个开放问题：能否在不消耗大量数据和算力的情况下，直接找到这些通用子空间。

至于「每个 AI 模型都是同一种隐藏语言的不同方言」这种说法，是传播者的演绎，比论文本身走得远。论文的表述是「在共享架构内」（within shared architectures）识别出被一致利用的稀疏联合子空间，比较的对象是同一底座上的不同 LoRA、同一结构的不同 ViT；它没有声称写诗的模型和开车的模型在跨架构意义上共用同一套几何。

论文地址：arXiv:2512.05117