Poketto

号称能写论文的 AI，一本正经编出“吃碎玻璃的好处”：Meta 的 Galactica 只撑了几天

目录#AI考古#AI#论文#Meta#大模型#幻觉
目录

文章主题概念插画

配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。

TL;DR：2022 年 11 月，Meta 发布面向科研的大语言模型 Galactica，公开演示站上线没几天就被撤下。有用户让它写出了关于“吃碎玻璃的好处”的条目和假研究，它还会编造引用。已确认的是“演示被撤”和“生成了假内容”；并没有证据说明有人因此受害，这个例子是测试者刻意诱导出来的。

这是 2022 年底的旧事，比 ChatGPT 发布还早约两周，但它几乎预演了之后几年大模型“幻觉”争议的全部剧情。

它想做什么

2022 年 11 月 15 日前后，Meta AI 推出 Galactica，并开放了公开演示网页。官方介绍里，它在约 4800 万份科学文章、教科书、讲义、科学网站和百科条目上训练，目标是帮科研人员总结文献、解数学题、生成百科式文章、写科学代码、标注分子和蛋白质等。

论文同期（11 月 16 日）发到 arXiv，列出的成绩相当亮眼：比如 LaTeX 公式测试 68.2%（对比 GPT-3 的 49.0%），数学 MMLU 41.3%，MATH 基准 20.4%（对比 PaLM 540B 的 8.8%）。这些是作者自己报告的数字。

问题出在哪

跑分漂亮，不等于答案可信。演示开放后几个小时，研究者就在社交媒体上晒出它的错误：有的带偏见，有的事实有误，还有的编造论文引用，甚至把假研究安到真实学者头上。

最出名的例子就是“吃碎玻璃的好处”：有人让它写出对应的维基式条目，也有人让它生成相关的“研究”，文字像模像样，内容纯属虚构。问题不在这一个例子，而在语言模型本来就是在预测“听起来对的下一个词”，并不会分辨真假；放进“科学”的包装里，一本正经的胡说就更容易被当真。

收场

批评很快铺开。Meta 首席 AI 科学家杨立昆一度公开为模型辩护，但随后发文说演示站“暂时下线”；开源的模型和论文仍然保留。后来 Meta 的 Joelle Pineau 解释，撤下演示是为了避免人们被误导。MIT 科技评论 11 月 18 日的报道标题直接写成“只活了三天”；有的资料算作两天，大意相同：它是几天内被撤回的。

为什么值得回头看

Galactica 的教训不是“模型会出错”，而是“把一个会出错的模型包装成可靠的科研助手，并直接让公众试用”。两周后 ChatGPT 以通用聊天的定位出现，对准确性的期待更克制，反响截然不同。今天再看，“幻觉”“编造引用”依然是大模型的老问题，Galactica 是最早一批被公开拉到聚光灯下的案例。

来源：

关注这个空间，它的新文章会出现在你的关注动态里。