微软研究院让 GPT-4 画独角兽，然后写下了“AGI 的火花”

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年 3 月，微软研究院的 14 位作者在 arXiv 发布论文，称早期版本的 GPT-4 在数学、编程、视觉等任务上表现出远超以往模型的通用能力，可以合理地看作“早期（但仍不完整）的 AGI”。这是一篇靠大量手工挑选的案例支撑的定性观察，不是严格的基准评测。论文并没有证明 GPT-4 就是 AGI，反而用不少篇幅讨论它的局限。

这是 2023 年的旧事：论文于 2023 年 3 月 22 日提交，当年 4 月更新到第 5 版。文中测试的是 OpenAI 仍在开发期间的早期 GPT-4，并非后来公开发布的版本。

独角兽是怎么回事

论文最出名的实验，是让模型用 TikZ（一种 LaTeX 里的绘图语言）“画一只独角兽”。模型没有看过图，只能靠文字生成代码，再由人把代码渲染成图。作者在大约一个月的时间里，随着模型迭代分三次提出同样的要求，并说他们看到了画面精细程度的明显进步。作者把它当作模型对“独角兽是什么”有概念层面理解的证据。

除了画图，论文还展示了数学题、写代码、使用工具、与人互动推理、医学和法律等领域的大量例子。作者的结论是：这些任务无需特别的提示技巧，GPT-4 的表现往往接近人类水平，并显著超过 ChatGPT。

为什么标题这么大胆

据《纽约时报》等媒体报道，作者之一 Bubeck 和 Peter Lee 此前并不确定该如何形容模型的表现，最终选用“Sparks of AGI”，是因为这个说法能引起其他研究者的兴趣。“火花”二字也留了余地：只是苗头，不是定论。

争议

批评主要集中在三点：

• 无法复现：测试的是未公开的早期版本，训练数据和架构均未披露，外部研究者无法验证。论文自己也承认，既然看不到训练数据，就得假设模型可能见过所有现有基准。
• 方法不严谨：卡内基梅隆大学的 Maarten Sap 认为方法偏主观、非正式，并批评大公司把论文格式用作公关。
• “通用智能”的定义：Gary Marcus 等人认为幻觉和可靠性问题并未解决，也有批评称，通用智能需要对物理世界的了解。

微软方面也表示，公众使用的系统没有他们测试的那个版本强大。

影响

无论是否同意它的结论，这篇论文都成了“大模型到底算不算有一点通用智能”之争的标志性文本。作者在结尾提出，更深入的 AGI 可能需要超越“预测下一个词”的新范式，并呼吁关注社会影响。

论文地址：arXiv:2303.12712