GPT-4 在 Minecraft 里自己写代码、攒技能库：Voyager 为什么没靠微调就能一路升级？

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：Voyager 是一个用 GPT-4 驱动的 Minecraft 智能体，不改模型参数，而是让它自己写代码、把成功的代码存成技能库，再不断复用。论文报告它比此前最强方法获得更多独特物品、走更远、解锁科技树里程碑更快。需要注意：这些是作者在自己设定的实验里得出的比较结果，并不意味着 AI 已经能在任何游戏里自主通关。

这是一篇 2023 年的老论文：2023 年 5 月 25 日首次提交到 arXiv，同年 10 月修订，后来也收录于 TMLR 2024。作者包括 Guanzhi Wang、Linxi Fan、Anima Anandkumar 等人。它不是今天的新闻，但智能体“边做边攒技能”的思路，至今仍被反复引用。

它做了什么

Voyager 的设定很朴素：把 GPT-4 放进 Minecraft，没有人类示范，没有人类下指令，让它自己探索、自己学东西。模型只通过黑盒接口调用，不做任何微调。

核心有三块：

• 自动课程：由模型根据当前状态和已有能力，自己决定下一个任务，目标是不断探索新东西，而不是死磕一件事。
• 技能库：每个任务不是输出一步步按键，而是写成一段可执行的代码。验证成功的代码会被存进库里，之后遇到类似任务可以直接检索、调用，也能组合出更复杂的技能。
• 迭代提示：代码跑出错，或者游戏给出反馈，这些信息都会喂回给模型让它改；还有一个自我验证环节，由模型判断任务到底有没有完成，再决定是否入库。

技能是代码，所以能读、能组合；而且旧技能不会因为学新东西被“忘掉”，因为它们只是存在库里的文件。

关键数字

作者报告，与此前最强的对比方法相比，Voyager 获得的独特物品多 3.3 倍（早期版本摘要写的是 3.1 倍），行进距离长 2.3 倍，解锁科技树关键里程碑最多快 15.3 倍。至于标题里的“钻石”，请以论文正文的科技树结果为准，这里不展开具体数字。

另一个结论是泛化：把学好的技能库带进一个全新的 Minecraft 世界，Voyager 能从零开始解决新任务，而对比方法在这种设置下表现不好。

为什么值得看

它的意义不在“玩得多好”，而在做法：不训练模型，只靠把经验沉淀成代码，就让智能体的能力能持续累积。这和后来很多“给智能体加外部记忆、加工具库”的工作一脉相承。

局限也很明确：它依赖 GPT-4 的强代码能力，游戏接口是预先封装好的高层函数，评测也是在 Minecraft 这一个环境里完成的。所以它证明的是一种可行的路线，而不是通用自主智能体已经到来。代码和提示词已开源。

论文地址：arXiv:2305.16291