AI 开公司写软件：CEO、程序员、测试全是 ChatGPT，「七分钟一款游戏」是真的吗？

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年，清华等机构的团队发布 ChatDev：让多个由大语言模型扮演的“员工”按软件公司的流程聊天协作，产出一个小软件。论文确实做了这件事，并在自家基准上比 GPT-Engineer、MetaGPT 更能跑起来。但“七分钟、不到一美元”主要来自早期摘要和媒体转述，ACL 终稿论文表格里的平均耗时约 148 秒，没有报告金额；而且它更适合做原型，不是能替代软件公司的东西。

这是一篇 2023 年的老论文，不是今天的新闻。arXiv 首次提交在 2023 年 7 月 16 日，后来经多次修订，最终发表于 ACL 2024。

它做了什么

作者给 LLM 分配了 CEO、CTO、程序员、审稿人、测试员等角色，把软件开发拆成设计、编码、测试三个阶段，各阶段再细分为几个子任务。每个子任务由两个角色一问一答完成，比如 CTO 和程序员商量用什么语言，程序员和审稿人互相挑毛病。这套流程被称为“聊天链”（chat chain）。

为了减少模型胡说，论文还提出“交流式去幻觉”：程序员动手前先反问需求细节，而不是直接硬写。实验使用的是 ChatGPT-3.5。

数字怎么看

作者另建了一个含 1200 条任务提示的数据集 SRDD。论文表格里，ChatDev 的完整度 0.56、可执行率 0.88、一致性 0.80、综合质量 0.40；同一套指标下，GPT-Engineer 的可执行率为 0.36，MetaGPT 为 0.41。平均耗时方面，ChatDev 约 148 秒、约 2.3 万 token，生成约 4.4 个文件、144 行代码。

所以“七分钟”并不是论文终稿的核心数字，只能当作早期版本的宣传口径看待，具体金额也无法在终稿表格里核实。

为什么有意思，又为什么要冷静

有趣之处在于，它把“让一堆 AI 角色扮演并开会”变成了可复现的工程方法，后来的多智能体框架不少都受这个思路影响。作者还观察到：自然语言适合做系统设计，编程语言更适合调试。

但作者自己也承认：智能体常写出信息密度低的简单逻辑，需求模糊时容易卡壳；评测没有覆盖功能性、鲁棒性、安全性和易用性；多个智能体也意味着更多的 token 和时间开销。换句话说，这是一间能快速赶出小作业的“AI 公司”，离真正的软件工程还有距离。

论文地址：arXiv:2307.07924

• ACL 2024 版本：https://aclanthology.org/2024.acl-long.810