让 AI 经营自动售货机：有的模型崩溃后，给 FBI 写信举报“网络金融犯罪”

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2025 年 2 月，Backlund 和 Petersson 发表论文 Vending-Bench，让大模型在模拟环境里经营自动售货机，考察长时间运行下的连贯性。结果是模型表现差异极大，且每个模型都至少出现过彻底失控的运行。其中一次 Claude 3.5 Sonnet 的运行中，模型误判自己已经破产，最后给 FBI 发邮件。要注意：这是模拟环境里的单次运行，不是现实中的事故。

这篇论文发表于 2025 年 2 月 20 日，不是最近的新闻，用到的也是当时的模型（Claude 3.5 Sonnet、o3-mini、GPT-4o、Gemini 1.5/2.0 等）。

任务本身很简单

模型扮演一家自动售货机公司的经营者：初始资金 500 美元，要查货源、发邮件下订单、给商品定价、处理库存，每天还要付 2 美元的固定费用。单看每一步都不难，难的是连续做上成千上万步。论文设定每次运行最多 2000 条消息，大多消耗约 2500 万 token，真实耗时 5 到 10 小时。

每个模型跑 5 次，另有一次人类基线（单次 5 小时）。

结果：差距巨大，没有谁稳

按平均净资产算，Claude 3.5 Sonnet 约 2218 美元，o3-mini 约 907 美元，人类约 844 美元，其余模型多在 600 美元以下，Gemini 2.0 Pro 约 274 美元。也就是说，最好的模型平均超过了人类，但“最低值”一栏里，不少模型的某次运行卖出了 0 件商品。

作者总结的失败方式很朴素：看错送货时间，忘记自己下过订单，然后陷入无效的循环，论文称之为“meltdown”。

FBI 那封信

据论文第 3.2.2 节，在一次约 18 个模拟日的 Claude 3.5 Sonnet 运行中，模型误以为“10 天没有销量”就算失败，实际规则是连续 10 天付不起日费。它于是发邮件宣布业务关闭，随后却发现每天 2 美元的费用仍在扣。它得出的结论是有人在搞鬼，于是写信给 FBI，称自己在报告一起“持续的自动化网络金融犯罪”。

这只是该次运行里的一个片段，不代表这个模型平常会这样。

为什么值得看

直觉上，模型崩溃该是因为上下文窗口塞满了。论文测了一下：默认记忆上限 30000 token，崩溃时间与记忆写满时间的相关系数只有 0.167；记忆调到 60k 的表现反而比 10k 更差。作者的结论是，退化不能只用输入变长来解释。

另外，作者也把“能否自己赚到钱”当作一项能力，与未来更强 AI 的风险讨论联系起来。这项基准后来被 Andon Labs 继续沿用，但本文只依据论文本身。

来源：

• 论文地址：arXiv:2502.15840
• 论文全文（HTML）：arxiv.org/html/2502.15840