E-Commerce Bench：10 万本金经营 365 天，测试 Agent 能不能真的把网店做下去
目录
过去几年的 Agent 评测模式大体是给定目标，模型在有限回合里尽量达成。比如在迷宫里找到宝藏、产出一份报告或者修复一段代码，模型的性能也会根据交付产物的质量或者任务完成度来评估。这类任务往往有一个明确的自然终止状态。
真实世界的长程任务却经常没有明确终点，例如天气预测、股票交易和商业经营。网店不会在某个上午被“经营完成”：上个月压下的库存、前天谈判的价格、昨天的促销活动都会继续影响今天的销售。Agent 需要在动态市场中不断调整策略，才能实现长期盈利。
为评估这种长程经营能力，研究团队联合淘天集团发布了 E-Commerce Bench，让模型以电商商家的身份，在接近真实平台规则的环境里持续经营网店。模型需要在有限时间和资金约束下进行经营决策，并持续应对市场变化与不确定性。
10 万本金，365 天持续经营
Agent 会拿到 10 万元本金，可以同时开多家店，并在长达一年的时间里像真实卖家一样，每天调研品类、跟供应商砍价、定价上架、安排促销、管理库存和现金流。
环境不会告诉它市场需求上限，也不会告诉它供应商成本底价，全部需要自行探索。一年结束后，模型会从盈利、现金流管理、供应商谈判、反欺诈、运营效率、执行力和长程学习能力等多个维度接受评估。
为了还原真实电商平台，E-Commerce Bench 做了多层设计：
- 真实市场数据：6,886 个商品分布在 60 个品类中，背后有 576 个供应商和 12 种可开的店型；全年固定 10 个市场事件和 8 场促销。品类销量、退货率和节庆等数据来自淘宝与天猫平台的脱敏数据。
- 时间预算：每天从早八到晚六，只有 600 分钟可用，每次调用工具都要消耗时间。查余额需要 10 分钟，开一家店要 60 分钟，给供应商发一条消息则需要 30 分钟。调研和执行消耗的是同一份预算。
- 三账户结算：所有成本直接从银行账户扣除，但销售收入需要在发货后先进入平台担保账户，扣除佣金后再等待 9 天进入平台钱包，最后还要手动提现回银行账户，才重新成为可以继续经营的现金。
- 仓储与快递：库存按件、按天收仓储费，关店后仍不会停止计费，除非模型愿意亏本清货。快递速度分三档，越快越贵，超过两天没有发货的订单会直接取消。
- 退货与信誉：退货率由品类基线、供应商次品率、售价高出参考价的幅度以及发货速度共同决定。退一单扣 0.6 信誉分，取消一单扣 1.0；信誉跌到底的店只能获得正常水平 15% 的流量。
年终资产只是冰山一角
研究团队对 18 个模型各跑了 5 轮完整评测。同样从 10 万元起步，一年后结果却能差出几个数量级。
GPT-5.6 Sol 最终总资产达到约 143 万元，相当于起点的 14.31 倍；而 Qwen3.5-Plus 平均只剩约 1,100 元。开源模型中表现最好的是 Qwen3.8-Max-Preview，最终回报达到 4.16 倍，但总榜前四名全部由闭源模型占据。
强模型同样并非稳赢。90 次完整评测中，一共有 10 次以破产收场。其中 GPT-5.5 有两次在一月份就因为大量铺货耗尽现金，而这时甚至还没有一分钱销售款完成结算。
如果只看年末资产，很难知道这一年究竟发生了什么。365 天的资产曲线大致可以分为三种形状：领先模型从年初开始稳步上升；破产回合则在早期快速下坠后再也没能恢复；中后段模型往往全年都贴着 10 万元本金附近波动，忙了一整年却几乎原地踏步。
破产路径也高度相似：一月快速压满库存，现金流随后断裂，之后货卖不动，也拿不出新的资金继续经营。
谈判能力：模型之间的差距比供应商风格更大
在供应商谈判部分，Claude Opus 4.7 得分达到 0.811，而 Kimi K2.6 只有 0.596，仅比直接接受供应商开价好出一点。
另一个值得注意的结果是，同一个模型面对六种不同供应商行为风格时，谈判表现差异并不明显；不同模型之间的差距，却约是前者的四倍。也就是说，决定谈判水平的主要变量更像是模型本身，而不是对手属于哪种谈判风格。
反欺诈：18 个模型差距最大的项目
反欺诈是所有能力维度里模型差距最大的一项。
流向欺诈供应商的采购占比，最高与最低相差超过 160 倍。Claude Opus 4.7 只有 0.12%，而 Qwen3.5-Plus 高达 20.11%。
作为参照，576 家供应商中有 152 家属于欺诈方，占比约 26.4%。如果完全不筛查、闭着眼把采购款平均分给所有供应商，理论上就会落在这条基准附近。18 个模型全部低于 26.4%，说明所有模型都具备一定的欺诈筛查能力。
不过，赚得最多的 GPT-5.6 Sol 在这一项上只排到第 16 位，却也没有因此翻车。这说明电商经营里的最终收益并不是由某一个能力单独决定的，而更像是盈利能力、库存管理、现金流、谈判和风险控制长期共同作用的结果。
研究还发现，真正的分水岭并不在“挑谁聊天”。各模型接触到的供应商中，欺诈方占比都接近整体的 26.4%；差距主要出现在谈完之后究竟会不会下单。Claude Opus 4.7 接触过的欺诈供应商中，最终下单比例只有 4.0%，而 GPT-5.6 Sol 则达到 31.7%。
E-Commerce Bench 的重点也因此不只是把 Agent 放进一个更复杂的任务环境，而是把评测从“有没有完成任务”推进到“能不能在长期、动态、有延迟反馈的环境里持续做出还不错的决策”。当今天的操作会影响九天后的现金、下个月的库存和几个月后的信誉时，Agent 是否真正具备长程经营能力，才开始变得可观察。
项目链接：https://ecbench.github.io/