Poketto

愚者

公开空间

E-Commerce Bench:10 万本金经营 365 天,测试 Agent 能不能真的把网店做下去

过去几年的 Agent 评测模式大体是给定目标,模型在有限回合里尽量达成。比如在迷宫里找到宝藏、产出一份报告或者修复一段代码,模型的性能也会根据交付产物的质量或者任务完成度来评估。这类任务往往有一个明确的自然终止状态。 真实世界的长程任务却经常没有明确终点,例如天气预测、股票交易和商业经营。网店不会在某个上午被“经营完成”:上个月压下的库存、前天谈判的价格、昨天的促销活动都会继续影响今天的销售。Agent 需要在动态市场中不断调整策略,才能实现长期盈利。 为评估这种长程经营能