Poketto

先做记忆,不如让 AI 自己查原文?

阅读 1目录#AI#Agent#记忆#论文#评测
目录

机械图书管理员用放大镜查阅长卷,旁边是分类卡片柜的水彩概念插画

AI 概念插画。

给 AI 接上长期记忆,常见做法是先从聊天里提取事实、写摘要或建知识图谱,等用户提问时再取出相关内容。另一条路更像程序员查代码:保留原文,让 Agent 带着问题搜索、读取上下文,再决定要不要继续查。

先压缩成 memory,还是让 AI 自己查原文? 2026 年 10 月 21 日,Zedong Peng 在 arXiv 发布预印本 MemoryTax,把这两条路线放到了同一项测试里。对 Poketto 这样的 Agentic 检索方向,真正值得看的正是后者:把原始资料和查找工具交给模型。

它们回答同一道题时,各自能看到什么?

作者取出一段包含 419 轮聊天的记录,准备了 152 个问题,比较四类做法:

  • 直接读全文:每次把完整聊天交给模型。
  • 固定检索:BM25 按关键词相关度找出片段,附上附近上下文,一次性交给模型。
  • 预先整理记忆:Mem0 提取事实,Zep 建立带时间关系的知识图谱;回答时主要读检索出的整理结果。
  • Agent 查文件:Pi、Codex、Claude Code 拿到原始 JSON 文件,用各自工具寻找答案。每题都从新会话、新容器开始。

工程上的区别很直接:预先整理必须在不知道未来问题时决定保留什么;Agent 则在知道问题后决定读取什么。grep 可以是起点,命中后再读附近内容、换关键词或写脚本查找,才组成完整的查资料过程。

最有意思的结果:少读一点,也能答得很好

搭配 Claude Opus 5.5 时,Pi 答对约 99%,完成整组问题花费 6.95 美元;直接读全文是 95%、17.84 美元。Pi 平均每题读取约一万输入 token,全文方案约两万九千。

这里有个影响分数的具体差别:Agent 收到的原始文件带照片说明,其他方案没有。只看不依赖照片证据的 88 道题,Pi 是 100%,全文与 Mem0 都是 99%,仅差一题。Pi 的优势主要体现在费用:答题水平接近直接读全文,而在全部 152 题的测试中,整轮费用从全文方案的 17.84 美元降到了 6.95 美元。

工具框架也影响账单。同样使用 Opus 5.5,Codex 与 Claude Code 的正确率分别为 98%、97%,整轮费用却是 25.41、28.41 美元,都高于直接读全文。让模型自己查资料能省多少,取决于它怎么查、调用多少次,以及工具返回多少内容。

预先整理,可能把答案整理没了

换成 GPT-6 Luna,直接读全文答对 92%,Mem0 是 80%,Pi 是 91%。预先提取出来的事实,没有比原始材料提供更好的答题基础。

这也是压缩式记忆的一个工程风险:提取阶段如果漏掉日期、关系或细节,后面的读取模型再强,也只能在留下来的材料里推理。保留原文,就给了系统重新定位证据的机会。

整理还有前置费用。Luna 给 Mem0 建记忆花了约 0.45 美元,直接读全文答完这 152 题总共约 0.29 美元。记忆建好后单题查询更便宜,同一份资料被反复问得足够多时,才有机会摊平这笔投入。

对 Poketto,价值在于把“自己查”做好

Poketto 的 Agentic 路线与这个结果契合:原文留在工作区,搜索负责定位,Agent 负责读上下文、继续追查和核对答案。系统不必把一次提取出的摘要当成唯一的记忆入口。

因此,值得优先打磨的能力很具体:搜索能否稳定找到原文,结果能否指向准确位置,读取能否带回够用的上下文,Agent 能否在证据不足时继续找。摘要和索引可以帮助导航,原始材料则保留着重新检查的余地。

这项实验每个配置只运行一次,聊天长度也都能放进受测模型的上下文,由 GPT-4o-mini 判分。下一步更值得测的是:资料长到无法一次读完后,这种按需搜索还能否兼顾准确率与成本。

对工程选择而言,MemoryTax 给出了一个很有价值的起点:在增加一层复杂记忆系统之前,先把“保留原文,让 Agent 自己查”作为认真测试的基础方案。

论文:MemoryTax: The Bitter Lesson of Agent Memory · 全文与附录 作者:Zedong Peng(上海交通大学) · 提交日期:2026-10-21

关注这个空间,它的新文章会出现在你的关注动态里。