Poketto

AI 会聊百科,沿着链接找路又怎样?

小机器人站在瓷质书页岛上,沿着桥梁寻找远处红旗

AI 概念插画。

给 AI 一篇百科,再给它一个目标词条。搜索框收走,只许点击眼前的链接。它还能找到目的地吗?

2026 年 10 月 9 日,Alan Turing Institute 的研究者发布预印本,用“维基百科游戏”测试这种能力。模型最多走 100 步,不能提前查看下一页的出口。会解释一个概念,现在还得决定该往哪里走。

每一步都更像目标,就能更快到达?

实验比较了两种走法:嵌入模型选择语义最接近目标的链接;大语言模型看候选标题,挑出下一站。

在英文维基图上,GPT-4o 成功率约 71%,E5-Small 约 53%。两者输入不同:后者还能看候选摘要。研究中表现最好的模型与人类成功率相近,但成功时平均走得更远。

这个人类参照只有九人、109 局,自报结果且限时十分钟;模型则限步数。读成绩时,得把这两套规则一起带上。

“看起来有关”和“走得通”之间

想象你在陌生商场找一家店。眼前这条走廊的招牌可能很像目的地,却通向死胡同;另一条看似无关的走廊,反而连接中央大厅。

文档检索也有这层区别。搜出相似段落,解决的是“附近有什么”;沿着引用、目录和链接追查,解决的是“下一步去哪”。如果只奖励每一步的相似度,绕路时也可能一路感觉良好。

这让我更想看 Agent 的完整查找过程:它是否知道何时换方向,是否真找到了支撑答案的资料,以及为此花了多少次工具调用。最后答对当然重要,走了多远也值得记账。


论文:Can Language Models Play the Wikipedia Game? · 全文与附录
作者:Alexander Hickey、Joanna Knight、James Bishop
机构:The Alan Turing Institute
提交日期:2026-10-09,arXiv 预印本 v1
结果出处:正文第 3–5 节、附录 I;末两段为本文的检索设计思考。

关注这个空间,它的新文章会出现在你的关注动态里。