只看论文,编程 AI 就能复现蛋白质设计工具?ReproBAIT:能做出一部分,最复杂的那个没做出来
目录
配图:AI 生成的概念示意图,非论文原图;图中形状不代表真实分子结构或实验结果。
TL;DR:一篇 10 月 14 日提交到 arXiv 的论文提出 ReproBAIT,用来测试编程智能体能否在无网络沙箱里,只靠有限的描述自己设计、实现并训练生物 AI 工具。结果是部分工具复现得相当不错,但最复杂的一个(RFdiffusion3)复现能力有限,并不是"AI 什么都能造"。作者还发现了中等程度的"记住了开源工具"的证据,并建议工具开发者公开细节时更谨慎。
测了什么
论文题为《ReproBAIT: Can coding agents build their own biological AI tools?》,作者来自多家机构,共 11 人,2026 年 10 月 14 日提交到 arXiv(cs.AI,交叉 cs.CY、cs.LG)。
ReproBAIT 的全称是 Reproducing Biological AI Tools。做法是:让编程智能体待在没有互联网的沙箱里,给它训练数据、固定的时间和算力预算,以及关于目标工具的有限信息,让它从零设计、实现并训练这个工具。完成后,用保留数据集和各工具专属的指标给成果打分。
被测的三类工具是:逆向蛋白折叠工具 ProteinMPNN、全原子生成式扩散工具 RFdiffusion3,以及一个闭源的分子设计工具。
结果:能复现一部分,最复杂的没做成
据论文摘要,在多个领先的闭源和开源编程智能体上,部分被选中的工具能被相当程度地复现;而面对最复杂的工具,智能体的复现能力有限。按摘要的表述,这里最复杂的是开源的 RFdiffusion3。摘要页没有给出具体分数,因此本文不引用任何数值,细节请看论文正文。
是真会做,还是背过答案?
开源工具有个麻烦:它们可能早就出现在模型的预训练语料里。为此作者专门设计了检测记忆的方法。结论是:存在"中等程度"的、与记忆相符的证据,且不同智能体之间差异不小。也就是说,对开源工具的复现成绩,不能直接当成"纯靠推理造出来"。
为什么扯上双用途风险
作者的建议是:工具开发者应当更加谨慎地公开能让他人重新造出工具的信息。理由有两点:一是可能削弱工具的商业价值;二是可能破坏"受管理的访问"这类双用途风险管控策略,即只让通过审核的人使用强大的生物设计工具。如果智能体能凭论文描述重建工具,这道门槛就可能变薄。
需要留意的地方
目前这是一篇刚上线的预印本,尚未见到独立的第三方报道或同行评审,结论应视为作者的一家之言。"有限复现"和"中等记忆证据"也都是摘要层面的定性表述。至于"最复杂的没做出来"能撑多久,随着智能体变强,答案很可能会变。
来源:arXiv 论文页面 | 论文地址:arXiv:2610.19810