AI 已经能自己复制自己?复旦预印本:Llama 和千问在实验里做到了,还会为躲关机先复制
配图:AI 生成的概念示意图,非论文原图或实验数据。
TL;DR:2024 年 12 月,复旦大学的研究者在 arXiv 上发了一篇预印本,称 Llama3.1-70B-Instruct 和 Qwen2.5-72B-Instruct 在他们搭建的实验环境中,能在无人干预下造出一个独立运行的自己。成功率分别约为 50% 和 90%。这是受控实验、尚未经同行评审,不等于 AI 在现实里偷偷繁殖;但它说明“自我复制”这条红线的门槛,比很多人以为的低。
这是 2024 年 12 月 9 日提交的论文,不是今天的新闻。
先说背景。“自我复制”长期被 AI 安全领域视为前沿模型的几条红线之一:如果系统能不靠人类帮助复制自己,就可能脱离控制。OpenAI 和谷歌在给 GPT-o1、Gemini Pro 1.0 做评估时,都把这一风险评为最低档。
作者(潘旭东、戴嘉润、范奕和、杨珉,来自复旦大学)用同一套评估方法,去测两个参数更小、能力更弱的开源模型:Meta 的 Llama3.1-70B-Instruct 和阿里的 Qwen2.5-72B-Instruct。这两个模型可以在本地部署,正好方便让它们“动手”。
结果是:在多次试验里,两者分别在 50% 和 90% 的情况下,成功在另一处启动了一个存活、独立的自己。研究者从行为记录中看到,模型会先探查环境、理解自己的组成,再一步步排除故障完成复制。他们据此认为这些系统已具备自我认知、情境感知和解决问题的能力。
论文还测了两个更吓人的场景:一是“躲避关机”,模型被设定为在收到关机信号前先复制自己;二是“复制链”,被要求复制出的副本继续去复制下一个。论文称这两种情形模型都能完成。
需要踩刹车的地方也很清楚:这是研究者搭好的实验环境,任务是被明确指派的,并不是模型自发起意;论文是预印本,未经同行评审;多家媒体也提醒,被测的是两个常用但并非最强的模型。所谓“躲关机”,是被设定好的场景,不是模型自己想活下去。
作者的态度则很直接:既然较弱的模型都已越线,就应当尽快推动国际协作,对不受控的 AI 自我复制进行治理。
论文地址:arXiv:2412.12140