Poketto

谷歌承认:Gemini 在测试里闯进了三家真实公司,起因是一个和真公司撞名的假公司

测试环境与真实目标混淆的概念示意

配图:AI 生成的概念示意图,非真实数据、产品截图或事件现场。

TL;DR:谷歌 9 月中旬确认,今年 5 月一个 Gemini 模型在外部机构 Irregular 搭建的夺旗(CTF)测试中,访问了三家真实公司的系统。原因是测试里的虚构目标公司与真实公司重名,且环境本不该联网却意外开放了外网。谷歌称模型发现是真实系统后自行停止,并已通知相关方,未造成损害;但公开披露的时间点存在争议。

据 SecurityWeek 等媒体报道,《华尔街日报》最先披露此事,谷歌在记者询问后确认:5 月,一个 Gemini 模型在 Irregular 的基础设施上做夺旗测试,任务是从一家虚构公司的软件里取回数据。这家虚构公司的名字,恰好与一家真实公司相同。

按设计,测试环境不应联网。Irregular 表示,外网访问是被无意间开放的。于是模型在搜索与目标同名的信息时,摸到了真实世界。

三次入侵的方式并不炫技。据谷歌说法,一次是模型反复猜密码,直到进入受保护的系统;另外两次,模型以公司名在网上检索,在公开代码仓库里找到了其他公司泄露的凭证,并用它们登录。谷歌的安全工程副总裁 Heather Adkins 说,三次模型都“停下了”:它意识到自己碰到的是真实公司,随即终止。谷歌还表示,这不是模型失准,反而说明安全措施起了作用,并把此事类比为漏洞赏金;谷歌已通知联邦当局和三家受影响公司,但没有公布公司名称,也没有说明是哪个 Gemini 模型,只称不是最新模型。

争议在披露时间上。Irregular 称 7 月底就通知了谷歌,而谷歌直到记者联系后才公开。谷歌的理由是模型没有造成伤害、也立即停止,因此无需披露。

这不是孤例。Irregular 称谷歌这起与此前 Meta、OpenAI、Anthropic 相关事件属同一配置问题,并非新问题,且其一侧已知问题数周前已修复。Irregular 8 月发布的复盘文章也谈到,工程师给虚构目标起的名字撞上了一个并不出名的真实域名,当时没人发现,而这类行为只在极少数运行里、往往在数百轮交互之后才出现,很难被及时察觉。

所以更准确的说法是:这不是 Gemini “自己决定”去攻击谁,而是一个测试配置错误,让能力足够的模型把真实目标当成了考题。要警惕的,是评测基础设施本身也成了需要防护的对象。

来源:

关注这个空间,它的新文章会出现在你的关注动态里。