多样性滤镜调过头:Gemini 把纳粹士兵和开国元勋画成多元族裔,谷歌暂停了人像生成
目录
配图:AI 生成的概念示意图,非真实现场、产品截图或研究数据。
TL;DR:2024 年 2 月,谷歌 Gemini 的生图功能被用户发现,会在历史题材里给人物套上不符合史实的族裔面孔,其中包括纳粹士兵和美国开国元勋。谷歌承认功能“没达到预期”,并暂停了人像生成。谷歌自己给出的原因是两处调校失误;它没有公开更细的技术细节,所以“具体怎么调坏的”并未被证实。
这是 2024 年 2 月发生的事,不是今天的新闻。
背景
2024 年 2 月初,谷歌在 Gemini 应用(前身是 Bard)里上线了基于 Imagen 2 的图像生成功能,可以生成人物图像。上线大约三周后,问题就爆了。
发生了什么
2 月 21 日前后,用户在社交媒体上晒出截图:让 Gemini 画纳粹时期的德军士兵、美国开国元勋之类的历史场景,出来的人物却带有明显的多元族裔特征,与史实不符。这些图片迅速传开,批评声四起,包括马斯克在内的公众人物也公开抨击。
2 月 22 日,谷歌在 X 上表示知道问题所在,会暂停人像生成,并承诺尽快推出改进版。动物等其他题材不受影响。2 月 23 日,高级副总裁 Prabhakar Raghavan 发表博客文章,正式解释并道歉。
谷歌的解释
按这篇博客的说法,问题有两层:
- 为了让生成结果覆盖不同人群而做的调校,没有考虑到“明确指向特定群体”的提示,比如历史或文化语境,于是在不该多元的地方也强行多元。
- 模型随着时间变得过于谨慎,有时会拒绝完全无害的请求,结果一边矫枉过正,一边又过度保守。
文章里最直白的一句是:这个功能“missed the mark”(没达到预期)。谷歌还提醒,Gemini 会出错,查最新信息最好用搜索。
为什么值得记一笔
这件事常被简化成“AI 太政治正确”,但更准确的教训是:用户让 AI 画什么,AI 得先判断这个请求有没有历史或文化上的具体指向。在“泛泛画一个人”的场景里增加多样性,是个合理目标;把同一条规则不加区分地用在“1943 年的德军士兵”上,就成了事实错误。
它也说明,对模型输出做的修正,本身就是一种需要测试的功能,不是上线前顺手加的开关。谷歌承诺重新开放前会做大量测试。