没有游戏引擎，神经网络实时“画”出一整局 Doom：真人几乎分不出真假？
配图：AI 生成的概念示意图，非论文原图或实验数据。
TL;DR：2024 年 8 月，Google 的研究者发表论文 GameNGen，用一个扩散模型代替游戏引擎，在单块 TPU 上以约 20 帧每秒实时生成可操作的 Doom 画面。论文称，真人评分者在看短片段时，辨别真实游戏与模拟画面的能力只比随机猜测好一点。但这不等于“AI 已经能取代游戏引擎”：它只在 Doom 这一款老游戏上被证明可行。
这是 2024 年 8 月的论文（后来被 ICLR 2025 接收），不是今天的新闻。
它做了什么
传统游戏引擎靠手写的规则和渲染管线，决定“按下前进键后下一帧长什么样”。GameNGen（Diffusion Models Are Real-Time Game Engines）换了个思路：让神经网络直接预测下一帧画面，输入是过去的若干帧和玩家的操作。游戏逻辑、血量、弹药、敌人行动，全都藏在模型的权重里，而不是代码里。
怎么训练的
分两步。第一步，让强化学习智能体去玩 Doom，把整个过程中的画面和操作录下来。第二步，用这些录像训练扩散模型，让它根据过去的画面与操作预测下一帧。
长时间生成最怕误差滚雪球：每一帧都建立在上一帧（本身就是模型生成的）之上，错误越积越多。作者的办法是训练时给作为上下文的历史帧加高斯噪声，让模型学会纠正前面的瑕疵。另外他们还微调了解码器，改善画面细节和屏幕文字。
数字怎么看
- 速度：单块 TPU 上约 20 帧每秒，可实时交互。
- 画质：单步预测的 PSNR 为 29.4，论文称与有损 JPEG 压缩相当，也就是说，和真画面相比有可见的损失，但不离谱。
- 人类评测：评分者看到短片段时，辨别真假的成绩“仅略好于随机”，即便是自回归生成了 5 分钟之后也是如此。
- 稳定性：能在数分钟的游玩中保持画面不崩。
为什么有意思，又该冷静
有意思的是：游戏世界原来可以被当作“视频预测”问题来学，而不是写出来的。它也提示了一种未来方向，即游戏由模型即时生成，而不是由程序员逐条编码。
需要冷静的是：Doom 画面简单、规则固定，而且训练数据来自智能体本身的游玩。“分不出”指的是短片段，不是长时间亲自玩；论文也没有证明它能扩展到复杂的现代游戏。它更像一个漂亮的概念验证，而不是引擎的替代品。
论文地址：arXiv:2408.14837