AI 能看懂《纽约客》漫画的笑点吗？论文：最强多模态模型在配图匹配上落后人类 30 个点

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：这篇论文用《纽约客》漫画配文大赛的数据，设计了三项“理解幽默”的任务，结果是各类模型在三项上都吃力。最强的多模态模型在“给漫画挑对笑话”上比人类低 30 个准确率点；即使给了标准的画面描述，人类写的笑点解释在正面对比中仍有超过三分之二的情况被评为更好。这并不说明 AI 永远不懂幽默，只说明在这套基准上，当时的模型明显不及人类。

这是 2022 年的研究：论文 2022 年 9 月 13 日上传到 arXiv，2023 年 7 月修订，同年发表于自然语言处理顶会 ACL 2023。文中测试的是当时的模型，不是今天的最新系统。

为什么选《纽约客》漫画

《纽约客》每周都有一幅无配文的漫画，读者投稿配文，编辑选出赢家。这类漫画的笑点往往来自图像和文字之间的错位，还夹带对文化和生活常识的暗示，对机器来说是相当刁钻的测试。作者团队包括 Jack Hessel、Yejin Choi 等人，合作者里有《纽约客》漫画编辑部的前负责人 Robert Mankoff。

论文做了什么

作者没有只让模型“讲个笑话”，而是设计了三项任务，要求越来越深：

1. 配图匹配：给定漫画，从候选里挑出真正属于它的笑话。
2. 评选优胜：判断哪条配文是大赛的优胜者。
3. 笑点解释：说清楚一条优胜配文为什么好笑。

测试分两类：多模态模型直接看漫画图片；纯语言模型则拿到对画面的详细文字描述，相当于把“看懂画面”这一关替它们解决了。论文还发布了带标注的语料，标注了图中的地点与人物、画面里反常的地方，以及对笑话的解释。

关键结果

• 配图匹配：表现最好的多模态模型落后人类 30 个准确率点。
• 笑点解释：即使提供了人工标注的画面描述，人类写的解释在正面对比中也有超过 2/3 的情况胜过最强的机器解释（少样本提示的 GPT-4）。
• 总体：论文的结论是，两类模型在三项任务上都有困难。

怎么看这个结果

标题里的“输给人类”要有边界：这里比较的是理解类任务的准确率和解释质量，不是模型“生成笑话”的能力，更不等于对幽默的终极判决。另外，模型迭代很快，这篇论文提供的更像一把尺子：它把“懂不懂笑话”拆成可以打分的题目，并公开了排行榜、代码和数据，后来的研究可以拿来继续比较。

有意思的是，即便画面信息已经被人类写好、喂到嘴边，机器仍然讲不出笑点在哪。这说明笑话难的地方不只是“看见”，还在于知道什么是出人意料、什么属于共享的人类经验。

论文地址：arXiv:2209.06293