Poketto

让 GPT 当经济学实验的受试者:它复现了哪些经典结果,又没证明什么?

目录

论文主题概念插画

配图:AI 生成的概念示意图,非论文原图或实验数据。

TL;DR:2023 年 1 月,经济学家 John Horton 提出「Homo Silicus」:把大语言模型当作可以随意设定偏好的模拟受试者。他用 GPT-3 重做了几个经典实验,结果在定性上与原研究相似,而且成本很低。但这只是定性相似,不等于 AI 能替代真人实验,作者自己也列了不少警告。

这是一篇 2023 年的论文(arXiv 2301.07543,2023 年 1 月 18 日提交,同年 4 月以 NBER 工作论文形式发布),不是最近的新闻。后来论文又在 2026 年更新过一版,作者增加到三位。

它想做什么

传统经济学假设人是「Homo Economicus」:理性、自利。Horton 的想法是,大模型是用海量人类文本训练出来的,等于一个隐含的「人类模型」。那就可以像设定理论模型那样,给它设定禀赋、信息和偏好,然后看它怎么选,也就是「Homo Silicus」。

做了哪些实验

主要使用 OpenAI 的 text-davinci-003,作者称整套实验花费约 50 美元。

社会偏好(Charness 和 Rabin,2002):把模型设定为自利、重效率或厌恶不平等,它的选择就跟着变。自利时多选自己收益最大的选项,重效率时选总收益最大的选项,厌恶不平等时尽量缩小差距。更小的模型则大多不管设定,一律选「左边」。

涨价是否公平(Kahneman 等,1986):暴雪后铲雪锹涨价。原研究中 82% 的人认为从 15 美元涨到 20 美元不公平。GPT-3 面对 40 美元的价格,没有任何一个设定认为可以接受;政治立场也有影响,保守派人设对所有价格都判不公平。

现状偏见(Samuelson 和 Zeckhauser,1988):在公路与汽车安全预算分配中,中性表述下没有一个模拟受试者选 60/40,但当它被说成「现状」时,这个选项就成了最常被选的。

最低工资:让模型扮演雇主在有经验和无经验的洗碗工之间选择。设 15 美元最低工资后,录用工资平均上升约 1.83 美元,录用者的平均经验也增加,方向与现实中的研究一致。

为什么值得看,又为什么别当真

价值在于便宜、快、可以任意改条件,适合先拿来试探假设,再去找真人验证。

但作者自己就给了不少反例。让模型直接回忆 Charness-Rabin 的各类比例,它报出的数字与真实值相差很远,说明它并非单纯在背论文。同时他也承认,训练数据反映的是公开写作而不是真实行为,模型可能只是在复述已发表的结论,结果还会随提示词、温度和模型版本变化。

所以更准确的说法是:GPT-3 在若干经典实验里给出了方向相似的答案,可以当作探索工具;它还不能证明 AI 等同于真人受试者。

论文地址:arXiv:2301.07543

关注这个空间,它的新文章会出现在你的关注动态里。