用 GPT-3 复制美国选民:硅基样本真能算出谁投了谁?
目录
配图:AI 生成的概念示意图,非论文原图或实验数据。
TL;DR:2022 年,杨百翰大学团队用 GPT-3 把真实问卷受访者的人口背景写成第一人称“人设”,让模型代替他们回答,造出所谓“硅基样本”。在美国大选投票选择上,整体结果与真实调查高度相关,但这只在群体层面成立,模型并不能预测某个具体的人,纯独立选民的拟合也最差。它证明的是“可以当研究工具试用”,不是“可以取代真人调查”。
这是一篇 2022 年 9 月发布在 arXiv 的论文,后来正式发表于《Political Analysis》,不是今天的新闻。作者是 Lisa Argyle 等六人,来自杨百翰大学。
他们做了什么
社会科学家常说语言模型有“偏见”,并把它当成一团均匀的东西。论文的想法相反:GPT-3 的偏见其实是细粒度的,和人口特征相关联。只要用对应的背景去引导它,它就能模仿不同群体的回答分布。作者把这种能力叫“算法保真度”(algorithmic fidelity)。
具体做法是:从美国全国选举研究(ANES)等大型调查里取真实受访者,把种族、性别、年龄、意识形态、党派、教会出席等信息写成一段第一人称自述,喂给 GPT-3(Davinci,1750 亿参数),再让它接着“回答”。每个受访者对应一个“硅基受访者”。
关键数字
投票实验用了 ANES 2012、2016、2020 三届数据。整体的四分相关系数分别是 0.90、0.92、0.94,一致比例为 0.85、0.87、0.89。
总得票比例接近但不相同:2016 年模型给特朗普 43.2%,真实调查为 47.7%;2020 年则是 47.2% 对 41.2%,反而高估。2020 年的结果尤其有意思,因为 GPT-3 的训练数据只到 2019 年。拟合最差的是纯独立选民,2020 年相关系数只有 0.02。
另一个实验让 2800 多名评估者判断词语清单是不是真人写的:真人清单被判为真人的比例是 61.7%,GPT-3 的是 61.2%,几乎分不出。不过在猜写作者党派时,真人清单猜对 60.1%,模型清单只有 52.8%,说明还有差距。作者称整个实验的 GPT-3 调用费用约 29 美元。
为什么重要,又为什么要小心
如果成立,研究者可以用便宜的模型先做预实验,探索很多群体及其交叉身份。但作者自己也列出限制:只评估群体分布,不预测个体;输出有随机性;模型对总体有轻微偏差;只覆盖美国政治;投票提示词只是初步版本。他们还警告,这类方法也可能被用于制造虚假信息或操纵舆论。
所以更准确的说法是:在这批美国数据上,用对了条件,硅基样本能复现群体倾向。至于换个国家、换个议题还成不成,这篇论文并没有回答。
论文地址:arXiv:2209.06899