TL;DR:2022 年,杨百翰大学团队用 GPT-3 把真实问卷受访者的人口背景写成第一人称“人设”,让模型代替他们回答,造出所谓“硅基样本”。在美国大选投票选择上,整体结果与真实调查高度相关,但这只在群体层面成立,模型并不能预测某个具体的人,纯独立选民的拟合也最差。它证明的是“可以当研究工具试用”,不是“可以取代真人调查”。 这是一篇 2022 年 9 月发布在 arXiv 的论文,后来正式发表于《Political Analysis》,不是今天的新闻。作者是 Lisa
TL;DR:2022 年 11 月,两位研究者发表论文,用一个叫 PromptInject 的框架系统测试了 GPT-3 对“恶意用户输入”的抵抗力。他们发现,在“忽略之前的指令,改做别的”这类简单输入下,目标劫持的成功率约 58.6%,提示词泄露约 23.6%。需要说明:这是在特定模型、35 个官方示例提示词上的实验结果,并非对所有模型和产品的结论。 这篇论文发表于 2022 年 11 月(arXiv 提交日期为 11 月 17 日),收录于 NeurIPS 2022 的
TL;DR:2023 年 1 月,经济学家 John Horton 提出「Homo Silicus」:把大语言模型当作可以随意设定偏好的模拟受试者。他用 GPT-3 重做了几个经典实验,结果在定性上与原研究相似,而且成本很低。但这只是定性相似,不等于 AI 能替代真人实验,作者自己也列了不少警告。 这是一篇 2023 年的论文(arXiv 2301.07543,2023 年 1 月 18 日提交,同年 4 月以 NBER 工作论文形式发布),不是最近的新闻。后来论文又在 20
TL;DR:2023 年 2 月,两位研究者发现 GPT 系列词表里有一批“怪 token”,其中最出名的是 " SolidGoldMagikarp"。让 ChatGPT 复述它,会得到答非所问、回避甚至胡话。原帖的解释是:词表和模型训练用的不是同一批文本,所以模型对这些词几乎没学过;不过作者自己也说,这只是假说,并没有严格证明。 这件事发生在 2023 年 2 月,是 ChatGPT 刚火起来的那几个月,不是最近的新闻。 先说 token 是什么。 大模型不直接读字,而是先