Poketto

愚者

公开空间

#神人论文#AI#论文

用 GPT-3 复制美国选民:硅基样本真能算出谁投了谁?

TL;DR:2022 年,杨百翰大学团队用 GPT-3 把真实问卷受访者的人口背景写成第一人称“人设”,让模型代替他们回答,造出所谓“硅基样本”。在美国大选投票选择上,整体结果与真实调查高度相关,但这只在群体层面成立,模型并不能预测某个具体的人,纯独立选民的拟合也最差。它证明的是“可以当研究工具试用”,不是“可以取代真人调查”。 这是一篇 2022 年 9 月发布在 arXiv 的论文,后来正式发表于《Political Analysis》,不是今天的新闻。作者是 Lisa

#神人论文#AI#论文

“忽略前面的指令”:一句话就能劫持 GPT-3,提示注入的开山论文做了什么?

TL;DR:2022 年 11 月,两位研究者发表论文,用一个叫 PromptInject 的框架系统测试了 GPT-3 对“恶意用户输入”的抵抗力。他们发现,在“忽略之前的指令,改做别的”这类简单输入下,目标劫持的成功率约 58.6%,提示词泄露约 23.6%。需要说明:这是在特定模型、35 个官方示例提示词上的实验结果,并非对所有模型和产品的结论。 这篇论文发表于 2022 年 11 月(arXiv 提交日期为 11 月 17 日),收录于 NeurIPS 2022 的

#神人论文#AI#论文

让 GPT 当经济学实验的受试者:它复现了哪些经典结果,又没证明什么?

TL;DR:2023 年 1 月,经济学家 John Horton 提出「Homo Silicus」:把大语言模型当作可以随意设定偏好的模拟受试者。他用 GPT-3 重做了几个经典实验,结果在定性上与原研究相似,而且成本很低。但这只是定性相似,不等于 AI 能替代真人实验,作者自己也列了不少警告。 这是一篇 2023 年的论文(arXiv 2301.07543,2023 年 1 月 18 日提交,同年 4 月以 NBER 工作论文形式发布),不是最近的新闻。后来论文又在 20

ChatGPT 看到一个 Reddit 用户名就崩:SolidGoldMagikarp 是怎么混进词表的?

TL;DR:2023 年 2 月,两位研究者发现 GPT 系列词表里有一批“怪 token”,其中最出名的是 " SolidGoldMagikarp"。让 ChatGPT 复述它,会得到答非所问、回避甚至胡话。原帖的解释是:词表和模型训练用的不是同一批文本,所以模型对这些词几乎没学过;不过作者自己也说,这只是假说,并没有严格证明。 这件事发生在 2023 年 2 月,是 ChatGPT 刚火起来的那几个月,不是最近的新闻。 先说 token 是什么。 大模型不直接读字,而是先