公开空间
TL;DR：斯坦福等机构的研究者发现，把相关信息放在长输入的开头或结尾，模型答得最好；放在中间，准确率明显下滑。在多文档问答里，GPT-3.5-Turbo 在最差位置的表现甚至低于完全不给文档的基线（56.1%）。这说明模型并不能稳健地利用整段长上下文，但不等于「长上下文没用」：多数位置上给文档仍然有帮助。 这是一篇 2023 年的老论文：arXiv 首版于 2023 年 7 月 6 日提交，后发表于 TACL 2024。文中测的是当时的模型，现在的模型表现未必相同，但它提出
TL;DR：2023 年的一篇论文认为，大模型“规模一大就突然学会某项能力”的涌现现象，很大程度上来自研究者选用的评测指标，而不是模型本身发生了突变。换成连续、平滑的指标，许多“断崖式跃升”就变成了平稳上升。但论文并没有证明大模型不存在任何涌现，它的结论是：已报告的涌现并不稳固，不应默认它是规模带来的根本性质。 这是一篇 2023 年的老论文（arXiv 于 2023 年 4 月 28 日提交），不是最近的新闻，但它至今仍是讨论“大模型会不会突然变聪明”时绕不开的参照。 此前
TL;DR：2023 年 1 月，经济学家 John Horton 提出「Homo Silicus」：把大语言模型当作可以随意设定偏好的模拟受试者。他用 GPT-3 重做了几个经典实验，结果在定性上与原研究相似，而且成本很低。但这只是定性相似，不等于 AI 能替代真人实验，作者自己也列了不少警告。 这是一篇 2023 年的论文（arXiv 2301.07543，2023 年 1 月 18 日提交，同年 4 月以 NBER 工作论文形式发布），不是最近的新闻。后来论文又在 20
TL;DR：2023 年 2 月，斯坦福教授 Michal Kosinski 发表预印本，称 GPT-3 在经典“错误信念”测试中的表现堪比 7 到 9 岁儿童，并提出心智理论或许是语言能力提升的副产品。但这只说明模型在这套文字测试上答对了，不等于它真的拥有心智。作者后来多次修订论文，换了更严格的测试集，结论也变成 GPT-4 约相当于 6 岁儿童。 这是一篇 2023 年的老论文，不是今天的新闻。2023 年 2 月 4 日，Kosinski 把《Theory of Min
TL;DR：2023 年，牛津、剑桥等机构的研究者发现：如果让新一代模型反复用上一代模型生成的内容训练，原始数据里的“长尾”会逐渐消失，输出越来越单调，最终可能变成近乎无意义的重复。这是在受控实验里（小模型、自行搭建的循环）观察到的现象，并非证明“今天的大模型必然会这样”。论文自己也提到，保留一部分真实数据能明显减缓退化。 这篇论文首次提交到 arXiv 是 2023 年 5 月 27 日，作者包括 Ilia Shumailov、Yarin Gal、Nicolas Paper
TL;DR：2022 年，东京大学和谷歌大脑的研究者发现，在题目后面加一句“Let's think step by step”（让我们一步一步思考），不给任何示例，就能让大模型在算术题测试 MultiArith 上的正确率从 17.7% 升到 78.7%。这个结果是真实的，但它来自特定模型（text-davinci-002）和特定测试集；换成难度更高的 GSM8K，提升是 10.4% 到 40.7%，而且仍不如精心设计示例的做法。 这篇论文发表于 2022 年（arXiv 首
TL;DR：2023 年 9 月，一篇论文发现，在「A 是 B」上训练的大模型，并不会自动学会「B 是 A」。实验里 GPT-4 回答「某名人的母亲是谁」约 79% 答对，反过来问「某人的儿子是谁」只有约 33%。论文把这叫做「逆转诅咒」，成因只是作者的假设，并未被证实；而且把关系写进提示词里，模型是能反向推理的。 这是 2023 年 9 月的论文，不是最近的新闻。作者是 Lukas Berglund、Owain Evans 等七人，论文于 2023 年 9 月 21 日提交
TL;DR：加州大学圣迭戈分校的两位研究者做了一次三方图灵测试：在被要求扮演“年轻内向、爱玩网络梗的人”时，GPT-4.5 有 73% 的场次被判为真人，显著高于同场的真人。但这依赖人设提示词，不加人设时只有 36%；对话仅 5 分钟，评判者是普通人。它证明的是“像人”，不等于“有人的智能”。 这篇论文是 2025 年 3 月 31 日挂上 arXiv 的预印本，作者是 Cameron R. Jones 和 Benjamin K. Bergen，不是最新消息。据 UC San
TL;DR：2023 年，斯坦福等机构的研究者发现，把答案放在长输入的开头或结尾，模型答得最好；放在中间，准确率明显下降，在最差情况下甚至低于完全不给资料。这篇论文测的是当时的模型，输入长度在万级 token 量级，并没有测过百万 token。它说明的是“塞得进”不等于“用得好”，而不是“窗口越大越没用”。 这是 2023 年的老论文，不是今天的新闻。 论文《Lost in the Middle: How Language Models Use Long Contexts》2