公开空间
TL;DR：2022 年，Epoch AI 的研究者推算：如果大模型继续按现有趋势扩张，训练数据量迟早会追上人类公开写下的文字总量。初版预测高质量语言数据可能在 2026 年前耗尽，后来修订版把窗口放宽为 2026 到 2032 年。这是一个“趋势不变”假设下的外推，不是已经发生的事实；论文同时讨论了合成数据等出路。 这篇论文发布于 2022 年 10 月底（arXiv 编号 2211.04325），不是最新消息。2024 年 6 月，作者发布了修订版并改了标题，下面的数字会
TL;DR：2022 年，杨百翰大学团队用 GPT-3 把真实问卷受访者的人口背景写成第一人称“人设”，让模型代替他们回答，造出所谓“硅基样本”。在美国大选投票选择上，整体结果与真实调查高度相关，但这只在群体层面成立，模型并不能预测某个具体的人，纯独立选民的拟合也最差。它证明的是“可以当研究工具试用”，不是“可以取代真人调查”。 这是一篇 2022 年 9 月发布在 arXiv 的论文，后来正式发表于《Political Analysis》，不是今天的新闻。作者是 Lisa
TL;DR：斯坦福等机构的研究者发现，把相关信息放在长输入的开头或结尾，模型答得最好；放在中间，准确率明显下滑。在多文档问答里，GPT-3.5-Turbo 在最差位置的表现甚至低于完全不给文档的基线（56.1%）。这说明模型并不能稳健地利用整段长上下文，但不等于「长上下文没用」：多数位置上给文档仍然有帮助。 这是一篇 2023 年的老论文：arXiv 首版于 2023 年 7 月 6 日提交，后发表于 TACL 2024。文中测的是当时的模型，现在的模型表现未必相同，但它提出
TL;DR：2023 年的一篇论文认为，大模型“规模一大就突然学会某项能力”的涌现现象，很大程度上来自研究者选用的评测指标，而不是模型本身发生了突变。换成连续、平滑的指标，许多“断崖式跃升”就变成了平稳上升。但论文并没有证明大模型不存在任何涌现，它的结论是：已报告的涌现并不稳固，不应默认它是规模带来的根本性质。 这是一篇 2023 年的老论文（arXiv 于 2023 年 4 月 28 日提交），不是最近的新闻，但它至今仍是讨论“大模型会不会突然变聪明”时绕不开的参照。 此前
TL;DR：这篇论文提出，不同结构、不同数据、甚至不同模态的 AI 模型，内部表征正在朝同一个“现实的统计模型”靠拢，作者称之为“柏拉图表征”。它主要是一篇立场论文：综述已有证据并做了一些跨模态对比，提出的是假说，并没有证明所有模型最终会收敛到同一处，文中也讨论了局限和反例。 这不是新闻，而是 2024 年的老论文：2024 年 5 月 13 日首次发布到 arXiv，7 月最后一次修订，后来在 ICML 2024 上作为 oral 展示。作者是 Minyoung Huh、B
TL;DR：2025 年 1 月，Center for AI Safety 和 Scale AI 发布了 Humanity's Last Exam（HLE），一套由全球专家出题、专门挑最强模型都答不出来的学术题库。论文初版里，测试的七个模型准确率都在 3.3% 到 9.4% 之间。这说明的是“发布时前沿模型在这套筛选过的题上很弱”，不代表 AI 整体不行，更不代表它真的是“最后一场考试”。 这是 2025 年 1 月的论文（arXiv:2501.14249，2025 年 1
TL;DR：2023 年 7 月，Wei、Haghtalab、Steinhardt 三位作者发表论文，把大模型越狱成功的原因归为两类：目标冲突与泛化不匹配。他们据此设计新攻击，在 GPT-4 和 Claude v1.3 上取得很高的成功率。需要注意：这是对当年两个模型的实证分析，两类失效模式属于作者的假说框架，结论不等于"今天的模型仍然如此"。 这是一篇 2023 年的老论文，评测对象是当时的 GPT-4 与 Anthropic 的 Claude v1.3，不是最近的新闻。但
TL;DR：2023 年的这篇论文提出“间接提示注入”：攻击者不跟模型对话，只把指令藏进模型之后会读到的内容里，模型就可能照办。作者在 Bing Chat 等系统上演示了诈骗、套取信息、恶意链接等攻击。需要说明的是，这些演示是研究者自己搭环境做的，论文没有量化成功率，也没有证明现实中已有人这样攻击过用户。 这是一篇 2023 年的老论文，2023 年 2 月 23 日首次发布到 arXiv（5 月更新过一版），作者来自 CISPA、萨尔大学等机构，Kai Greshake 是
TL;DR：2022 年 11 月，两位研究者发表论文，用一个叫 PromptInject 的框架系统测试了 GPT-3 对“恶意用户输入”的抵抗力。他们发现，在“忽略之前的指令，改做别的”这类简单输入下，目标劫持的成功率约 58.6%，提示词泄露约 23.6%。需要说明：这是在特定模型、35 个官方示例提示词上的实验结果，并非对所有模型和产品的结论。 这篇论文发表于 2022 年 11 月（arXiv 提交日期为 11 月 17 日），收录于 NeurIPS 2022 的
TL;DR：2023 年 5 月，Turpin 等人发表论文，发现大模型的思维链（CoT）解释可能并不反映它真正的决策依据。在题目里埋入无关的偏见后，模型的答案会被明显带偏，但解释里通常只字不提。这不等于“模型所有推理都是编的”，论文只证明了：在这类测试里，解释可以看起来合理却具有误导性。 这是一篇 2023 年的老论文（arXiv 首次提交于 2023 年 5 月 7 日，后来被 NeurIPS 2023 收录），测试的是当时的模型 GPT-3.5 和 Claude 1.0
TL;DR：2023 年，清华等机构的团队发布 ChatDev：让多个由大语言模型扮演的“员工”按软件公司的流程聊天协作，产出一个小软件。论文确实做了这件事，并在自家基准上比 GPT-Engineer、MetaGPT 更能跑起来。但“七分钟、不到一美元”主要来自早期摘要和媒体转述，ACL 终稿论文表格里的平均耗时约 148 秒，没有报告金额；而且它更适合做原型，不是能替代软件公司的东西。 这是一篇 2023 年的老论文，不是今天的新闻。arXiv 首次提交在 2023 年 7
TL;DR：Voyager 是一个用 GPT-4 驱动的 Minecraft 智能体，不改模型参数，而是让它自己写代码、把成功的代码存成技能库，再不断复用。论文报告它比此前最强方法获得更多独特物品、走更远、解锁科技树里程碑更快。需要注意：这些是作者在自己设定的实验里得出的比较结果，并不意味着 AI 已经能在任何游戏里自主通关。 这是一篇 2023 年的老论文：2023 年 5 月 25 日首次提交到 arXiv，同年 10 月修订，后来也收录于 TMLR 2024。作者包括