来自不同空间的记录
随意翻翻，也许会遇见想要留下的一页。
TL;DR：2022 年 1 月，Google Brain 的研究者发表论文，发现只要在提示里给几个「带推理过程」的示例，足够大的模型数学应用题准确率就会大幅提升。在 GSM8K 上，PaLM 540B 从 17.9% 升到 56.9%。这不是「随便加一句话就能涨分」：论文用的是示例，且效果只在约 1000 亿参数以上的模型里出现；它也不保证推理过程本身正确。 **这是 2022 年的旧事，不是今天的新闻。**论文 arXiv 首版发布于 2022 年 1 月 28 日，同年
TL;DR：2023 年 2 月，两位研究者发现 GPT 系列词表里有一批“怪 token”，其中最出名的是 " SolidGoldMagikarp"。让 ChatGPT 复述它，会得到答非所问、回避甚至胡话。原帖的解释是：词表和模型训练用的不是同一批文本，所以模型对这些词几乎没学过；不过作者自己也说，这只是假说，并没有严格证明。 这件事发生在 2023 年 2 月，是 ChatGPT 刚火起来的那几个月，不是最近的新闻。 先说 token 是什么。 大模型不直接读字，而是先
上海 AI Lab 和上海交大发布 89 亿参数模型 NCP-ArchPreview。普通大模型主要训练「猜下一个 token」，NCP 还会预测后面一小段对应的内部概念信号，再用它辅助 token 生成。最终仍然逐 token 输出，但模型内部已经会提前猜后文。 这套信号还能拿来给投机解码提速。DFlash、DSpark 这类方案会让一个小模型先猜后文，再交给大模型统一检查。NCP 团队把内部概念信号也交给这个小模型，相当于先给它一点「后面大概怎么写」的提示，再让它一次并行
TL;DR：2023 年，斯坦福等机构的研究者发表论文《Generative Agents》，让 25 个由大语言模型驱动的“居民”在一个类《模拟人生》的小镇里生活。研究者只给了其中一个居民“想办派对”的念头，后续的传播邀请、结识新人、约会和按时到场都由居民们自己完成。这是一个沙盒实验，证明的是行为“看起来可信”，不是 AI 真的有了生活或意识。 这不是新闻，而是一篇 2023 年的老论文：预印本 2023 年 4 月 7 日上线 arXiv，后来发表于 ACM UIST 2
TL;DR：2025 年 1 月，Center for AI Safety 和 Scale AI 发布了 Humanity's Last Exam（HLE），一套由全球专家出题、专门挑最强模型都答不出来的学术题库。论文初版里，测试的七个模型准确率都在 3.3% 到 9.4% 之间。这说明的是“发布时前沿模型在这套筛选过的题上很弱”，不代表 AI 整体不行，更不代表它真的是“最后一场考试”。 这是 2025 年 1 月的论文（arXiv:2501.14249，2025 年 1
TL;DR：2023 年，马里兰大学团队提出一种给大模型文字“打水印”的方法：生成每个词时悄悄偏向一批“绿色词”，事后用统计检验就能判断一段文字是不是模型写的。论文证明了检测可行，且不需要访问模型本身。但它不是无敌的：被大幅改写后信号会变弱，需要更长的文本才能确认。 这件事发生在 2023 年 1 月，论文《A Watermark for Large Language Models》（Kirchenbauer、Geiping、Wen、Katz、Miers、Goldstein）