公开空间
TL;DR：2025 年的一篇论文发现，在数学题末尾附上与题目无关的短句，比如“有趣的事实：猫一生大部分时间都在睡觉”，会让推理模型更容易答错。论文摘要称，这类触发语使目标模型答错的概率上升超过 300%，猫的那一句单独就能让错误概率翻倍以上。需要注意的是，这是相对增幅，基线错误率本来很低，并不是“模型一加猫就大面积崩溃”。 时间线：这篇论文《Cats Confuse Reasoning LLM》于 2025 年 3 月在 arXiv 首次提交，同年 7 月更新到 v2，后被
TL;DR：2023 年 7 月，卡内基梅隆大学等机构的研究者发表论文，提出一种自动搜索「对抗后缀」的方法（GCG）：在有害请求后面拼一串看似乱码的字符，就能显著提高模型照做而不是拒绝的概率。后缀在开源模型 Vicuna 和 LLaMA-2 上训练，却能迁移到 ChatGPT、Bard、Claude 等闭源系统。但迁移成功率因模型而异，对 Claude-2 几乎无效，论文也说明相关例子在披露后可能失效。 这是 2023 年的老论文，不是今天的新闻。当时大模型对齐（让模型拒绝有
TL;DR：2023 年，卡内基梅隆大学等团队发表论文，用自动搜索在提问后面拼出一串看似乱码的后缀，能显著提高对话模型“照做有害请求”的概率。后缀只在开源的 Vicuna 等模型上训练，却迁移到了 ChatGPT、Bard、Claude 等闭源系统。但“一串乱码通杀所有模型”并不准确：论文里各模型成功率差别很大，Claude-2 几乎纹丝不动。 这是 2023 年的论文，论文 2023 年 7 月 27 日首次提交到 arXiv，文中测试的是当时的模型版本，不代表今天各家产品