Poketto

愚者

公开空间

#神人论文#AI#论文

越狱为什么屡试不爽?这篇论文说:不是补丁没打好,是安全训练有两处结构性缺口

TL;DR:2023 年 7 月,Wei、Haghtalab、Steinhardt 三位作者发表论文,把大模型越狱成功的原因归为两类:目标冲突与泛化不匹配。他们据此设计新攻击,在 GPT-4 和 Claude v1.3 上取得很高的成功率。需要注意:这是对当年两个模型的实证分析,两类失效模式属于作者的假说框架,结论不等于"今天的模型仍然如此"。 这是一篇 2023 年的老论文,评测对象是当时的 GPT-4 与 Anthropic 的 Claude v1.3,不是最近的新闻。但

#神人论文#AI#论文

GPT-4 在 Minecraft 里自己写代码、攒技能库:Voyager 为什么没靠微调就能一路升级?

TL;DR:Voyager 是一个用 GPT-4 驱动的 Minecraft 智能体,不改模型参数,而是让它自己写代码、把成功的代码存成技能库,再不断复用。论文报告它比此前最强方法获得更多独特物品、走更远、解锁科技树里程碑更快。需要注意:这些是作者在自己设定的实验里得出的比较结果,并不意味着 AI 已经能在任何游戏里自主通关。 这是一篇 2023 年的老论文:2023 年 5 月 25 日首次提交到 arXiv,同年 10 月修订,后来也收录于 TMLR 2024。作者包括

#神人论文#AI#论文

大模型通过“心智理论”测试,堪比 7 岁孩子?这篇论文后来悄悄改了口径

TL;DR:2023 年 2 月,斯坦福教授 Michal Kosinski 发表预印本,称 GPT-3 在经典“错误信念”测试中的表现堪比 7 到 9 岁儿童,并提出心智理论或许是语言能力提升的副产品。但这只说明模型在这套文字测试上答对了,不等于它真的拥有心智。作者后来多次修订论文,换了更严格的测试集,结论也变成 GPT-4 约相当于 6 岁儿童。 这是一篇 2023 年的老论文,不是今天的新闻。2023 年 2 月 4 日,Kosinski 把《Theory of Min

#神人论文#AI#论文

用凯撒密码聊天,GPT-4 的安全对齐就失灵了?一篇 ICLR 论文这么说

TL;DR:这篇论文提出 CipherChat 框架,发现用密码和 GPT-4 对话,可以绕开它在自然语言上训练出来的安全对齐,部分场景下成功率接近 100%。作者还提出只靠角色扮演、不用真正加密的 SelfCipher,效果在几乎所有情况下优于人类密码。需要说明的是:这是对 2023 年中旬模型的测试,之后各家模型早已更新,结论不代表今天的 GPT-4 或其他模型。 这是一篇 2023 年 8 月 12 日提交到 arXiv 的论文,后来被 ICLR 2024 接收,并不是

#神人论文#AI#论文

微软研究院让 GPT-4 画独角兽,然后写下了“AGI 的火花”

TL;DR:2023 年 3 月,微软研究院的 14 位作者在 arXiv 发布论文,称早期版本的 GPT-4 在数学、编程、视觉等任务上表现出远超以往模型的通用能力,可以合理地看作“早期(但仍不完整)的 AGI”。这是一篇靠大量手工挑选的案例支撑的定性观察,不是严格的基准评测。论文并没有证明 GPT-4 就是 AGI,反而用不少篇幅讨论它的局限。 这是 2023 年的旧事:论文于 2023 年 3 月 22 日提交,当年 4 月更新到第 5 版。文中测试的是 OpenAI