Poketto

愚者

公开空间

#AI考古#AI#Cursor

AI 公司被自家 AI 客服坑了:Cursor 的客服机器人编出一条不存在的“单设备登录政策”

TL;DR:2025 年 4 月,AI 编程工具 Cursor 的 AI 客服在邮件里告诉用户,订阅不能在多台机器上同时使用,但这条政策根本不存在。联合创始人公开澄清并道歉式地更正,被登出的问题据称源于一个已修复的竞态条件。需要说明的是:本文能确认的是“客服机器人说了不存在的政策”和公司的回应,具体有多少用户因此退订,本文没有可靠数字。 这是 2025 年 4 月中旬的旧事,不是今天的新闻,但它几乎是“AI 幻觉进入真实业务”的标准教材。 Cursor 由 Anysphere

#AI考古#AI#谷歌

谷歌 AI 概述教人往披萨上涂胶水、每天吃石头:不是 AI 疯了,是它太相信网上的玩笑

TL;DR:2024 年 5 月,谷歌搜索的「AI 概述」在美国全面上线不久,就因为建议「往披萨酱里加胶水」「每天吃一块小石头」被网友疯传。谷歌随后发文承认问题,并给出了原因:玩笑帖、讽刺内容和「数据空白」。已确认的是这些回答确实出现过、谷歌也做了调整;谷歌同时称,网上流传的部分截图是伪造的。 这是 2024 年 5 月的旧事,不是今天的新闻。 当月中旬,谷歌在 I/O 大会前后把 AI 概述推给美国所有用户,也就是在搜索结果顶部直接用生成式 AI 写一段答案。没过多久,社交

纽约市官方 AI 教老板克扣员工小费、拒收现金:它没说错的只有“我可能会错”

TL;DR:2024 年 3 月,媒体 The Markup 测试纽约市政府推出的官方商业问答机器人 MyCity,发现它在小费、现金支付、租房等问题上多次给出与法律相悖的建议。这些是记者的实测结果,机器人的回答并不稳定,同一问题可能得到不同答案。市政府称这是试点项目,会持续改进。2026 年初,新任市长宣布将其下线。 这是一件 2024 年的旧事。 2023 年 10 月,时任纽约市长亚当斯宣布一项 AI 计划,核心就是 MyCity 聊天机器人:帮想开店、做生意的人查规则

#AI考古#AI#论文

号称能写论文的 AI,一本正经编出“吃碎玻璃的好处”:Meta 的 Galactica 只撑了几天

TL;DR:2022 年 11 月,Meta 发布面向科研的大语言模型 Galactica,公开演示站上线没几天就被撤下。有用户让它写出了关于“吃碎玻璃的好处”的条目和假研究,它还会编造引用。已确认的是“演示被撤”和“生成了假内容”;并没有证据说明有人因此受害,这个例子是测试者刻意诱导出来的。 这是 2022 年底的旧事,比 ChatGPT 发布还早约两周,但它几乎预演了之后几年大模型“幻觉”争议的全部剧情。 2022 年 11 月 15 日前后,Meta AI 推出 Gal

#AI考古#AI#谷歌

一句话答错,千亿美元蒸发:谷歌 Bard 的“韦伯望远镜”广告事故

TL;DR:2023 年 2 月,谷歌在宣传 Bard 的演示动图里,让它错误地声称韦伯望远镜拍下了太阳系外行星的首张照片。路透社指出这一错误后,Alphabet 股价在 2 月 8 日收跌约 7.7%,市值蒸发约 1000 亿美元。可以确定的是错误和暴跌都真实发生;但当天的下跌也与同日发布会反响平平、外界担心谷歌落后于微软等因素叠加,并非这一句话单独造成。 这是一件发生在 2023 年的旧事,不是今天的新闻。 2022 年底 ChatGPT 走红,微软随后押注 OpenAI

#AI考古#AI#ChatGPT

律师问 ChatGPT「这些案子是真的吗」,它答「是真的」:纽约律所因六个假判例被罚 5000 美元

TL;DR:2023 年,纽约一名律师用 ChatGPT 做法律检索,把它编造的判例写进了提交给联邦法院的文件。他曾追问 ChatGPT 这些案子是否真实,得到的回答是真实、可在法律数据库查到。2023 年 6 月 22 日,法官 P. Kevin Castel 判两名律师和所在律所共同支付 5000 美元罚款。有据可查的是罚款和事实经过;「法官当庭羞辱」属于媒体渲染,本文不做定论。 这是 2023 年的旧事,不是今天的新闻,但它至今仍是 AI 幻觉进入现实世界最经典的案例之

#一文看懂#AI#论文

大模型为什么爱瞎编?OpenAI 论文:因为考试从不扣“瞎蒙”的分

TL;DR:2025 年 9 月,OpenAI 与佐治亚理工的研究者发表论文,主张大模型“幻觉”并不神秘:预训练阶段有统计上的必然误差,而后训练阶段主流评测又只看对错、不罚瞎蒙,于是模型被训练成“好考生”,宁可蒙也不说“不知道”。论文给出了数学论证,但它并没有证明幻觉永远无法消除,更没说模型“故意”骗人;它的结论是:错误无法归零,但评分规则可以改。 论文《Why Language Models Hallucinate》于 2025 年 9 月 4 日上传 arXiv,作者是