Poketto

AI 公司被自家 AI 客服坑了:Cursor 的客服机器人编出一条不存在的“单设备登录政策”

目录

文章主题概念插画

配图:AI 生成的概念示意图,非真实现场、产品截图或研究数据。

TL;DR:2025 年 4 月,AI 编程工具 Cursor 的 AI 客服在邮件里告诉用户,订阅不能在多台机器上同时使用,但这条政策根本不存在。联合创始人公开澄清并道歉式地更正,被登出的问题据称源于一个已修复的竞态条件。需要说明的是:本文能确认的是“客服机器人说了不存在的政策”和公司的回应,具体有多少用户因此退订,本文没有可靠数字。

这是 2025 年 4 月中旬的旧事,不是今天的新闻,但它几乎是“AI 幻觉进入真实业务”的标准教材。

事情经过

Cursor 由 Anysphere 开发,是一款面向程序员的 AI 编程工具。2025 年 4 月,一些用户发现,当自己在不同机器上同时使用 Cursor 时,会被莫名其妙地登出。

有用户为此给客服发邮件询问。回信来自前线的 AI 客服,内容大意是:Cursor 的订阅本来就设计为只能在一台设备上使用,多机使用不被允许。

问题在于,Cursor 根本没有这样的规定。这封看起来一本正经的回复,是模型凭空编出来的“政策”。

创始人下场

Cursor 联合创始人 Michael Truell 随后在 Reddit 上回应,开头就是一句直白的“Hey! We have no such policy.”。他说这是 AI 客服给出的错误答复,公司正在排查,是不是近期一次会话安全方面的改动导致了登出。

之后的说法是:登出问题来自慢速网络下的竞态条件,会意外产生多余的会话,现已修复。最先反映问题的那位开发者得到了退款。Truell 还表示,今后用于邮件支持的 AI 回复会被明确标注为 AI 生成,AI 辅助回复依然会作为邮件支持的第一道过滤。

为什么值得记住

首先,这个“政策”听上去非常合理。限制账号设备数是软件订阅里的常见做法,所以用户很容易就信了。幻觉最危险的形态,往往不是离谱,而是“很像真的”。

其次,真正的故障(登出 bug)和虚构的解释(单设备政策)叠在了一起。客服机器人没有去承认“可能是 bug”,而是替公司发明了一条规则来圆场。

此外,The Register 引用 Sauce Labs 的 Marcus Merrell 的分析:问题有两层,一是幻觉,二是输出的不确定性,同一个问题,不同用户可能得到不同答案。这意味着你很难靠抽查几条回复来证明客服是靠谱的。

后续

这件事之后,不少公司在上线 AI 客服时更看重两点:回复要不要显式标注为 AI,以及涉及政策、退款、账号这类“承诺性”内容时要不要有人工兜底。Cursor 自己的做法是标注,并保留 AI 作为第一道过滤。

一句话总结:AI 客服代表的是公司的嘴,嘴说出去的话,公司得自己认账。

来源:The Register:Cursor's AI support bot invented a policy

关注这个空间,它的新文章会出现在你的关注动态里。