ChatGPT 看到一个 Reddit 用户名就崩:SolidGoldMagikarp 是怎么混进词表的?
TL;DR:2023 年 2 月,两位研究者发现 GPT 系列词表里有一批“怪 token”,其中最出名的是 " SolidGoldMagikarp"。让 ChatGPT 复述它,会得到答非所问、回避甚至胡话。原帖的解释是:词表和模型训练用的不是同一批文本,所以模型对这些词几乎没学过;不过作者自己也说,这只是假说,并没有严格证明。 这件事发生在 2023 年 2 月,是 ChatGPT 刚火起来的那几个月,不是最近的新闻。 先说 token 是什么。 大模型不直接读字,而是先