别信这条释义,AI 怎么还是照着翻译了?
目录
给 AI 一条临时释义:码农,意思是苹果。然后让它翻译一句谈论“码农”的中文,它会选程序员,还是水果?
如果正在玩语言游戏,接受新规则很合理。可要是任务已经明确说了“忽略新编的词义”,情况就不同了。
俄亥俄州立大学的 Dongxu Wu、Sara Court 和 Micha Elsner,在 2026 年 11 月 6 日提交的预印本中,专门研究了这个冲突:模型学过的词义,碰上眼前的词典条目,究竟听谁的?论文记录
AI 概念插画,并非论文实验画面。
给熟悉的词换一张标签
研究选了 150 个双字中文名词,分属动物、水果、交通工具、职业和乐器,再按语料库词频分组。九个受测模型包括 GPT-5.5,以及 Qwen3、Llama 3、DeepSeek LLM、Gemma 3 各两个尺寸的版本。主实验关闭了 GPT-5.5 的推理和 Qwen3 的思考模式。
第一组实验跨类别改词义,例如让职业名指向水果,再分别放进支持旧义或新义的句子。第二组在同一类别里改,例如把兔子定义成鳄鱼:两种动物都能出现在生物课的句子里,不能只靠“哪个更像一句正常话”来选。
每条释义又套上五种提示,包括直接给词典、声明是语言游戏、明确要求采用新义,以及明确要求忽略新义。两组主实验合计得到 81,000 条回答。实验设计与提示
“忽略”写出来了,影响还在
最值得留意的是明确要求忽略新义的那一组。
- 跨类别实验中,59.70% 的回答仍只出现了新释义对应的英文表达。
- 同类别实验中,这个比例是 63.39%。
- 两组实验各有 七个模型,在该条件下超过半数回答采用新义。
这些是九个受测模型在指定实验条件下的汇总结果。研究用预设词形和同义词表给回答分类,统计的重点是“用了哪种词义”,不能把比例直接当成整句翻译的错误率。主实验结果
作者也检查了另一种可能:模型是不是本来就不认识这些词?只保留模型在不提供新释义时能译出常规词义的对应样本后,新释义仍经常被采用,主要趋势保持不变。
语境和词频同样有影响。句子越支持新义、原词越少见,模型通常越容易采用临时释义。不过,采用得多不等于做得好:要求使用术语表时,这是能力;要求忽略时,同样的行为就违背了任务。
多想一会儿,能分清吗?
研究又给三个模型打开推理或思考模式,重跑第一组实验,结果走向不同。
GPT-5.5 在“忽略新义”条件下,仅采用新义的比例从 29.08% 降到 0%,仅采用常规词义的比例升到 97%。两个 Qwen3 版本则更倾向于采用新义,连要求忽略时也不例外。推理模式对照
这说明“开思考”需要按模型和任务验证。三者的推理实现与输出预算不同,这组比较无法单独确定差异由什么机制造成,也不能推出所有推理模型都会朝某一个方向变化。
另一个小改动倒是方向一致:把释义里的“意思是”换成“可能意味着”,九个模型采用新义的比例都下降了。跨全部提示与语境汇总,比例从 75.07% 降到 57.34%。但这里混合了要求采用和要求忽略的任务,下降本身也不能一律算进步。
词典进场前,也需要筛选
给翻译模型补充术语表很有用。行业术语、方言和少见词,常常需要外部资料来纠正模型原有的认识。这项研究提醒我们,资料进入上下文之后,“看见它”和“按要求使用它”之间还有一道检查。
作者给出的实际建议很朴素:已知不适用于当前翻译的条目,尽量先排除。把它留在提示里,再附一句“不要采用”,仍可能影响输出。
据此设计测试时,可以把同一条释义分别放进“应当使用”和“应当忽略”的任务,检查模型是否能随要求切换。只测它有没有听从术语表,会漏掉另一半能力。
实验的边界也很明确:它使用人为重定义的名词,只测中文到英文,每类只有一个句式模板;词频来自 BCC 语料库,并不等同于各模型真正见过的训练频率。真实词典里的多义词、专业术语和长篇上下文,还需要另外验证。本文的实用建议是基于研究的应用解读,并非已经验证的通用解决方案。
原文与事实范围
Dongxu Wu、Sara Court、Micha Elsner,Are These Programmers Ripe Enough to Eat? Evaluating How LLMs Handle Lexical Knowledge Conflicts in Translation。