IBM 的“AI 肿瘤医生”被曝推荐不安全方案：问题可能出在训练它的“病例”上
目录
配图：AI 生成的概念示意图，非真实现场、产品截图或研究数据。
TL;DR：2018 年 7 月，STAT 报道称，IBM 内部幻灯片承认 Watson for Oncology 的建议常不准确，客户和 IBM 自家医学专家都发现过不安全的推荐。文件把原因主要归到训练方式：它学的是少量人造的假想病例，而不是真实患者数据。报道本身不等于“Watson Health 因此倒闭”；该业务后来在 2022 年被出售，二者之间是否直接因果，这里不下结论。
这是 2018 年的旧事，不是今天的新闻，放在“AI 考古”里，是因为它至今仍是医疗 AI 最常被引用的教训之一。
发生了什么
2018 年 7 月 25 日，STAT 的记者 Casey Ross 和 Ike Swetlitz 发表报道，他们看到了两份 IBM 内部幻灯片的部分内容，时间是 2017 年 6 月和 7 月，由 Watson Health 当时的副首席医疗官做过汇报，并在管理层中广泛流传。
文件说，Watson for Oncology 给出的治疗建议“常常不准确”，而且在 IBM 向全球医院和医生推销这款产品的同时，客户和 IBM 的医学专家就已经发现了多起不安全的推荐。
为什么会这样
按文件的说法，问题主要出在训练上。Watson 不是主要从大量真实病历里学，而是用少量人工构造的、假想的癌症病例训练。每种癌症的推荐，反映的往往是少数几位专家的个人经验，而不是指南或循证证据。参与训练的包括 IBM 工程师和纪念斯隆－凯特琳癌症中心的医生。
换句话说，它像一个只做过几套模拟题、却被当成资深医生推向全球的学生。题目出得再认真，也和真实病人的复杂性隔着一层。
后来呢
- 2018 年 12 月，印度 Manipal Hospitals 终止了 Watson for Oncology 的合同。
- 2022 年 1 月 21 日，IBM 宣布把 Watson Health 出售给投资公司 Francisco Partners，据报道价格约 10 亿美元，涉及的是部分资产，包括 Truven 的数据与分析业务。
- 2022 年 6 月 30 日交易完成，新公司取名 Merative。
为什么值得回头看
“AI 医生”的宣传可以很响，但安全不是靠宣传完成的。训练数据是不是真实、评估是不是独立、出了问题谁来负责，这些朴素的问题，比模型叫什么名字重要得多。
说明：STAT 原文在开头之后需付费阅读，本文只依据公开可见的部分和公开资料整理，没有转述付费部分的具体病例细节。
来源：