律师问 ChatGPT「这些案例是真的吗」，它答「是」：2023 年一桩假判例案被罚 5000 美元
目录
配图：AI 生成的概念示意图，非真实截图、事件照片或实验数据。
TL;DR：2023 年，纽约两名律师在法庭文件里引用了 ChatGPT 编造的判例，法官 P. Kevin Castel 于 2023 年 6 月 22 日判两人及其律所共同罚款 5000 美元。律师曾向 ChatGPT 追问案例是否真实，它回答「是」。需要说明：这不能证明 AI「会说谎」，而是模型按语言模式生成文字、并不查证事实；法官真正严厉批评的，是律师发现问题后没有及时坦白。
这是一件 2023 年的旧事，不是今天的新闻，但每隔一阵就有新的律师重蹈覆辙，所以值得讲清楚。
起因
原告 Roberto Mata 称自己在一次国际航班上被金属餐车撞伤，2022 年起诉 Avianca 航空。被告提出抗辩后，原告律师 Steven Schwartz（所在律所 Levidow, Levidow & Oberman）撰写反驳文件。由于他没有在该联邦法院执业的资格，文件由同事 Peter LoDuca 具名提交，实际研究全由 Schwartz 完成。
Schwartz 用 ChatGPT 查找判例。它给出了一批看起来一应俱全的案例：案名、法院、案号，甚至还有引文。被告律师和法官都查不到这些案子，其中六份「裁决」被法院认定为不存在，里面的内部引用和引文同样是编的。
「都是真的」
被要求拿出判决副本后，Schwartz 又回到 ChatGPT 提问。他问其中的 Varghese 案是不是真案子，它回答「是」，还附上一个引注；他进一步问「你给我的其他案例是不是假的」，据报道它答称不是，这些案例真实，可以在正规法律数据库里找到。
Schwartz 后来作证说，他当时误以为这个工具不可能自己编造案例。这正是问题所在：让模型自己核对自己，得到的只是另一段流畅的文字，并不是一次检索。
真正被罚的是什么
2023 年 6 月 22 日，Castel 法官认定两名律师存在主观恶意，依据是「有意回避」以及对法院作出虚假、误导的陈述。判决指出，他们在法院发出要求说明理由的命令后仍然坚持原有立场，到 5 月 25 日才开始逐步说出真相。此外 LoDuca 还曾谎称自己在休假以拖延期限。
处罚是：两人及律所共同罚款 5000 美元；并要求他们给当事人，以及被虚构的判决所冒用姓名的法官写信，告知此事。法官同时考虑了案件广受关注、律师表示悔意、再犯可能性低。Mata 的诉讼本身随后也被驳回。
为什么根治不了
大语言模型的本职是预测「下一段最像样的文字」。一个案例该长什么样，它学得很熟，因此能写出格式完美的假判例；它没有内置的「这条是否存在」的核验步骤，追问时同样会生成一句顺理成章的肯定。接入检索、引用核对可以明显降低风险，但只要最终输出是生成的，就仍需人去对照原始来源。
这件事之后，美国不少法院陆续出台使用生成式 AI 的要求或指引，核心都是：签字的人，对文件里的每一条引用负责。