AI会一本正经地胡说八道？比泄密更常见的翻车，叫幻觉

会，而且这不是故障，是AI的天性：大模型本质上是个"永不交白卷的考生"，答得上答不上，都会给你一个通顺、自信、像模像样的答案——答不上的时候，它就现编一个。这个现象行业里叫**"幻觉"**。加拿大航空的客服机器人编过一条不存在的折扣政策，法庭判航空公司照赔；德勤用AI写报告，编出一堆不存在的文献，退了政府的合同款。幻觉根除不了，但能用工程手段管到不伤人——这一篇讲怎么管。

上一篇讲了泄密怎么防，那是数据"进去"的风险。这一篇讲内容"出来"的风险——也是老板们上手AI一周后必然撞上的问题，AI工程师樊军刚每次陪客户测试系统，几乎都会被问到同一句：

"它刚才说的这个，是真的吗？"

问得好。这一篇把"幻觉"拆透：AI为什么会编、编出来的为什么那么像真的、企业系统里怎么把它管住。

---

三个真实翻车现场：编出来的，比真的还像真的

第一个：加拿大航空，赔了。

2022年，乘客莫法特因祖母去世要订机票，先问了加航官网的客服机器人有没有丧亲折扣。机器人答：可以先按全价买票，90天内提交申请补退差价。他照做了——申请被拒，因为加航的真实政策是行程结束后不能追溯申请，机器人把政策"编"反了。

官司2024年打出结果，加航的抗辩堪称年度名场面："聊天机器人是独立的法律实体，应当为自己的言论负责。" 仲裁员驳回：网站上的信息，不管来自静态页面还是聊天机器人，公司都得负责。判赔812.02加元。钱不多，但这个判例给所有企业划了条线：AI替你说的每一句话，法律上都算你说的。

第二个：德勤，退款了。

2025年，德勤澳洲给澳大利亚政府部门交付了一份44万澳元的评估报告。悉尼大学一位研究员翻阅时发现不对劲：报告引用的多篇学术文献根本不存在，还有一段联邦法院判词是编的——被引的教授真有其人、引用格式一丝不苟，唯独那几篇论文和那段判词是无中生有。德勤最后承认写报告用了GPT-4o辅助，同意退还合同尾款。

第三个：纽约律师，被罚了。

2023年，纽约一位执业30年的律师用ChatGPT做判例检索，往法庭文件里写进了6个不存在的判例。最讽刺的是他留过一手——他专门问ChatGPT"这些案例是真的吗"，ChatGPT答：是真的。法官罚款5000美元。让AI给自己的答案打保票，打出来的还是幻觉——验证必须靠AI外面的东西：原始出处、业务系统、人。（这句记住，后面的护栏全从它来。）

三个案子拼出幻觉的完整画像：它不是错得离谱，是错得像真的——格式规范、细节齐全、语气笃定，连干了几十年的专业人士都会放行。这才是幻觉真正的杀伤力。

---

AI为什么要编？——因为它是个从不交白卷的考生

很多人以为幻觉是bug，等下个版本修复就好。2025年9月，OpenAI自己发了篇论文《Why Language Models Hallucinate（语言模型为什么会幻觉）》，把话挑明了：幻觉不是故障，是现在这套训练和评测机制的必然产物。

逻辑用考试一说就懂。一场考试里，蒙对了得分，交白卷零分——最优策略是什么？永远蒙，绝不留空。 大模型就是在几百场这样的"考试"（行业评测）里练出来的：论文统计，被抽查的主流评测十个有九个用"对/错"二元打分，答"我不知道"直接算错。于是模型学会的不是诚实，是像考霸一样自信地蒙。

对老板来说，这个结论有两个直接推论：

推论一：幻觉根除不了。 "等模型再升级升级就没幻觉了"——等不来。打分机制不变，再先进的模型也会编，区别只是编的频率和逼真度。

推论二：越问你公司的事，它编得越欢。 通用大模型的训练数据里有全网的公开知识，但没有你的产品型号、报价规则、库存交期。这些它答不上来的题，恰恰是企业场景里天天要问的题——而它绝不交白卷。所以"网页版聊着很聪明"和"接进业务能放心用"，中间隔着的正是这道坎。

---

根除不了，怎么还敢用在企业里？——给AI装四道护栏

答案跟上一篇管泄密一样：不是"用不用"的问题，是"怎么用"的问题。生产级系统里，防幻觉是一套成熟的工程动作，四道护栏：

第一道：场景分级——先分清哪里容得下错。

第二道：开卷考试——知识库（RAG）加引用溯源。

讲Agent那一篇说过，RAG就是给AI配一个你公司的资料库。闭卷考试逼它编，开卷让它翻着你的资料答题，而且每句答案标注出处，点开就能核对原文；资料里没有的，它老实说查不到。

第三道：关键数字不让AI算。

价格、库存、交期这类数字，从业务系统里查、用规则引擎算，AI只负责把结果说成人话。AI管说话，系统管数字——报价单上的数字不是AI"想"出来的，是查出来、算出来的，这条路径上没有幻觉的位置。

第四道：教它认怂——拿不准就转人工。

把握不够就说"这个我需要确认"，然后转给人。讲Agent那一篇的"缰绳四件套"里有个"兜底出口"，防的就是这个：宁可慢一步，不瞎答一句。

投入口径不变：单点场景3万起、2-4周上线，四道护栏包含在方案设计里，不是加钱的选配；多场景组合与长期合作另有分期方案。

---

验货：三个问题，加一个"钓鱼测试"

跟前面几篇一样，给你一套当场能用的验货题：

第一问："系统给的答案，能不能标出处？我点开能看到原始资料吗？"

答得出"每条答案带引用、可溯源"的，是按生产标准做的；说"我们的模型很准、不会错"的，他连幻觉这一课都没上过。

第二问："报价单和客户答复里的数字，是AI生成的，还是从我的系统里查出来算的？"

这一问直接决定你会不会成为下一个加航。数字走确定性通道是底线，答不上来的方案不能碰。

第三问："它拿不准的时候会怎样？现场演示一个它答不上来的问题看看。"

合格的系统会认怂、会转人工；只会吹"什么都能答"的，什么都敢编。

三问之外送个杀手锏——钓鱼测试：演示的时候，故意问一个不存在的东西。编一个假型号（"XR-9000这款的参数是多少"）、问一条没有的政策。会编的系统当场现形；合格的系统会说"没查到这个型号"。这个思路来自安全行业——AI工程师樊军刚做AI安全研究（获MITRE国际CVE认证）的日常就是变着法让系统露馅，把这招用在验货上，一试一个准。

再往深说一层，为什么对"AI哪里会编"有手感？两个原因。一是用出来的：Cursor+Claude深度使用1年+、累计实战投入超$30,000，天天跟AI的真实脾气打交道——哪类问题它会老实、哪类问题它会硬撑，一线手感骗不了人。二是专业方向就在这：强化学习(RLHF/DPO)研究的正是"用奖励机制教AI什么该答、什么该认怂"——也就是OpenAI那篇论文指出的病根所在的那一层。

---

常见问题

Q：多花钱上最贵的模型，是不是就没幻觉了？

贵的模型编得少，但编得更像真的——频率降了，迷惑性反而更强。钱花在护栏上比花在模型上划算：一套带出处、带兜底的中档模型系统，比裸奔的顶级模型可靠得多。

Q：上了知识库（RAG），是不是就不会编了？

大幅减少，不等于归零。资料库里没有的、资料本身过期的、两份资料互相打架的，AI还是可能自由发挥。所以开卷考试必须配引用溯源和兜底转人工——三件一起上才封得住。

Q：既然AI会胡说，员工拿它查资料、写方案，要不要禁？

不禁，立规矩——跟上一篇管"影子AI"同一个逻辑：你禁，他偷偷用，编的内容照样流进公司文件，还没人把关。正确做法是写进制度：AI给的事实和数字，采用前必须核对原始出处；对外文件的关键信息，谁签字谁负责核。德勤那单要是有这条规矩，就不至于退款又丢脸了。

Q：怎么判断我的场景容不容得下幻觉？

问自己三件事：错了谁先发现——自己人先发现是小事，客户先发现是事故；错一次损失多大——改稿是小钱，错报价是真金白银；内容出不出公司门——出门的都要过人审。三件事过完，每个场景该配几道护栏就清楚了。

---

一句话总结

AI的幻觉不是bug，是"从不交白卷"的天性：根除不了，但管得住——低风险场景放开用，高风险场景开卷考试、数字走系统、拿不准转人工。会编不可怕，可怕的是你以为它不会编。

验货三问加钓鱼测试带上：答案有没有出处？数字哪来的？拿不准会不会认？再当场问它一个不存在的型号——真假护栏，一试便知。