
AI 幻觉监测:当 ChatGPT 一本正经地说错你的品牌
大模型会自信地编造价格、功能甚至创始人。如何发现 AI 对品牌的幻觉陈述——以及我们用来验证幻觉的多模型投票方法。
AI 幻觉监测(AI hallucination monitoring),是系统性地核查大模型对你品牌的各种陈述——价格、功能、供货情况、公司历史——并抓出其中错误说法的实践。它之所以重要,是因为 AI 助手犯错时不会打招呼:ChatGPT 会用陈述真实事实时一模一样的语气,报出一个早已下线的套餐价格、编造一个你从未做过的集成、把你的公司安在错误的创始人名下。可见性工具告诉你「有没有出现」在 AI 回答里,但几乎没有工具告诉你 AI 说的「对不对」。这篇文章讲清楚:真实扫描数据里的品牌幻觉长什么样、为什么会发生,以及我们用来规模化检测幻觉的多模型投票方法。
什么是品牌幻觉?
品牌幻觉是 AI 助手对某个品牌做出的、听起来言之凿凿、但与品牌自身当前权威信息相矛盾的陈述。
这个定义有两个关键边界。一是「言之凿凿」:模型不会标注不确定性,用户完全无从判断被报出的 $29/月套餐其实一年前就停售了。二是「当前」:大多数品牌幻觉不是凭空捏造,而是把 2024 年的真实信息当成今天的现状来讲。过时的真相,以现在时态说出来,同样是幻觉。
真实扫描数据里的幻觉
我们每周发布基于真实多模型扫描的公开 GEO 审计,错误率始终高于大家的直觉。在 2026 年 7 月的审计中,Framer 的提及有 17.6%、Beehiiv 的提及有 21.6% 被标记为与引用来源可能不符——大约每五次品牌提及,就有一次带着经不起核对的陈述。
跨扫描来看,错误集中在三种模式:
- 价格漂移——最常见。套餐改名、调价、下线之后,模型还会连续几个月报旧数字。
- 功能编造——模型从品类里做模式匹配:你所在品类的多数工具都有 API,模型就可能笃定地说你也有。
- 身份混淆——创始人、融资、公司历史被和名字相近的公司、或经常同文出现的竞品接错线。
为什么会发生
三个机制,全是结构性的:
- 训练截止 vs 你的产品迭代。 参数记忆冻结在训练时点。之后你上线、调价、砍掉的一切,除非检索补位,模型一概不知。
- 检索会走偏。 就算模型去搜了网页,也可能落在一篇过时评测、一个爬来的比价站、或竞品的对比页上。引用看着权威,事实却是错的。
- 可信度让位于可能性。 大模型生成的是「最可能」的答案,不是「最经核实」的答案。对于报道不多的中型品牌,统计上最可能的答案往往是从品类插值出来的——编造的功能就是这么来的。
规模化检测:多模型投票
几千条 AI 回答不可能人工核对,单个模型也当不了自己的裁判。我们的方法——也就是 SeenForAI 里 answerAccuracy 指标背后的方法——让模型互相制衡:
- 同一条 prompt 跑多个模型。 每次扫描把每条买家式 prompt 同时发给最多 7 个模型(ChatGPT、Claude、Gemini、Perplexity、豆包、Kimi、DeepSeek)。
- 对一致性投票。 每条 prompt 计算一致率:提及该品牌的模型数 ÷ 成功返回的模型数。失败的 run 不进分母——报错的模型既不算同意也不算反对。
- 裁判冲突。 回答出现分歧时,由独立的裁判模型审阅冲突陈述并给出严重度:none / low / medium / high。措辞不同没关系;价格、功能、供货这类事实不同才是问题。
- 保守标记。 冲突被判为 medium 或 high 时,该 prompt 下所有品牌提及都被标记为疑似幻觉——包括答对的那些。一条事实有争议的 prompt,就是一条你需要亲自看的 prompt。
在此之上,回答准确率是一个简单、可复核的公式:
answerAccuracy = (品牌提及数 − 被标记提及数) / 品牌提及数 × 100
幻觉率 = 100 − answerAccuracy我们公开这个公式,就是为了让你能审计它。一个无法被检查的幻觉指标,本身就是又一个「言之凿凿的陈述」。
发现幻觉之后怎么办
纠正幻觉,本质是纠正模型检索到的来源:
- 先修自己的域名。 一个带日期的权威价格页、一个大白话的事实/FAQ 页,是你能控制的最便宜的权威信源。只要存在,模型就会引用。
- Wikipedia 和 Wikidata。 创始人、融资、历史类错误,模型最信这两处。用可靠来源去改,别用营销话术。
- llms.txt。 发布一份机器可读的产品与价格摘要,用最低成本把标准答案递到爬虫手里。
- 第三方信息源。 G2、Crunchbase、品类目录持续喂给检索层。过时的条目就是幻觉燃料。
- 重新扫描验证。 修正不是发布完就结束,而是模型不再重复错误才算结束。监测负责闭环。
想了解更完整的度量框架——声量份额、情感、引用与准确率并列——见《衡量你的品牌在 LLM 中的表现》和完整的 GEO 指南。
常见问题
什么是品牌幻觉? AI 助手对品牌做出的、听起来言之凿凿但与品牌当前权威信息相矛盾的陈述——价格、功能、供货或历史。
AI 对品牌的幻觉有多常见? 2026 年 7 月我们的公开审计中,Framer 提及的 17.6%、Beehiiv 提及的 21.6% 被标记为与引用来源可能不符——约五分之一。
如何规模化检测品牌幻觉? 同一组 prompt 跑多个模型、对比回答,由裁判模型判定分歧是否是严重事实冲突。单模型没法当自己的裁判。
能阻止大模型对你的品牌产生幻觉吗? 改不了模型,但能修它的信源:权威价格页、Wikipedia、llms.txt、最新的第三方条目。模型持续重新检索,修正几周内可见效。
幻觉监测和 AI 品牌监测是一回事吗? 不是。品牌监测量「有没有出现、如何被定性」;幻觉监测查「说的对不对」——后者正是多数可见性工具跳过的部分。
查一查 AI 现在怎么说你
五次提及里错一次,不是小概率尾部风险,而是基准水位。用免费 AI 可见性检测看看 ChatGPT、DeepSeek、Kimi、豆包今天如何描述你的品牌;需要 7 个模型的持续幻觉监测,见价格页。
延伸阅读
更多文章

查询扇出:决定你 AI 可见性的隐藏层
当用户向 ChatGPT 或 Gemini 提一个问题时,模型在幕后会悄悄跑 8-15 个子查询。你的品牌是否出现在这些隐藏搜索里,才真正决定了你在 AI 中的可见性。

衡量你的品牌在 LLM 中的表现:SoV、情感与引用
四个关键指标,告诉你 LLM 究竟如何描述你的品牌——以及数字出乎意料时该怎么办。

2026 GEO 现状:塑造品牌 AI 可见性的 6 个行业转向
一年前,「监测我的品牌在 ChatGPT 里」还是一个小众请求。2026 年,它已经是一条预算项。下面是定义了 GEO 这一年的 6 个转向。
产品通讯
持续掌握更新
订阅获取 SeenForAI 版本发布与工作流技巧。