大模型「幻觉」有解药了？药方请查收——｜云启嗑普

云启资本·2023年11月23日

要对症下药，先弄清「病理」。

在NLP（自然语言处理）之外的一般背景下，幻觉（Hallucination）被心理学定义为**「一种感觉真实的虚假感知」**。通常情况下，我们认为「幻觉」会带来麻烦。

LLM的幻觉，确实是现在AI公司正全力试图解决的问题之一。从根源上说，「幻觉」的来源，是GPT在进行问题相关的「证据」搜索中，因为不能准确区分不同来源、不统一甚至相互矛盾的答案，从而产生疑惑，自行将不同答案的段落进行拼接。也就是说，模型生成的内容，与现实世界的真实情况或者用户输入并不一致。

但它「难以控制」的特性，也正在为创业公司制造新机会。在之前有关AIGC+Game的文章中，我们列举了使用大模型幻觉开发出的新颖玩法、以及它给用户带来的新体验。

要想进一步控制「幻觉」，我们需要更清晰地弄明白它的具体原理。近日，哈工大和华为联合发表了一篇49页大模型幻觉综述，在网上引起了众多讨论。本期**「云启磕普」**带你一起探秘大模型幻觉的定义、分类、原因和解决方法。

以下内容转载自量子位

这篇来自哈工大和华为的最新「大模型幻觉综述」在网上引起众多讨论。

具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、忠实性幻觉两大类。

此外，它还总结了模型产生幻觉的三大来源：数据源、训练过程和推理，并给出了对应的减轻幻觉策略。

一图预览如下↓

幻觉作为大模型的一种"通病"，找到了病根，也好对症下药。

北大数学教授董彬也曾讲，作为研究者，自己其实是比较喜欢大模型幻觉的：

因为幻觉和创造/创新其实只有一线之隔。

那么这篇综述具体如何解剖大模型幻觉现象？一起来看看。

大模型的幻觉「病理」

大模型出现幻觉，简而言之就是"胡说八道"。

用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。

正如上文提到的，研究人员将大模型的幻觉分为事实性幻觉（Factuality Hallucination）和忠实性幻觉（Faithfulness Hallucination）。

左，事实性幻觉；右，忠实性幻觉

事实性幻觉，是指模型生成的内容与可验证的现实世界事实不一致。

比如问模型"第一个在月球上行走的人是谁？"，模型回复"Charles Lindbergh在1951年月球先驱任务中第一个登上月球"。实际上，第一个登上月球的人是Neil Armstrong。

事实性幻觉又可以分为事实不一致（与现实世界信息相矛盾）和事实捏造（压根没有，无法根据现实信息验证）。

忠实性幻觉，则是指模型生成的内容与用户的指令或上下文不一致。

比如让模型总结今年10月的新闻，结果模型却在说2006年10月的事。

忠实性幻觉也可以细分，分为指令不一致（输出偏离用户指令）、上下文不一致（输出与上下文信息不符）、逻辑不一致三类（推理步骤以及与最终答案之间的不一致）。

那么致使大模型产生幻觉的原因都有哪些？

首先"病从口入"，大模型的粮食数据，是致使它产生幻觉的一大原因。

这其中就包括数据缺陷、数据中捕获的事实知识的利用率较低。

具体来说，数据缺陷分为错误信息和偏见（重复偏见、社会偏见），此外大模型也有知识边界，所以存在领域知识缺陷和过时的事实知识。

即便大模型吃掉了大量数据，也会在利用时出现问题。

大模型可能会过度依赖训练数据中的一些模式，如位置接近性、共现统计数据和相关文档计数，从而导致幻觉。比如说，如果训练数据中频繁共现"加拿大"和"多伦多"，那么大模型可能会错误地将多伦多识别为加拿大的首都。

此外，大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况。

除了数据，训练过程也会使大模型产生幻觉。

主要是预训练阶段（大模型学习通用表示并获取世界知识）、对齐阶段（微调大模型使其更好地与人类偏好一致）两个阶段产生问题。

预训练阶段可能会存在：

架构缺陷。基于前一个token预测下一个token，这种单向建模阻碍了模型捕获复杂的上下文关系的能力；自注意力模块存在缺陷，随着token长度增加，不同位置的注意力被稀释。
曝露偏差。训练策略也有缺陷，模型推理时依赖于自己生成的token进行后续预测，模型生成的错误token会在整个后续token中产生级联错误。

对齐阶段可能会存在：

能力错位。大模型内在能力与标注数据中描述的功能之间可能存在错位。当对齐数据需求超出这些预定义的能力边界时，大模型会被训练来生成超出其自身知识边界的内容，从而放大幻觉的风险。
信念错位。基于RLHF等的微调，使大模型的输出更符合人类偏好，但有时模型会倾向于迎合人类偏好，从而牺牲信息真实性。

大模型产生幻觉的第三个关键因素是推理，存在两个问题：