什么是大模型的「幻觉」（Hallucination）问题？可能的原因是什么？

幻觉指模型生成的文本看起来合理通顺，但包含事实性错误、凭空编造、与给定上下文矛盾的内容

幻觉类型：

• 内在幻觉：生成内容自相矛盾（同一段话中先说是A，后说是B）
• 外在幻觉：生成内容与事实不符（编造不存在的论文/人物/事件）

可能原因：

• 训练数据偏差：训练语料中存在错误、过时信息，模型学到了这些不准确的知识
• 最大似然训练限制：基于概率采样，旨在生成「最可能的token序列」而非「最真实的token序列」
• 解码策略：Top-p、Temperature等采样策略在创造性与准确性间存在权衡
• 知识边界不清：模型不知道「自己不知道什么」，遇到不确定时倾向于「编造」而非「承认不知道」
• 长程推理的误差累积：多步骤推理中早期步骤的微小错误在后续步骤中被放大

缓解方案：RAG（外部知识检索）、事实性校验、RLHF（人类反馈）、解码约束（DoLa、Grounded Decoding）