在大型语言模型(LLM)中,幻觉通常指模型生成不忠实、捏造、不一致或无意义的内容。幻觉主要分为两种类型:
1. 上下文内幻觉:模型输出应与上下文中的源内容一致。
2. 外部幻觉:模型输出应基于预训练数据集,与预训练数据中的知识相符。由于预训练数据集规模庞大,每次生成都去检索和识别冲突成本太高。若将预训练数据语料库视为世界知识的代表,应努力确保模型输出是事实的,且在不知答案时明确表示。
为避免幻觉,LLM 需做到:
1. 输出符合事实的内容。
2. 适用时承认不知道答案。
在 LLM 驱动的自主 Agents 中,启发式函数可决定轨迹是否低效或包含幻觉。低效规划指花费过长时间未成功的轨迹,幻觉指遇到一系列连续相同动作导致环境中出现相同观察。自我反思可通过向 LLM 展示示例创建,并添加到 Agents 的工作记忆中。在 AlfWorld 中,幻觉比低效规划更常见。
对于处理 ChatGPT 的“幻觉”,有以下经验:
1. 明确告诉它想要准确答案,无幻觉。
2. 改变 temperature 参数(如改到 0)或控制创造力水平。
3. 得到答案后,要求它为每个引用产生精确的引用和页面,以便交叉检查。
2025-01-22