RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。
对于大语言模型（LLM）来说，存在一些缺点，如无法记住所有知识，尤其是长尾知识；知识容易过时且不好更新；输出难以解释和验证；容易泄露隐私训练数据；规模大，训练和运行成本高。
而 RAG 具有以下优点：
1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。
2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。
3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。
4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。
5. 数据库维护可降低大模型的训练成本。
RAG 允许模型到搜索引擎上搜索问题相关资料，并综合自身知识体系进行回复。但 RAG 的检索环节并非简单操作，还涉及传统搜索的逻辑，如输入问题的纠错、补充、拆分以及搜索内容的权重逻辑等。例如，对于错误表述“中国界世杯夺冠那年的啤酒销量如何”，会先纠错为“中国世界杯夺冠那年的啤酒销量如何”，然后拆分问题进行综合搜索，再将搜索到的资料交给大模型总结输出。
大语言模型技术存在输出结果不可预测、知识有局限性、存在幻觉问题、数据安全性等问题，而 RAG 是解决这些问题的有效方案，它能让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制文本输出，且用户能深入了解 LLM 生成最终结果的过程。并且，RAG 可与微调结合使用，适用于模型回答特定询问或解决特定信息检索任务，但不适合教模型理解广泛领域或学习新的语言、格式或样式。
2025-02-12