RAG（Retrieval-Augmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。
对于大语言模型（LLM）来说，存在一些缺点，如无法记住所有知识，尤其是长尾知识；知识容易过时且不好更新；输出难以解释和验证；容易泄露隐私训练数据；规模大，训练和运行成本高。
而 RAG 具有以下优点：
RAG 允许模型到搜索引擎上搜索问题相关资料，并综合自身知识体系进行回复。但 RAG 的检索环节并非简单操作，还涉及传统搜索的逻辑，如输入问题的纠错、补充、拆分以及搜索内容的权重逻辑等。例如，对于错误表述“中国界世杯夺冠那年的啤酒销量如何”，会先纠错为“中国世界杯夺冠那年的啤酒销量如何”，然后拆分问题进行综合搜索，再将搜索到的资料交给大模型总结输出。
大语言模型技术存在输出结果不可预测、知识有局限性、存在幻觉问题、数据安全性等问题，而 RAG 是解决这些问题的有效方案，它能让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制文本输出，且用户能深入了解 LLM 生成最终结果的过程。并且，RAG 可与微调结合使用，适用于模型回答特定询问或解决特定信息检索任务，但不适合教模型理解广泛领域或学习新的语言、格式或样式。
RAG（Retrieval-Augmented Generation），即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，它旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。简单来说，就是通过检索的模式，为大语言模型的生成提供帮助，从而使大模型生成的答案更符合要求。[heading2]为什么LLM需要RAG？[content]众所周知，大模型已经在很多领域和问题下都取得了很好的效果，那为什么还需要RAG进行检索优化呢？[heading3]LLM的缺点[content]1.LLM无法记住所有知识，尤其是长尾的。受限于训练数据、现有的学习方式，对长尾知识的接受能力并不是很高；长尾数据是指数据集中某些类别数量较少，而其他类别样本数较多的不平衡“长尾”状态。例如在自然语言处理中，一些少见的词汇出现频率很低，而常见的词汇出现频率很高。2.LLM的知识容易过时，而且不好更新。只是通过微调，模型的接受能力其实并不高而且很慢，甚至有丢失原有知识的风险；3.LLM的输出难以解释和验证。一方面最终的输出的内容黑盒且不可控，另一方面最终的结果输出可能会受到幻觉之类的问题的干扰；4.LLM容易泄露隐私训练数据。用用户个人信息训练模型，会让模型可以通过诱导泄露用户的隐私；5.LLM的规模大，训练和运行的成本都很大。[heading3]RAG的优点[content]1.数据库对数据的存储和更新是稳定的，不像模型会存在学不会的风险。2.数据库的数据更新可以做得很敏捷，增删改查可解释，而且对原有的知识不会有影响。3.数据库的内容是明确、结构化的，加上模型本身的理解能力，一般而言数据库中的内容以及检索算法不出错，大模型的输出出错的可能就大大降低。4.知识库中存储用户数据，为用户隐私数据的管控带来很大的便利，而且可控、稳定、准确。5.数据库维护起来，可以降低大模型的训练成本，毕竟新知识存储在数据库即可，不用频繁更新模型，尤其是不用因为知识的更新而训练模型。
rag，也就是Retrieval-augmented-Generation，检索增强技术，应该也是大家经常看到的一个名词了。那么他到底是个什么东西呢？首先我们先回顾llm的原理，其实就是把一堆互联网文献材料，降维到latentspace中，并通过transformer的方式用学习到了其中的“经验”。但文献资料是死的，如果仅通过固定的资料去回答问题，势必会出现一些无法回答的问题。那么rag的出现就解决了这个问题，rag允许模型可以到搜索引擎上去搜索问题相关的资料，并将获取到的信息，综合自己的知识体系内容，综合进行回复。当然rag不全是这些，rag的r，也就是搜索，其实不是一件简单的事情。所以这个环节还会有些传统的搜索的逻辑在，比如对于输入问题的纠错，补充，拆分，以及对于搜索内容的权重逻辑等等的事情。打个比方，比如问中国界世杯夺冠那年的啤酒销量如何，那就首先会做一次纠错，把“界世”纠错为“世界”，然后把问题拆分为两个问题，然后综合去搜索，把搜索到的资料在给到大模型，让其进行总结性输出[heading3]3.大模型的涌现[content]这个可能有些同学不怎么听过这个词，但这个是大模型里，我认为最核心的个概念。因为其实经上面的原理讲解，其实大家不难发现，这与目前大模型所表现出来的，仍然对不上啊。为什么只是在计算相关性和概率，就能让大模型表现出难以解释的表达？所以这就是涌现…也就是科学家们认为，当训练的数据到了一定程度后，模型的能力会涌现出很多难以用逻辑去解释的现象。说实话在我看来，因为本身模型的学习就是在一个降维的latentspace中进行的，那我们尝试去用三维世界中的if-else去解释其行为，似乎本身也不靠谱不是么。不过现在倒也有一些论文使用跟踪标注等的的方式来尝试解释大模型内部的行为，这个看看就好了
大语言模型技术的本质导致了大模型的输出结果具有不可预测性，此外，静态的训练数据导致了大模型所掌握的知识存在截止日期，无法即时掌握最新信息。因此，当我们将大模型应用于实际业务场景时会发现，通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因：知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是抓取网络公开的数据用于训练，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙。因此大模型存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解LLM如何生成最终的结果。并且，RAG可以和微调结合使用，两者并不冲突。RAG类似于为模型提供教科书，允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而，RAG不适合教模型来理解广泛的领域或学习新的语言，格式或样式。