与知识库对话

以下是关于大模型流程的详细说明： RAG（Retrieval Augmented Generation，检索增强生成）技术应用于利用大模型能力搭建知识库，其流程主要包括以下 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割（Splitting）：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：将切分好的文档块进行嵌入（Embedding）转换成向量的形式。将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出（Output）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。从用户提出问题开始，还经历了以下流程： 1. 用户问题的理解。 2. 根据用户问题进行路由。 3. 进行初步的检索。 4. 对初步检索的结果进行重排序。 5. 将重排序后的结果和用户的查询意图组合成上下文输入给大模型。 6. 大模型通过指定的提示词生成输出结果。需要注意的是，重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制。可以设置一个阈值进行截断，比如只使用前 3 5 个文档；也可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档。一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。在大模型输出结果后还有后置处理，可能包括敏感内容检测和移除、格式化输出等。 LLM 的工作原理可以这样理解：以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对这句话加入更多的信息来补充，比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个 Attention 层进行补充。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。总结起来就是大模型以词向量和 Transformer 的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这就像人脑在阅读学习的过程，记忆的不是点状的知识，而是网状的经验。