搭建 RAG 主要包括以下步骤：
|导入依赖库加载所需的库和模块。其中，feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型，使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容，这里只是给了一个url，如果需要接收多个url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里，我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型，它具有以下特点：支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（M ulti-Lingual）最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（M ulti-Granularity）同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（M ulti-Functionality）从hf下载好模型之后，假设放置在某个路径/path/to/bge-m3，通过下面函数，利用FAISS创建一个高效的向量存储。|实现RAG
因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理
LangChain是一个专注于大模型应用开发的平台，它提供了一系列的组件和工具，帮助你轻松地构建RAG应用。LangChain提供了以下的组件来帮助你构建RAG应用：数据加载器（DocumentLoader）：数据加载器是一个对象，可以从一个数据源加载数据，并将其转换为文档（Document）对象。一个文档对象包含两个属性：page_content（str）和metadata（dict）。page_content是文档的文本内容，metadata是文档的元数据，例如标题、作者、日期等。文本分割器（DocumentSplitter）：文本分割器是一个对象，可以将一个文档对象分割成多个较小的文档对象。这样做的目的是为了方便后续的检索和生成，因为大模型的输入窗口是有限的，而且在较短的文本中更容易找到相关的信息。文本嵌入器（Embeddings）：文本嵌入器是一个对象，可以将文本转换为嵌入（Embedding），即一个高维的向量。文本嵌入可以用来衡量文本之间的相似度，从而实现检索的功能。向量存储器（VectorStore()）：向量存储器是一个对象，可以存储和查询嵌入。向量存储器通常使用一些索引技术，例如Faiss()或Annoy，来加速嵌入的检索。检索器（Retriever）：检索器是一个对象，可以根据一个文本查询返回相关的文档对象。检索器的一种常见实现是向量存储器检索器（VectorStoreRetriever），它使用向量存储器的相似度搜索功能来实现检索。聊天模型（ChatModel）：聊天模型是一个对象，可以根据一个输入序列生成一个输出消息。聊天模型通常基于大模型，例如GPT-3，来实现文本生成的功能。使用LangChain构建RAG应用的一般流程如下：