向量检索在大语言模型中的应用主要是为了解决以下问题：
LangChain是一个专注于大模型应用开发的平台，它提供了一系列的组件和工具，帮助你轻松地构建RAG应用。LangChain提供了以下的组件来帮助你构建RAG应用：数据加载器（DocumentLoader）：数据加载器是一个对象，可以从一个数据源加载数据，并将其转换为文档（Document）对象。一个文档对象包含两个属性：page_content（str）和metadata（dict）。page_content是文档的文本内容，metadata是文档的元数据，例如标题、作者、日期等。文本分割器（DocumentSplitter）：文本分割器是一个对象，可以将一个文档对象分割成多个较小的文档对象。这样做的目的是为了方便后续的检索和生成，因为大模型的输入窗口是有限的，而且在较短的文本中更容易找到相关的信息。文本嵌入器（Embeddings）：文本嵌入器是一个对象，可以将文本转换为嵌入（Embedding），即一个高维的向量。文本嵌入可以用来衡量文本之间的相似度，从而实现检索的功能。向量存储器（VectorStore）：向量存储器是一个对象，可以存储和查询嵌入。向量存储器通常使用一些索引技术，例如Faiss或Annoy，来加速嵌入的检索。检索器（Retriever）：检索器是一个对象，可以根据一个文本查询返回相关的文档对象。检索器的一种常见实现是向量存储器检索器（VectorStoreRetriever），它使用向量存储器的相似度搜索功能来实现检索。聊天模型（ChatModel）：聊天模型是一个对象，可以根据一个输入序列生成一个输出消息。聊天模型通常基于大模型，例如GPT-3，来实现文本生成的功能。使用LangChain构建RAG应用的一般流程如下：
最常用的向量存储正如前面提到的,检索是大语言模型应用程序的重要组成部分。向量存储正在成为检索相关上下文的主要方式。在LangChain中,我们与60多个向量存储集成——最常用的有哪些呢?我们看到本地向量存储是使用量最大的,其中Chroma、FAISS、Qdrant和DocArray均进入前5名。如果根据用户数量来计算,那么使用量最大的自然就是本地的免费向量存储。在托管的提供商中,Pinecone是唯一进入前5名的托管向量存储。Weaviate紧随其后,这表明原生向量数据库目前使用得比后添加向量功能的数据库更多。在那些添加了向量功能的数据库中,我们看到领先的是Postgres(PGVector)、Supabase、Neo4j、Redis、Azure Search和Astra DB。需要注意的是,这些排名基于使用给定提供商的用户数量。[heading1]最常用的嵌入[content]最常用的嵌入为了使用向量存储,您需要为文本片段计算嵌入。那么开发人员是如何做到这一点的呢?与大语言模型类似,OpenAI占据主导地位——但之后我们看到了更多样化。开源提供商使用得更多一些,其中Hugging Face位居第二,GPT4All和Ollama也进入前8名。在托管提供商方面,我们看到Vertex AI实际上超过了AzureOpenAI,Cohere和Amazon Bedrock也不遑多让。
LangChain是一个专注于大模型应用开发的平台，它提供了一系列的组件和工具，帮助你轻松地构建RAG应用。LangChain提供了以下的组件来帮助你构建RAG应用：数据加载器（DocumentLoader）：数据加载器是一个对象，可以从一个数据源加载数据，并将其转换为文档（Document）对象。一个文档对象包含两个属性：page_content（str）和metadata（dict）。page_content是文档的文本内容，metadata是文档的元数据，例如标题、作者、日期等。文本分割器（DocumentSplitter）：文本分割器是一个对象，可以将一个文档对象分割成多个较小的文档对象。这样做的目的是为了方便后续的检索和生成，因为大模型的输入窗口是有限的，而且在较短的文本中更容易找到相关的信息。文本嵌入器（Embeddings）：文本嵌入器是一个对象，可以将文本转换为嵌入（Embedding），即一个高维的向量。文本嵌入可以用来衡量文本之间的相似度，从而实现检索的功能。向量存储器（VectorStore()）：向量存储器是一个对象，可以存储和查询嵌入。向量存储器通常使用一些索引技术，例如Faiss()或Annoy，来加速嵌入的检索。检索器（Retriever）：检索器是一个对象，可以根据一个文本查询返回相关的文档对象。检索器的一种常见实现是向量存储器检索器（VectorStoreRetriever），它使用向量存储器的相似度搜索功能来实现检索。聊天模型（ChatModel）：聊天模型是一个对象，可以根据一个输入序列生成一个输出消息。聊天模型通常基于大模型，例如GPT-3，来实现文本生成的功能。使用LangChain构建RAG应用的一般流程如下：