Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG库有哪些

Answer

以下是一些与 RAG 相关的信息：

  • RAGAS 是一个用于 RAG 评估的知名开源库，链接为：https://github.com/explodinggradients/ragas
  • 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在 RAG 过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程：文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（包括将切分好的文档块进行嵌入转换成向量的形式以及将 Embedding 后的向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）。
  • 有关于 PDF 识别对 RAG 影响的实验研究，为实验收集了包含来自各个领域的 188 份文档的数据集，并通过众包收集了 800 个手动生成的问题，筛选后得到 302 个可用于评估的问题，这些问题分为提取信息类和综合分析类，采用不同的评测方法。
Content generated by AI large model, please carefully verify (powered by aily)

References

3. 如何让 LLM 应用性能登峰造极

如果检索到的知识是无效的，会严重影响LLM应用的表现，因此将检索过程的精确度和召回率与整个LLM应用程序分开进行研究尤为重要。如下图所示，需要建立一个评估框架，将检索性能与整个LLM应用程序隔离开来。所以这里需要既需要从模型角度出发评估生成结果的质量，也需要从检索的角度出发，用精确度和召回率评估检索，并评估整个系统。模型角度（generation）回答真实性：模型结果真实性多高（少一些模型幻觉）回答相关度：结果和问题有多相关，不能南辕北辙检索角度（retrieval)召回率（recall)：相关信息有多少包含在返回的检索内容里，越全越好准确率（precision）：返回的检索内容中有用信息占比多少，越多越好RAGAS是一个用于RAG评估的知名开源库，推荐使用：[https://github.com/explodinggradients/ragas](https://github.com/explodinggradients/ragas)

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片

通过增强PDF结构识别，革新检索增强生成技术(RAG)

我们为实验收集了一个非常接近真实环境的数据集，它包含来自各个领域的188份文档。具体而言，该数据集包括100篇学术论文、28份财务报告和60份其他类别的文档，如教科书、课件和立法材料。然后，我们通过众包收集了800个手动生成的问题。经过仔细筛选后，我们删除了低质量的问题，得到了302个可用于评估的问题。这些问题分为两类（如表2所示）：表2数据集中的问题被分类为提取信息类和综合分析类，采用不同的评测方法。提取信息类问题（Extractive questions）是指可以直接从文档摘录回答的问题。由于这类问题需要特定的信息，因此通常需要精确的答案。我们发现，在使用大语言模型进行评估时，它可能无法区分答案之间微妙但重要的差异，因此我们采取人工评估。我们使用0-10的量表对结果进行评级。评估人员会同时看到两种方法检索的内容和答案，并同时对两种方法进行评级。我们给出了检索到的内容，因为通常无法在没有文档内容的情况下评估答案，并同时展示了两种方法以便详细对比，特别是在部分正确的结果上。

Others are asking
rag
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。
2025-04-15
rag介绍
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
详细讲解一下ragflow框架，同时对比一下ragflow与常规知识库有什么优势，在graphrag的实现方面ragflow又是怎么做的？
RAG（检索增强生成）是一种有效的解决方案，下面为您详细讲解： RAG 工作流程： 1. 检索（Retrieval）：如同在图书馆中，系统会从知识库或文档集合中找出与用户问题相关的内容。 2. 增强（Augmented）：对检索到的信息进行筛选和优化，挑出最相关和有用的部分。 3. 生成（Generation）：将整合的信息生成自然流畅、易于理解的回答。 RAG 类似于一个超级智能的图书馆员，综合起来： 1. 检索：从庞大知识库中找到相关信息。 2. 增强：筛选优化确保找到最相关部分。 3. 生成：整合信息给出连贯回答。 RAG 的优势： 1. 成本效益：相比训练和维护大型专有模型，实现成本更低。 2. 灵活性：能利用多种数据源，包括结构化和非结构化数据，迅速适应不同领域和变化的数据。 3. 可扩展性：随时增加或更新知识库内容，无需重新训练模型。 RAG 与常规知识库的对比优势： 常规知识库可能存在知识更新不及时、数据来源单一等问题。而 RAG 能够从多种数据源获取信息，并且可以根据用户的实时需求进行检索和优化，生成更贴合需求的回答。 在 GraphRAG 的实现方面，目前提供的内容中未明确提及相关具体实现方式。 同时需要注意的是，RAG 也存在一些缺点，比如相比于专有模型的方案，回答准确性可能不够。
2025-03-28
构建知识库有什么要注意的？
构建知识库时需要注意以下几点： 1. 在使用在线检索流程生成结果时： 重排序的结果通常因大模型上下文有限制而不会都被使用，可以设置阈值进行截断，如只使用前 3 5 个文档，或只取相关性分数大于某个值的文档。 一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限空间内包含更多相关信息。 2. 对于后置处理，可能包括敏感内容检测和移除、格式化输出等。 3. 创建智能体的知识库时： 手动清洗数据可提高准确性，如创建画小二课程的 FAQ 知识库时，飞书在线文档中每个问题和答案以分割。 对于本地文档，不能一股脑全部放进去训练，应先放入大的章节名称内容，再按固定方式细化处理。 4. 使用 Coze 搭建知识库时： 文档的分片策略会严重影响查询结果，RAG 方案存在跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等问题。 希望以上内容对您有所帮助。
2025-03-25
知识库有没有相关文档，教怎么做创意积累的？
以下是关于创意积累的相关内容： 在日常浏览、参观场馆时积累描述词，也可参加关键词学社增加认知。 经常参加 AI 绘画的 prompt battle 活动有助于内容创作相关的积累，该活动每周六和周日晚上进行，有 10 分钟创作、2 分钟评选的规则，还有多种主题，现在高校之间可组织此类活动，还有早晨版活动。 某板块收录 made journey 相关内容，这有助于开拓视野，如同 read in prompt out 的过程，需先获取知识再与大语言对话。这里收录了很多有意思的词用于与 AI 对话看效果，还举了如粉色可用空灵粉表示、宋徽宗相关提示词可用于创意等例子。 关键词学设每天有比赛或提示词，很多同学参与共创知识库。学设的微信群难管理已转至飞书群，感兴趣的同学可加入。此外还收集了 AI 视频类词汇，还有类似官方提示工坊的内容可供体验。 社区为学习者提供清晰的学习路径，从 AI 基础知识到进阶技术，逐步培养他们成为创作者和引领者。学习者通过社区内丰富的课程、活动和竞赛不断提升自己，逐步积累能力。 社区中有最全最新的提示词教程和创意。
2025-03-25
AGI网站和飞书知识库有什么区别
AGI 网站和飞书知识库存在以下区别： 1. 功能方面： AGI 网站提供和 AI 知识库对话、集合精选的 AI 网站、集合精选的提示词、呈现知识库精选内容等功能。 飞书知识库则更像是一个知识的存储和分享平台，包含 AI 工具的说明书、经验分享、实用秘籍等。 2. 使用方式： AGI 网站可以通过在网站首页直接输入问题得到回答，也可以加入飞书群@机器人。 飞书知识库通过点击飞书链接进入。 3. 内容呈现： AGI 网站的界面有左边的导航栏、上面的搜索框和中间的内容区。 飞书知识库的内容呈现方式类似于藏宝图。 总之，AGI 网站和飞书知识库各自独立但又相互关联，都是为了帮助用户更好地学习和获取 AI 相关知识。
2025-02-25
WaytoAGI 知识库有什么应用场景
WaytoAGI 知识库具有以下应用场景： 1. 在飞书 5000 人大群中，内置了智能机器人“waytoAGI 知识库智能问答”，可根据文档及知识进行回答。使用时在飞书群里发起话题时即可，它能自动回答用户关于 AGI 知识库内的问题，对多文档进行总结、提炼；在内置的“waytoAGI”知识库中搜索特定信息和数据，快速返回相关内容；提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解；通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念；分享有关 AGI 领域的最新研究成果、新闻和趋势；促进群内讨论，提问和回答，增强社区的互动性和参与度；提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接；支持多语言问答，满足不同背景用户的需求。 2. WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库，目前知识库的内容覆盖：AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践。 3. WaytoAGI 里有个离谱村，是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易，更感兴趣。参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。离谱村是一个没有被定义的地方，每个人心中都有自己想象中的离谱村，不仅代表着一个物理空间，更是灵魂的避风港，激励着每一个生命体发挥其无限的想象力，创造属于自己的独特生活方式。
2025-02-24
与dify类似的知识库有那些？哪个更适合商用？
以下是一些与 Dify 类似的知识库： 1. Notion：功能强大，支持多种格式和复杂的结构，适用于各种类型的知识管理。 2. Confluence：常用于团队协作和企业知识共享。 3. Evernote：方便记录和整理各种类型的信息。 至于哪个更适合商用，这取决于具体的需求和使用场景。如果对可视化的知识库管理工具、简单易用且能快速集成到应用中有较高需求，Dify 是不错的选择。Notion 则在灵活性和扩展性方面表现出色，适合对知识结构有复杂要求的商业场景。Confluence 更侧重于团队协作和企业级的知识共享。 使用 Dify 构建知识库的具体步骤如下： 1. 准备数据：收集需要纳入知识库的文本数据，包括文档、表格等格式。对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集：在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集。为数据集编写良好的描述，描述清楚数据集包含的内容和特点。 3. 配置索引方式：Dify 提供了三种索引方式供选择，包括高质量模式、经济模式和 Q&A 分段模式。根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。 4. 集成至应用：将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用。在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。 5. 持续优化：收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。定期更新知识库，增加新的内容以保持知识库的时效性。 Dify 有两种使用方式： 1. 云服务版本。直接在官网 dify.ai 上注册账号使用。 2. 部署社区版。开源，可商用，但是不能作为多租户服务使用。对个人使用完全无限制。 部署前提条件：2 核 4G 云服务器一台（约 159 元）。
2025-02-22