Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG是什么

Answer

RAG 是检索增强生成技术（Retrieval-Augmented Generation）。关于 RAG 的详细研究和应用，您可以参考以下文献：

  1. Alibaba Group Holding Limited. Fiscal year annual report 2023. https://static.alibabagroup.com/reports/fy2023/ar/ebook/en/index.html, 2023.
  2. Rongyu Cao, Hongwei Li, Ganbin Zhou, and Ping Luo. Towards document panoptic segmentation with pinpoint accuracy: Method and evaluation. In 16th International Conference on Document Analysis and Recognition, pages 3–18, 2021.
  3. https://pdflux.com/.
  4. Daisho Microline Holdings Limited. Fiscal year annual report 2022. https://www1.hkexnews.hk/listedco/listconews/sehk/2022/0626/2022062600094.pdf, 2022.
  5. Peiyi Wang, Lei Li, Liang Chen, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large language models are not fair evaluators, 2023.
  6. Tesla Inc. Model 3 owner’s manual. https://manual-directory.com/manual/2023-tesla-model-3-owners-manual/, 2023.
  7. Flávio Cunha, Fatih Karahan, and Ilton Soares. Returns to skills and the college premium. Journal of Money, Credit and Banking, 43:39–86, 2011. https://sci-hub.hkvisa.net/https://doi.org/10.1111/j.1538-4616.2011.00410.x.
  8. Tom S. Vogl. Height, skills, and labor market outcomes in mexico. NBER Working Paper Series, 2012. https://www.nber.org/system/files/working_papers/w18318/w18318.pdf.
Content generated by AI large model, please carefully verify (powered by aily)

References

通过增强PDF结构识别，革新检索增强生成技术(RAG)

参考文献[1]Alibaba Group Holding Limited.Fiscal year annual report 2023.https://static.alibabagroup.com/reports/fy2023/ar/ebook/en/index.html,2023.[2]Rongyu Cao,Hongwei Li,Ganbin Zhou,and Ping Luo.Towards document panoptic segmentation with pinpoint accuracy:Method and evaluation.In 16th International Conference on Document Analysis and Recognition,pages 3–18,2021.[3]https://pdflux.com/.[4]Daisho Microline Holdings Limited.Fiscal year annual report 2022.https://www1.hkexnews.hk/listedco/listconews/sehk/2022/0626/2022062600094.pdf,2022.[5]Peiyi Wang,Lei Li,Liang Chen,Dawei Zhu,Binghuai Lin,Yunbo Cao,Qi Liu,Tianyu Liu,and Zhifang Sui.Large language models are not fair evaluators,2023.[6]Tesla Inc.Model 3 owner’s manual.https://manual-directory.com/manual/2023-tesla-model-3-owners-manual/,2023.[7]Flávio Cunha,Fatih Karahan,and Ilton Soares.Returns to skills and the college premium.Journal of Money,Credit and Banking,43:39–86,2011.https://sci-hub.hkvisa.net/https://doi.org/10.1111/j.1538-4616.2011.00410.x.[8]Tom S.Vogl.Height,skills,and labor market outcomes in mexico.NBER Working Paper Series,2012.https://www.nber.org/system/files/working_papers/w18318/w18318.pdf.

Others are asking
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
RAG实战教程推荐
以下为您推荐一些 RAG 实战教程： 1. 【AI+知识库】商业化问答场景，让 AI 回复更准确，一篇专为所有“小白”讲透 RAG 的实例教程（上篇）： 介绍了常见的错误场景，如回答不准确、报价错误、胡编乱造等，强调了优化 AI 准确回答的重要性，并引出 RAG 概念。 讲解了基础概念，包括优化幻觉问题和提高准确性需要了解从“问题输入”到“得到回复”的过程，并针对每个环节逐个调优。 阐述了检索原理，包括问题解析阶段通过嵌入模型将问题文本转化为向量，知识库检索阶段比较向量选择相关信息片段，信息整合阶段构建融合全面的信息文本，大模型生成回答阶段将整合后的信息转化为向量输入大语言模型生成回答。还通过实例进行了详细说明，如知识库检索部分的向量化、优化问题、向量检索、抽取内容块等，以及大模型对话部分。 2. 开发：LangChain 应用开发指南 不用向量也可以 RAG： 以餐饮生活助手为例展示了基于结构化数据来 RAG 的实战方法，包括给出用户提问和回复的示例，以及餐饮生活助手 RAG 的代码实战。 介绍了实现餐饮生活助手 RAG 的 Langchain 代码实战需要完成的步骤，如定义餐饮数据源，将餐饮数据集转化为 Langchain 可识别和操作的数据源并注册到 Langchain 中；定义 LLM 的代理，通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源、生成答案并输出给用户。
2025-04-01
如何学习RAG
以下是关于学习 RAG 的方法和相关内容： 1. 从 AI 搜索切入：RAG 流程复杂，可先从熟悉的 AI 搜索入手。AI 大模型擅长语义理解和文本总结，但不擅长获取实时信息；搜索引擎擅长获取实时信息但信息分散，需人为总结。AI 与搜索引擎结合，给 AI 配备活字典，搜索引擎充当知识库。 2. 用 Coze 学习 RAG 的方法： 推荐使用 Claude + Coze 的方法。Claude 是强大的 AI 大模型，Coze 是 AI Agent 的衍生产品。 首先通过 Claude 了解细节概念，然后通过 Coze 搭建 Demo，在动手实践中学习。 学习过程中创建了 4 个 Bot： 产品资料问答机器人，利用 Coze 的知识库能力演示知识库在企业中的应用。 Query 改写助手学习 Bot，专门用于学习 Query 的改写。 Query 改写效果对比 Bot，对比 Query 改写和未改写的区别。 RAG 全流程学习 Bot，结合对 RAG 全流程的了解，使用 Coze 的工作流模拟 RAG 的离线存储和在线检索全流程。 3. 相关视频演示： 还不知道 Coze 是什么的同学可以看公开分享： 。
2025-04-01