Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

什么是ai中的RAG

Answer

RAG 是检索增强生成(Retrieval-Augmented Generation)的缩写,是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型,让大模型“知道”我们的私有知识,变得越来越“懂”我们。

RAG 的核心流程是:根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。

RAG 的最常见应用场景是知识问答系统,用户提出问题,RAG 模型从大规模的文档集合中检索相关的文档,然后生成回答。

RAG 的基本流程如下:

  1. 首先,给定一个用户的输入,例如一个问题或一个话题,RAG 会从一个数据源中检索出与之相关的文本片段,例如网页、文档或数据库记录。这些文本片段称为上下文(context)。
  2. 然后,RAG 会将用户的输入和检索到的上下文拼接成一个完整的输入,传递给一个大模型,例如 GPT。这个输入通常会包含一些提示(prompt),指导模型如何生成期望的输出,例如一个答案或一个摘要。
  3. 最后,RAG 会从大模型的输出中提取或格式化所需的信息,返回给用户。
Content generated by AI large model, please carefully verify (powered by aily)

References

RAG性能提升策略和评估方法(产品视角)

作者:牛大局原文:[RAG性能提升策略和评估方法(产品视角)](https://iac2rhlh02p.feishu.cn/wiki/WL4Lwx5dyigl4zkZQojc7esQnWf)[heading1]一、前言[content]相信经过一年的知识沉淀,RAG是什么大家都不陌生了。RAG是检索增强生成(Retrieval-Augmented Generation)的缩写,它是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给AI大模型,让大模型“知道”我们的私有知识,变得越来越“懂”我们。RAG的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。RAG的最常见应用场景知识问答系统:RAG可以用于构建问答系统,用户提出问题,RAG模型从大规模的文档集合中检索相关的文档,然后生成回答。

开发:LangChain应用开发指南-大模型的知识外挂RAG

原创AI小智AI小智2023-12-11 08:10发表于湖北AI大模型能够处理广泛主题的文本生成,但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用,你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中,即检索增强生成(Retrieval Augmented Generation,RAG)。在本文中,我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构,讨论相关的LangChain组件,并展示如何跟踪和理解我们的应用。[heading3]RAG的基本概念[content]RAG是一种结合了检索和生成的技术,它可以让大模型在生成文本时利用额外的数据源,从而提高生成的质量和准确性。RAG的基本流程如下:首先,给定一个用户的输入,例如一个问题或一个话题,RAG会从一个数据源中检索出与之相关的文本片段,例如网页、文档或数据库记录。这些文本片段称为上下文(context)。然后,RAG会将用户的输入和检索到的上下文拼接成一个完整的输入,传递给一个大模型,例如GPT。这个输入通常会包含一些提示(prompt),指导模型如何生成期望的输出,例如一个答案或一个摘要。最后,RAG会从大模型的输出中提取或格式化所需的信息,返回给用户。

开发:LangChain应用开发指南-大模型的知识外挂RAG

原创AI小智AI小智2023-12-11 08:10发表于湖北AI大模型能够处理广泛主题的文本生成,但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用,你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中,即检索增强生成(Retrieval Augmented Generation,RAG)。在本文中,我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构,讨论相关的LangChain组件,并展示如何跟踪和理解我们的应用。[heading2]RAG的基本概念[content]RAG是一种结合了检索和生成的技术,它可以让大模型在生成文本时利用额外的数据源,从而提高生成的质量和准确性。RAG的基本流程如下:首先,给定一个用户的输入,例如一个问题或一个话题,RAG会从一个数据源中检索出与之相关的文本片段,例如网页、文档或数据库记录。这些文本片段称为上下文(context)。然后,RAG会将用户的输入和检索到的上下文拼接成一个完整的输入,传递给一个大模型,例如GPT。这个输入通常会包含一些提示(prompt),指导模型如何生成期望的输出,例如一个答案或一个摘要。最后,RAG会从大模型的输出中提取或格式化所需的信息,返回给用户。

Others are asking
什么是RAG
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 大模型存在一些缺点,如无法记住所有知识(尤其是长尾知识)、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,增删改查可解释,且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型本身的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程: 1. 文档加载:从多种不同来源加载文档。 2. 文本分割:把 Documents 切分为指定大小的块。 3. 存储:包括将切分好的文档块进行嵌入转换成向量的形式,以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势: 1. 灵活性:可根据需求和数据源选择不同组件和参数定制 RAG 应用,也能使用自定义组件(需遵循接口规范)。 2. 可扩展性:能利用 LangChain 的云服务部署和运行,无需担忧资源和性能限制,还可借助分布式计算功能加速应用,发挥多个节点并行处理能力。 3. 可视化:通过 LangSmith 可视化工作流程,查看各步骤输入输出及组件性能状态,用于调试和优化,发现并解决潜在问题和瓶颈。 其应用场景多样,包括: 1. 专业问答:构建医疗、法律、金融等专业领域的问答应用,从专业数据源检索信息辅助大模型回答问题,如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要:构建新闻或论文摘要应用,从多个数据源检索相关文本帮助大模型生成综合摘要,如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成:构建诗歌、故事生成等应用,从不同数据源检索灵感协助大模型生成更有趣和创意的文本,如从诗歌、歌词或小说中检索相关文本生成作品。 此外,还介绍了本地部署资讯问答机器人的实现方式,即基于用户问题从向量数据库检索相关段落并按阈值过滤,让模型参考上下文信息回答,还创建了网页 UI 并进行评测,对不同模型的测试表现进行了对比,得出 GPT4 表现最佳等结论,并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点,即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台(英文名:Aily)是飞书团队旗下的企业级 AI 应用开发平台,能提供简单、安全且高效的环境,帮助企业构建和发布 AI 应用,推动业务创新和效率提升,为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式: 1. 利用飞书的知识库智能问答技术,引入 RAG 技术,通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人,了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人,如通过 Langchain + Ollama + RSSHub 实现 RAG,包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源,ollama 跑大模型(使用前需确保服务开启并下载好模型),使用文本向量模型 bgem3(如从 https://huggingface.co/BAAI/bgem3 下载,假设放置在某个路径 /path/to/bgem3,通过函数利用 FAISS 创建高效向量存储)。 使用飞书智能伙伴创建平台的方式: 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接(二维码会定期更新,需在找到最新二维码),点击加入,直接@机器人。 2. 在 WaytoAGI.com 的网站首页,直接输入问题即可得到回答。 创建问答机器人的原因: 1. 知识库内容庞大,新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性,存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式,使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标,以及其在飞书平台上的知识库和社区情况,讨论了相关技术和应用场景,并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. LLM 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证,存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大,训练和运行成本高。 而 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统,用户提出问题,RAG 模型从大规模的文档集合中检索相关的文档,然后生成回答。 一个 RAG 的应用可抽象为 5 个过程: 1. 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块。 3. 存储:包括将切分好的文档块进行嵌入转换成向量的形式,以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
RAG实战教程推荐
以下为您推荐一些 RAG 实战教程: 1. 【AI+知识库】商业化问答场景,让 AI 回复更准确,一篇专为所有“小白”讲透 RAG 的实例教程(上篇): 介绍了常见的错误场景,如回答不准确、报价错误、胡编乱造等,强调了优化 AI 准确回答的重要性,并引出 RAG 概念。 讲解了基础概念,包括优化幻觉问题和提高准确性需要了解从“问题输入”到“得到回复”的过程,并针对每个环节逐个调优。 阐述了检索原理,包括问题解析阶段通过嵌入模型将问题文本转化为向量,知识库检索阶段比较向量选择相关信息片段,信息整合阶段构建融合全面的信息文本,大模型生成回答阶段将整合后的信息转化为向量输入大语言模型生成回答。还通过实例进行了详细说明,如知识库检索部分的向量化、优化问题、向量检索、抽取内容块等,以及大模型对话部分。 2. 开发:LangChain 应用开发指南 不用向量也可以 RAG: 以餐饮生活助手为例展示了基于结构化数据来 RAG 的实战方法,包括给出用户提问和回复的示例,以及餐饮生活助手 RAG 的代码实战。 介绍了实现餐饮生活助手 RAG 的 Langchain 代码实战需要完成的步骤,如定义餐饮数据源,将餐饮数据集转化为 Langchain 可识别和操作的数据源并注册到 Langchain 中;定义 LLM 的代理,通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源、生成答案并输出给用户。
2025-04-01
如何学习RAG
以下是关于学习 RAG 的方法和相关内容: 1. 从 AI 搜索切入:RAG 流程复杂,可先从熟悉的 AI 搜索入手。AI 大模型擅长语义理解和文本总结,但不擅长获取实时信息;搜索引擎擅长获取实时信息但信息分散,需人为总结。AI 与搜索引擎结合,给 AI 配备活字典,搜索引擎充当知识库。 2. 用 Coze 学习 RAG 的方法: 推荐使用 Claude + Coze 的方法。Claude 是强大的 AI 大模型,Coze 是 AI Agent 的衍生产品。 首先通过 Claude 了解细节概念,然后通过 Coze 搭建 Demo,在动手实践中学习。 学习过程中创建了 4 个 Bot: 产品资料问答机器人,利用 Coze 的知识库能力演示知识库在企业中的应用。 Query 改写助手学习 Bot,专门用于学习 Query 的改写。 Query 改写效果对比 Bot,对比 Query 改写和未改写的区别。 RAG 全流程学习 Bot,结合对 RAG 全流程的了解,使用 Coze 的工作流模拟 RAG 的离线存储和在线检索全流程。 3. 相关视频演示: 还不知道 Coze 是什么的同学可以看公开分享: 。
2025-04-01
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容: 1. 对于技术纯小白: 从最基础的小任务开始,让 AI 按照最佳实践写一个 say hello 的示例程序,并解释每个文件的作用及程序运行的逻辑,以学会必备的调试技能。 若学习写 chrome 插件,可让 AI 按照最佳实践生成简单的示范项目,包含全面的典型文件和功能,并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini,可在提示词最后添加生成创建脚本的要求,并请教如何运行脚本(Windows 机器则是 create.cmd)。 2. 明确项目需求: 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档,在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验: 单独让 AI 写小功能没问题,但对于复杂的程序框架,可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例,可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教,ChatGPT 相对更方便。 教 AI 时要像哄小孩,及时肯定正确的,指出错误时要克制,不断完善其经验。 4. 相关资源和平台: AI 写小游戏平台:https://poe.com/ 图片网站:https://imgur.com/ 改 bug 的网站:https://v0.dev/chat 国内小游戏发布平台:https://open.4399.cn/console/ 需要注意的是,使用 AI 写程序时,对于技术小白来说,入门容易但深入较难,若没有技术背景可能提不出问题,从而影响 AI 发挥作用。
2025-04-19
有哪些好用的法律ai
以下是一些好用的法律 AI 应用场景和示例: 1. 诉讼策略制定: AI 将基于商标法等相关条款和案例法,为商标侵权案件提供诉讼策略,包括对原告商标权利的分析、被告侵权行为的评估、关键证据搜集建议、法律抗辩点及和解或调解策略。 其他例子: 为专利侵权案件制定诉讼策略,分析专利有效性、被告侵权行为及抗辩理由,提出证明侵权和计算损害赔偿的建议。 针对劳动合同纠纷案件,分析员工权益和雇主责任,提出诉讼策略,包括主张权益、证据收集重点及证明雇主违约行为。 在知识产权许可诉讼中,分析许可协议条款和双方权利义务,提出诉讼策略,包括证明许可协议违反、计算损失赔偿及可能的合同解除条件。 模拟法庭,如模拟商业合同违约的法庭审理,分析双方论点、证据和法律依据,预测判决结果,给出优化法庭陈述和证据呈现的建议。 2. 法律意见书撰写: AI 根据案件背景、证据材料和法律法规,自动撰写初步法律意见书,包含案件事实梳理、法律分析和结论。 其他例子: 针对商业秘密泄露案件,分析法律责任和赔偿范围,撰写法律意见书,提供应对策略。 为计划上市的公司提供关于公司治理结构的法律意见书,确保符合相关法规要求。 就消费者权益保护案件提供法律意见,分析商家赔偿责任和消费者维权途径,制定应对措施。 起草股权转让协议,包括转让方和受让方信息、股权转让份额、价格、支付方式和时间表、先决条件、双方权利义务、保密、违约责任和争议解决条款等。 3. 指令风格和技巧: 可指定 AI 模仿某位资深律师的逻辑严谨和言简意赅的风格,使其提供的信息更符合专业律师的沟通和表达习惯。 运用 PEMSSC 方法,如选择个性化的风格、给出参考或逻辑结构、从多个角度思考、进行总结概括、使用分隔符号区分等。 个性化风格:选择幽默且富有洞察力的风格,融入创新视角。 参考和逻辑结构:在提供法律建议时,采用 SWOT 分析法或 4P 原则等逻辑结构。 多角度思考:在分析商事诉讼时,从市场趋势、竞争对手行为、战略规划、财务状况和市场前景等角度思考诉讼策略。
2025-04-18
有没有能根据描述,生成对应的word模板的ai
目前有一些可以根据描述生成特定内容的 AI 应用和方法。例如: 在法律领域,您可以提供【案情描述】,按照给定的法律意见书模板生成法律意见书。例如针对商业贿赂等刑事案件,模拟不同辩护策略下的量刑结果,对比并推荐最佳辩护策略,或者为商业合同纠纷案件设计诉讼策略等。 在 AI 视频生成方面,有结构化的提示词模板,包括镜头语言(景别、运动、节奏等)、主体强化(动态描述、反常组合等)、细节层次(近景、中景、远景等)、背景氛围(超现实天气、空间异常等),以及增强电影感的技巧(加入时间变化、强调物理规则、设计视觉焦点转移等)。 一泽 Eze 提出的样例驱动的渐进式引导法,可利用 AI 高效设计提示词生成预期内容。先评估样例,与 AI 对话让其理解需求,提炼初始模板,通过多轮反馈直至达到预期,再用例测试看 AI 是否真正理解。 但需要注意的是,不同的场景和需求可能需要对提示词和模板进行针对性的调整和优化,以获得更符合期望的 word 模板。
2025-04-18
可以增强图片清晰的的ai
以下是一些可以增强图片清晰度的 AI 工具: 1. Magnific:https://magnific.ai/ 2. ClipDrop:https://clipdrop.co/imageupscaler 3. Image Upscaler:https://imageupscaler.com/ 4. Krea:https://www.krea.ai/ 更多工具可以查看网站的图像放大工具库:https://www.waytoagi.com/category/17 此外,PMRF 也是一种全新的图像修复算法,它具有以下特点: 擅长处理去噪、超分辨率、着色、盲图像恢复等任务,生成自然逼真的图像。 不仅提高图片清晰度,还确保图片看起来像真实世界中的图像。 能够应对复杂图像退化问题,修复细节丰富的面部图像或多重损坏的图片,效果优质。 详细介绍: 在线体验: 项目地址: 这些 AI 画质增强工具都具有不同的特点和功能,可以根据您的具体需求选择合适的工具进行使用。
2025-04-18