Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG搜索

Answer

RAG（Retrieval Augmented Generation，检索增强生成）是一种利用大模型能力搭建知识库的技术。以下是关于 RAG 的详细介绍：

  • 背景：大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，RAG 应运而生。
  • 过程：
    • 文档加载：从多种来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据、Python 等代码。
    • 文本分割：把文档切分为指定大小的块。
    • 存储：包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。
    • 检索：通过检索算法找到与输入问题相似的嵌入片。
    • 输出：把问题及检索出来的嵌入片提交给 LLM，生成更合理的答案。
  • 核心组件：分为检索、增强、生成三部分。其中检索是核心组件之一，负责从外部数据源或知识库中获取与用户查询相关的信息，其质量和效率对 RAG 系统性能至关重要。涉及检索策略、检索粒度、检索方法、检索效率、外部数据源等关键概念和技术。
  • 引入方式：可以从 AI 搜索切入来理解 RAG。AI 大模型擅长语义理解和文本总结，但不擅长获取实时信息；搜索引擎擅长获取实时信息但信息分散。AI 与搜索引擎结合，给 AI 配备知识库，类似于 RAG 原理。
Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理

开发：产品视角的大模型 RAG 应用

开发：产品视角的大模型RAG应用[heading1]一文看懂RAG：大语言模型落地应用的未来[heading2]RAG中的核心组件RAG的核心组件分为三个部分检索（Retrieval）、增强（Augmentation）、生成（Generation），其分类结构如下图：[heading3]RAG中的检索（Retrieval）[content]检索是检索增强生成（RAG）框架的核心组件之一，它负责从外部数据源或知识库中获取与用户查询相关的信息。检索的质量和效率对于RAG系统的性能至关重要，因为它直接影响生成的文本或回答的准确性和相关性。以下是与检索相关的一些关键概念和技术：检索策略：RAG系统需要确定何时进行检索以及如何选择要检索的信息。检索策略可以根据任务和上下文进行调整，以提高系统的效率和性能。检索粒度：检索可以以不同的粒度进行，从单个标记或实体到更大的文本块或知识图。选择适当的检索粒度取决于任务的要求和数据的结构。检索方法：有多种检索方法可供选择，包括基于关键字的检索、实体检索、自然语言查询和知识图检索等。每种方法都有其适用的情境和优势。检索效率：高效的检索是关键因素之一，尤其是在实时应用中。优化检索过程以降低延迟和资源消耗是重要任务之一。外部数据源：RAG系统可以从各种外部数据源中进行检索，包括互联网上的文档、知识库、数据库和API。选择合适的数据源对于获取准确和丰富的信息至关重要。在RAG框架中，检索与生成和增强技术密切合作，以生成最终的文本或回答。因此，检索的质量和效率对于整个RAG系统的性能和效果至关重要。

胎教级教程：万字长文带你理解 RAG 全流程

旁白：在学习RAG之初，你不知道如何切入，这时候你认识了一个叫做大圣的老师。他说，你可以从AI搜索切入，帮助你理解RAGRAG的流程相对复杂，为了让大家更好的理解RAG，我们先用大家比较熟悉的AI搜索来引出RAG。AI大模型最擅长的是语义理解和文本总结，最不擅长的就是获取实时的信息。搜索引擎最擅长的就是获取实时的信息，但是缺点就是信息太分散了，每次都需要人为进行总结。AI+搜索引擎的结合，就是我们上面讲到的，给AI配备了一个活字典，让AI可以随时进行查阅。下图是一个简化版本的AI搜索工作原理，其中搜索引擎在这里就充当着知识库的角色。下面则是我用Coze制作的一个秘塔搜索机器人，感兴趣可以看下他的工作过程[20240828234529_rec_.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/QsLabWiPzoXN6GxVqpmc4Z9Vntb?allow_redirect=1)OK，关于AI搜索我们就简单介绍到这里，下面我们正式开始介绍RAG

Others are asking
rag
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。
2025-04-15
rag介绍
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
DeepSeek，里面搜索怎么能出来图片？
要在 DeepSeek 中搜索出图片，您可以参考以下信息： 在即梦 AI 平台上找到 DeepSeek 入口，简单描述您想要的画面，DeepSeek 会生成详细的提示词，将提示词复制到生图功能的输入框，选择 3.0 模型，点击生成。 DeepSeek 使用平台包括 DeepSeek 官网、API（V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号）。Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 将下载的 html 文件及图片放到同一个文件夹，让 Cursor 进行图片增加即可。 此外，DeepSeek 深夜发布了大一统模型 JanusPro，将图像理解和生成统一在一个模型中。其具有统一 Transformer 架构，提供 1B 和 7B 两种规模，全面开源，支持商用，MIT 协议，部署使用便捷，Benchmark 表现优异等特点。模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus
2025-04-09
ai搜索引擎哪个好
以下是一些推荐的 AI 搜索引擎： 1. 秘塔 AI 搜索：由秘塔科技开发，具有多模式搜索、无广告干扰、结构化展示和信息聚合等功能，能提升用户搜索效率和体验。 2. Perplexity：聊天机器人式搜索引擎，允许用自然语言提问，通过生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索：360 公司推出，通过 AI 分析问题，生成清晰有理的答案，支持增强模式和智能排序。 4. 天工 AI 搜索：昆仑万维推出，采用生成式搜索技术，支持自然语言交互和深度追问，未来将支持图像、语音等多模态搜索。 5. Flowith：创新的 AI 交互式搜索和对话工具，基于节点式交互方式，支持多种 AI 模型和图像生成技术，有插件系统和社区功能。 6. Devv：面向程序员的 AI 搜索引擎，专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind：专为开发者设计，利用大型语言模型提供相关搜索结果和动态答案，擅长处理编程和技术问题。 做好 AI 搜索引擎的关键在于： 1. 准确度：取决于问答底座模型的智能程度和挂载上下文的信息密度。要选用智能的问答底座模型，并对 RAG 的检索结果进行排序去重以保证信息密度。 2. 差异化创新：错位竞争，如对问答结果以 outline/timeline 等形式输出，支持多模态搜索问答，允许挂载自定义信息源等策略。 3. 具备“准/快/稳”的特点：回复结果要准，响应速度要快，服务稳定性要高。 在使用 AI 搜索引擎时需注意： 1. 幻觉风险较高，大多数 AI 搜索引擎未连接到互联网。 2. 必应通常是较好的选择，特别是在某些特定场景下，如技术支持、决定吃饭地点或获取建议等，必应可能比谷歌更好。但这是一个迅速发展的领域，使用时应小心。对于儿童，可汗学院的 Khanmigo 提供由 GPT4 驱动的良好的人工智能驱动辅导。
2025-04-09
我们是搜索团队的产品经理，团队定位倾向于“对于插件的建设与调用”定位，现在要做AI相关的产品规划，请以通俗易懂的方式对以下问题做出回答 1、请通过流程图的方式，介绍【插件/工具】能力在大模型生态架构中的环节、定位、实现流程是什么 2、调研下对于我们搜索团队而言，插件应该做什么，可以做什么 3、思考对于大模型来说，有哪些（通用或垂类）的模块/功能/插件是无法绕开的，或高频使用的，作为我们团队后续争取的发力点（如搜索推荐对于传统综合搜索结果页）
以下是为您提供的关于 AI 相关产品规划的回答： 一、插件/工具能力在大模型生态架构中的环节、定位、实现流程 从 2023 年 3 月份 OpenAI 宣布插件计划开始，到 5 月份上线，其中包括联网、代码、画图三个插件。其实现流程大致为： 1. 经过对模型的微调，检测何时需要调用函数（取决于用户的输入）。 2. 使用符合函数签名的 JSON 进行响应。 3. 在接口层面声明可调用的工具。 4. 使用函数和用户输入调用模型。 5. 使用模型响应调用 API。 6. 将响应发送回模型进行汇总。 二、对于搜索团队，插件可以做和应该做的事 目前没有直接针对搜索团队插件具体可做和应做事项的明确内容，但可以参考 OpenAI 的插件计划，例如开发与搜索相关的特定功能插件，或者探索如何将现有的搜索推荐功能与大模型更好地结合。 三、对于大模型无法绕开或高频使用的模块/功能/插件 目前没有直接指出对于大模型无法绕开或高频使用的具体模块、功能或插件。但从相关信息中可以推测，例如与数据获取和处理相关的插件（如联网）、与技术开发相关的插件（如代码）以及与内容生成相关的插件（如画图）可能是较为重要和高频使用的。对于搜索团队来说，可以考虑在这些方向上寻找发力点，结合搜索推荐等传统功能，开发出更具竞争力的插件。
2025-04-08
小白不懂MCP，请搜索waytoAGI中与智能体相关的内容（特别是视频形式的）让我来学习
以下是为您整理的关于 MCP 的相关内容： 一、什么是 MCP MCP（Model Context Protocol）是一种通用的方式，向各类大语言模型提供数据源和工具。它是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USBC 接口，为 AI 模型连接不同的数据源和工具提供了标准化方式。 二、相关文章的写作目的和探讨内容 1. 作者因在 WaytoAGI 社区阅读了他人优秀文章，决定逼自己做输出，对自我学习进行总结。 2. 文章从作者自身疑问出发，通过动手实践的方式探索：利用自然语言交互，大模型为什么会调用 MCP 工具；大模型调用 MCP 工具，从客户端到服务端发生了什么；安装了类似 MCP 工具，大模型如何选择用哪一个。 三、MCP 和 AI 工具的未来 自 OpenAI 发布函数调用以来，思考解锁智能体和工具使用生态系统所需条件。MCP 于 2024 年 11 月推出，在开发者和 AI 社区中已获广泛关注，被视为潜在解决方案。探讨了其如何改变 AI 与工具的交互方式、开发人员的使用情况及仍需解决的挑战。 四、MCP 小白图文使用教程 MCP 服务器有三大核心功能： 1. 资源：是服务器提供给 AI 的数据内容，如文件、数据库结构或特定信息，每个资源通过唯一 URI 标识。 2. 工具：允许 AI 模型执行特定操作，如查询数据库、调用 API 或执行计算，每个工具由名称和描述其模式的元数据唯一标识。 3. 提示：提供结构化消息和指令，用于与语言模型交互，客户端可以发现可用提示、检索其内容并提供参数进行自定义。 希望以上内容对您有所帮助。
2025-04-08
如何搜索知识库
以下是关于知识库搜索的相关信息： 知识库搜索网址：https://search.atomecho.cn/ Coze 中工作流配置知识库： 添加知识库：可同时添加多个知识库。 参数设置： 搜索策略：包括语义检索（像人类一样理解词与词、句与句之间的关系，适用于需要理解语义关联度和跨语言查询的场景）、全文检索（基于关键词进行，适用于特定名称、专有名词、术语、缩写词、ID 等场景）、混合检索（结合全文检索和语义检索的优势，并对结果进行综合排序召回相关内容片段）。 最大召回数量：选择从检索结果中返回给大模型使用的内容片段数量，数值越大，返回的越多。 最小匹配度：根据设置的匹配度选取要返回给大模型的内容片段，低于设定匹配度的内容不会被返回。 提示：最大召回数量和最小匹配度直接影响输出效果，需进行协调的多轮测试找出最优值。 认识大模型 Embedding 技术加实战中： Embedding 增强 GPT 的能力的过程包括搜索内部知识库检索相关文本、将检索到的文本内容部分发送给 GPT 大模型并向其提出问题。 具体操作步骤： 准备搜索数据（仅一次）：搜集数据、切块、嵌入、存储（对于大型数据集的 Embedding 结果，可使用向量数据库保存）。 搜索（每次查询一次）：给定用户问题，从 OpenAI API 生成查询的 embeddings，使用 embeddings 按照与查询相关性对文本部分进行排序，距离函数推荐使用余弦相似性。 提问（每次查询一次）：将问题和最相关的部分插入到发送给 GPT 的消息中返回 GPT 的答案。 Embedding 的作用：搜索（结果按与查询字符串的相关性进行排名）、聚类（文本字符串按相似性分组）、建议（建议包含相关文本字符串的项目）、异常检测（识别出相关性很小的离群值）、多样性测量（分析相似性分布）、分类（文本字符串按其最相似的标签分类）。
2025-04-08