Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

有什么提升 RAG 知识库问答的好的 prompt

Answer

以下是一些提升 RAG 知识库问答的好的 prompt 相关内容：

  • RAG 在 Natural Questions、WebQuestions 和 CuratedTrec 等基准测试中表现出色，在使用 MS-MARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、具体且多样，FEVER 事实验证使用 RAG 后也有更好结果，说明 RAG 是可行方案，能增强知识密集型任务中语言模型的输出，基于检索器的方法常与 ChatGPT 等流行 LLM 结合提高能力和事实一致性，可在 LangChain 文档中找到相关例子。
  • RAG 能显著提高大模型在处理私域知识或垂直领域问答时的效果。其流程包括：上传文档（支持多种格式，会转换为 Markdown 格式）、文本切割、文本向量化（存入向量数据库）、问句向量化、语义检索匹配（匹配出与问句向量最相似的 top k 个）、提交 Prompt 至 LLM、生成回答返回给用户。RAG 研究范式分为基础 RAG、高级 RAG 和模块化 RAG。
    • 高级 RAG 特点：支持多模态数据处理，增强对话性，具备自适应检索策略，能进行知识融合，扩展了基础 RAG 功能，解决复杂任务局限，在广泛应用中表现出色，推动自然语言处理和人工智能发展。
    • 模块化 RAG 侧重于提供更高定制性和灵活性，将系统拆分成多个独立模块或组件，每个组件负责特定功能，便于根据不同需求灵活组合和定制。
Content generated by AI large model, please carefully verify (powered by aily)

References

检索增强生成 (RAG)

RAG在[Natural Questions(opens in a new tab)](https://ai.google.com/research/NaturalQuestions)、[WebQuestions(opens in a new tab)](https://paperswithcode.com/dataset/webquestions)和CuratedTrec等基准测试中表现抢眼。用MS-MARCO和Jeopardy问题进行测试时，RAG生成的答案更符合事实、更具体、更多样。FEVER事实验证使用RAG后也得到了更好的结果。这说明RAG是一种可行的方案，能在知识密集型任务中增强语言模型的输出。最近，基于检索器的方法越来越流行，经常与ChatGPT等流行LLM结合使用来提高其能力和事实一致性。LangChain文档中可以找到[一个使用检索器和LLM回答问题并给出知识来源的简单例子(opens in a new tab)](https://python.langchain.com/docs/use_cases/question_answering/quickstart)。

DAY2 - 更好用的文本知识库应用跟学，快速上手阿里云百炼

RAG可以显著提高大模型在处理私域知识或垂直领域问答时的效果。此处向您展示通过百炼控制台操作将RAG的能力集成到智能体应用中的过程。知识库问答的核心本质是RAG，所以这个时候就需要使用RAG技术能力了，那么什么是RAG呢？（1）上传文档：用户上传包含知识的文档，支持txt、pdf、docx等格式，LangChain Chatchat会将文档转换为Markdown格式（2）文本切割：为了便于分析和处理，将长文本切割为小块（chunk）（3）文本向量化：将切割的chunk通过embedding技术，转换为算法可以处理的向量，存入向量数据库（4）问句向量化：用户提问后，同样将用户的问句向量化（5）语义检索匹配：将用户的问句与向量数据库中的chunk匹配，匹配出与问句向量最相似的top k个（6）提交Prompt至LLM：将匹配出的文本和问句，一起添加到配置好的prompt模板中，提交给LLM（7）生成回答：LLM生成回答，返回给用户RAG研究范式不断发展，本节主要描述了其发展过程。我们将其分为三种类型：基础RAG（Naive RAG）、高级RAG（Advanced RAG）和模块化RAG（Modular RAG）。下图简单的说明了这三种RAG的工作流程：基础RAG

DAY2 - 更好用的文本知识库应用跟学，快速上手阿里云百炼

1.多模态支持：与基础RAG主要处理文本不同，高级RAG可以处理多模态数据，比如图像、音频和视频。这使得它在处理多媒体内容时非常有用，比如图文结合的应用或语音识别。2.对话性增强：高级RAG能够处理更复杂的对话，支持多轮问答。这意味着它在像聊天机器人、虚拟助手等应用中，能够更自然、更深入地与用户交流。3.自适应检索策略：高级RAG具有智能的检索机制，可以根据上下文和任务的需求自动决定何时进行检索，何时使用检索到的信息。这样可以提高效率，同时避免不必要的检索操作，提升整体性能。4.知识融合：高级RAG能够更好地将外部知识（比如从文献、网页等处获取的资料）与模型的内部知识结合，从而生成更有价值、更精准的回答。这在一些需要大量领域知识的任务中尤其有用。总体来说，高级RAG不仅扩展了基础RAG的功能，还解决了它在处理复杂任务时的局限，使得它能够在更广泛的应用中表现出色，推动了自然语言处理和人工智能的进一步发展。模块化RAG模块化RAG（检索增强生成）是RAG的另一种进化形式，主要侧重于提供更高的定制性和灵活性。与基础RAG和高级RAG不同，模块化RAG将RAG系统拆分成多个独立的模块或组件，每个组件负责特定的功能，便于根据不同需求进行灵活组合和定制。以下是模块化RAG的关键特点和概念：

Others are asking
rag
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。
2025-04-15
rag介绍
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
PromptEnhancer
以下是关于 PromptEnhancer 的相关信息： PromptEnhancer 是一款自动生成/优化 prompt 的工具。 在对最流行的“AI 提示生成器”的比较分析中，针对“作为一名 IT 学生，为我的高级项目提出想法；我想要关于学生帮助大学学生的想法”这一测试种子提示，PromptEnhancer 在实验中的成绩为 4 胜 0 负。 相关链接：https://flowgpt.com/prompt/sbuYQwUq_8v8fafR5zJuB
2025-04-20
能画技术路线图的prompt
以下是关于能画技术路线图的 prompt 相关内容： Midjourney Bot 的 Prompt 类型： 基本 Prompts：可以只是一个单词、短语或表情符号。 高级 Prompts：包括一个或多个图片 URL、多个文本短语以及一个或多个参数。其中，图片 URL 始终位于 prompt 的最前面，以影响完成结果的风格和内容。提示文字是对希望生成的图像的文本描述，精心编写的提示有助于生成惊艳的图像。参数可以改变生成图片的方式，需放在提示语的末尾。 ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，目前 Union 版本不建议权重调太高，结束时间也需注意。 Prompt engineering（提示工程）： 开发测试用例：定义任务和成功标准后，创建多样化的测试用例，包括典型示例和边界情况，以确保提示具有鲁棒性。 设计初步提示：制定初步提示，概述任务定义、良好响应的特征及必要上下文，添加规范输入和输出的示例供参考。 根据测试用例测试提示：使用初步提示将测试用例输入，评估模型响应与预期输出和成功标准的一致性，使用一致的评分标准进行系统性的性能评估。
2025-04-19
整理会议纪要的prompt
以下是一些关于整理会议纪要的 prompt： 【?会议精要】整理生成高质量会议纪要，保证内容完整、准确且精炼。 会议记录员：将会议浓缩成简明摘要，包括讨论主题、重点内容、行动事项。 CEO 秘书会议纪要：专注于整理和生成高质量的会议纪要，确保会议目标和行动计划清晰明确。需严格遵守信息准确性，不对用户提供的信息做扩写，仅做信息整理，将一些明显的病句做微调。
2025-04-15
作为一个想要使用AI工具提升工作效率的AI小白，我已经学习了怎么编写prompt，接下来我应该学习什么
如果您已经学习了如何编写 prompt ，接下来可以学习以下内容： 1. 理解 Token 限制：形成“当前消耗了多少 Token”的自然体感，把握有效记忆长度，避免在超过限制时得到失忆的回答。同时，编写 Prompt 时要珍惜 Token ，秉承奥卡姆剃刀原理，精简表达，尤其是在连续多轮对话中。 熟练使用中英文切换，若 Prompt 太长可用英文设定并要求中文输出，节省 Token 用于更多对话。 了解自带方法论的英文短语或句子，如“Chain of thought”。 2. 学习精准控制生成式人工智能：重点学习提示词技术，编写更清晰、精确的指令，引导 AI 工具产生所需结果。 探索构建智能体（AI Agents），将工作单元切割开，赋予其特定角色和任务，协同工作提高效率。 在实际应用中遵循准则，如彻底变“懒人”、能动嘴不动手、能让 AI 做的就不自己动手、构建自己的智能体、根据结果反馈调整智能体、定期审视工作流程看哪些部分可用更多 AI 。 3. 若想进一步提升： 学习搭建专业知识库、构建系统知识体系，用于驱动工作和个人爱好创作。 注重个人能力提升，尤其是学习能力和创造能力。 您还可以结合自身生活或工作场景，想一个能简单自动化的场景，如自动给班级孩子起昵称、排版运营文案、安排减脂餐、列学习计划、设计调研问卷等。选一个好上手的提示词框架开启第一次有效编写，比如从基础的“情境:”开始。
2025-04-15
对于用cursor来开发，有没有好好用prompt来使cursor变得更加好用
以下是关于如何用 prompt 使 Cursor 变得更好用的相关内容： 在 prompt 方面，Devin 有一个特别有帮助的文档（https://docs.devin.ai/learnaboutdevin/prompting），它会教您什么样的 prompt 在与 Devin 沟通时最有效，比如明确定义成功的标准，如跑通某个测试或访问某个链接能对得上等。将同样的原则应用到 Cursor 中，会发现 Cursor 变得聪明很多，能自主验证任务完成情况并进行迭代。 Cursor 在生成单测方面表现出色。相对 GPT 等工具，Cursor 解决了上下文缺失和难以实现增量更新的问题。它可以向量化整个代码仓库，在生成单测代码时能同时提供目标模块及对应的上下游模块代码，生成结果更精确。例如，使用适当的 Prompt 能返回基于 Vitest 的结果，调整成本较小。 Cursor 支持使用.cursorrules 文件设定项目的系统提示词，针对不同语言可设定不同的 Prompt。@AIChain 花生做了一个 Cursor 插件解决提示语管理问题，可选择不同的.cursorrules 文件，还可从 https://cursor.directory/ 和 https://cursorlist.com/ 寻找提示词。此外，还有一个提示语小技巧，给已有的提示语追加上特定规则，可使模型在搜索资源和思考时默认使用英语，回复转换成中文，或更灵活地根据提问语言进行回复。
2025-04-14
有什么 prompt engineering 的好材料
以下是一些关于 prompt engineering 的好材料： 文本类 Prompt 网站： Learning Prompt：授人以渔，非常详尽的 Prompt 学习资源，包括 ChatGPT 和 MidJourney，网址： FlowGPT：国外做的最大的 prompt 站，内容超全面，更新快，网址： ChatGPT Shortcut：ChatGPT 提示词网站，提供了非常多使用模板，简单修改即可指定输出，网址： ClickPrompt：轻松查看、分享和一键运行模型，创建 Prompt 并与其他人分享，网址： Prompt Extend：让 AI 帮你自动拓展 Prompt，网址： PromptPerfect：帮你自动优化提示词，你可以看到优化前后的对比，网址： PromptKnit：The best playground for prompt designers，网址： PromptPort（支持中文）：AI Prompt 百科辞典，其中 prompts 是聚合了市场上大部分优质的 prompt 的词库，快速的寻找到用户需求 prompt，网址： Prompt Engineering Guide：GitHub 上点赞量非常高的提示工程指南，网址： Claude 3.7 核心提示词相关： 您可以在中找到他们往期开源的更多系统提示词，涵盖了从 Claude 3 Haiku 到现在所有的模型。 一泽 Eze 整理的相关学习资料： Claude 3.5 sonnet 内置提示词详细拆解与解说：https://mp.weixin.qq.com/s/0R4zgH3Gc5TAfAPY1oJU4A Anthropic 的三位顶级提示工程专家聊《如何当好的提示词工程师》：https://mp.weixin.qq.com/s/VP_auG0a3CzULlf_Eiz1sw 往期 Claude AI 核心系统提示词：https://docs.anthropic.com/en/releasenotes/systemprompts Claude 官方用户手册 提示工程指南：https://docs.anthropic.com/en/docs/buildwithclaude/promptengineering/overview Claude 官方提示库：https://docs.anthropic.com/en/promptlibrary/library 基本概念： 简单的提示词可以包含指令、问题等信息，也可以包含上下文、输入或示例等详细信息，以更好地指导模型获得更好的结果。 当使用 OpenAI 的聊天模型时，可以使用 system、user 和 assistant 三个不同的角色来构建 prompt，system 有助于设定 assistant 的整体行为。 提示工程就是探讨如何设计出最佳提示词，用于指导语言模型帮助我们高效完成某项任务。
2025-04-12
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
想创建一个对话问答形式的课程智能体
以下是创建一个对话问答形式的课程智能体的相关内容： 一、创建智能体 1. 知识库 手动清洗数据：本次创建知识库使用手动清洗数据，上节课程是自动清洗数据，自动清洗数据可能会出现数据不准的情况。 在线知识库：点击创建知识库，创建一个画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义的自定义，输入后可编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：本地 word 文件，注意拆分内容以提高训练数据准确度。画小二 80 节课程分为 11 个章节，不能一股脑全部放进去训练，应先将 11 章的大章节名称内容放进来，章节内详细内容按固定方式人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到，否则获取不到 API。 二、智谱 BigModel 共学营活动分享 活动内容包括使用 BigModel 搭建智能体并接入微信机器人，过程为将调试好的智能体机器人拉入微信群，由老师提问，机器人回答，挑选出色回答整理成问卷，群成员投票，根据得票数确定奖项。一等奖得主分享了对活动的理解和实践，包括从题出发的分析，认为考验机器人对问题的理解和回答准确性，真实对话场景一般为完整句子回复，根据回答真实性和有趣程度评分，可使用弱智吧问题测试提示词生成效果。 三、名字写对联教学——优秀创作者奖，百宝箱智能体 1. 智能体类型的选择：建议选择工作流的对话模式，支持工作流编排和携带历史对话记录，创建后切换为对话模式，注意在调整工作流节点前切换，否则会清空重置。 2. 确认分支情况：根据需求分析有两个特定分支（根据名字和祝福写对联、根据幸运数字写对联）和一个默认分支。 3. 用户意图识别：通过理解用户意图走不同分支，注意将意图介绍写清楚准确。 4. 幸运数字分支：用代码分支获取用户输入数字，匹配知识库并做赏析，代码中有容错机制。 5. 名字写祝福：根据用户输入的名字和祝福信息，提示词生成对应对联并输出，主要是提示词调试。 6. 通用兜底回复：在用户不符合前两个意图时进行友好回复，匹配知识库，结合匹配结果、历史记录和当前输入输出符合对话内容的回复。 7. 知识库：使用大模型生成 100 对对联，好看、经典、有意义。
2025-04-09
专门解决ai需求的问答
以下是关于专门解决 AI 需求的问答的相关内容： 关于我是谁： 我是 WaytoAGI 专属问答机器人，基于 Aily 和云雀大模型。Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用。云雀是字节跳动研发的语言模型，能通过自然语言交互完成互动对话、信息获取、协助创作等任务。 使用方法： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（最新二维码在知识库首页），加入后直接@机器人。 2. 在 WaytoAGI.com 的网站首页直接输入问题即可得到回答。 做问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，无法准确理解语义。 3. 需要用更先进的 RAG 技术解决。 4. 在群中提供快速检索信息的便捷方式。 AI 商用级问答场景中让回答更准确： 要优化幻觉问题和提高准确性，需了解从“问题输入”到“得到回复”的过程，针对每个环节逐个调优。RAG（检索增强生成）由检索器和生成器组成，检索器从外部知识中找到相关信息，生成器利用这些信息制作精确连贯的答案，通过检索模式为大语言模型生成提供更多信息，使答案更符合要求。 向量：可把向量想象成空间中的点位，每个词或短语对应一个点，系统通过比较点的距离快速找到语义接近的词语或信息。 Agentic AI 中的问答： 对于最简单的常识性问答，可在 CursorChat 中输入问题得到答案，其相对细节的优势是可在同一界面调用 OpenAI、Anthropic 及本机私有 AI 进行问答。此外，Cursor 作为编辑器，可方便收集沉淀问答结果为复用文档，在进行文本相关任务时还有奇妙用法，如翻译中文博客。
2025-03-26
数据问答的最佳实践
以下是关于数据问答最佳实践的相关内容： Databricks： Databricks 作为大数据领域的领先服务商，在 RAG 设计上有自身特点和优势。用户输入问题后，从处理好的文本向量索引获取相关信息，结合提示词工程生成回答。上半部分 Unstructured Data pipeline 采用主流 RAG 方法，下半部分 Structured Data Pipeline 是其特征工程处理流程，也是最大特点。Databricks 从专业大数据角度出发，在准确度较高的数据存储中进行额外检索，发挥在 Real Time Data Serving 上的优势。可见其在 GenAI 时代将强大的 Lakehouse 数据处理能力与生成式 AI 技术深度融合，构建一体化解决方案。 OpenAI： 从 OpenAI Demo day 的演讲整理所得，在提升 RAG 准确率的成功案例中，OpenAI 团队从 45%的准确率开始，尝试多种方法。包括假设性文档嵌入（HyDE）和精调嵌入等，但效果不理想。通过尝试不同大小块的信息和嵌入不同内容部分，准确率提升到 65%。通过 Reranking 和对不同类别问题特别处理，进一步提升到 85%。最终，结合提示工程、查询扩展等方法，达到 98%的准确率。团队强调模型精调和 RAG 结合使用的强大潜力，仅通过简单的模型精调和提示工程就接近行业领先水平。 Loop： 具有环状结构的 RAG Flow 是 Modular RAG 的重要特点，检索和推理步骤相互影响，通常包括一个 Judge 模块控制流程，具体可分为迭代、递归和主动检索三种。 迭代检索：对于一些需要大量知识的复杂问题，可采用迭代方式进行 RAG，如 ITERRETGEN。每次迭代利用前一次迭代的模型输出作为特定上下文帮助检索更相关知识，通过预设迭代次数判断终止。 递归检索：特点是明显依赖上一步并不断深入检索，通常有判断机制作为出口，需搭配 Query Transformation，每次检索依赖新改写的 Query。典型实现如 ToC，从初始问题通过递归执行 RAC 逐步插入子节点到澄清树中，达到最大数量有效节点或最大深度时结束，然后收集所有有效节点生成全面长文本答案回答初始问题。
2025-03-17
如何搭建一个你这样的知识库智能问答机器人，有相关的流程教程吗？
搭建一个知识库智能问答机器人通常包括以下流程： 1. 基于 RAG 机制： RAG 机制全称为“检索增强生成”，是一种结合检索和生成的自然语言处理技术。它先从大型数据集中检索与问题相关的信息，再利用这些信息生成回答。 要实现知识库问答功能，需创建包含大量文章和资料的知识库，例如有关 AI 启蒙和信息来源的知识库，并通过手工录入方式上传文章内容。 2. 利用 Coze 搭建： 收集知识：确认知识库支持的数据类型，通过企业或个人沉淀的 Word、PDF 等文档、云文档（通过链接访问）、互联网公开内容（可安装 Coze 提供的插件采集）等方式收集。 创建知识库。 创建数据库用以存储每次的问答。 创建工作流： 思考整个流程，包括用户输入问题、大模型通过知识库搜索答案、大模型根据知识库内容生成答案、数据库存储用户问题和答案、将答案展示给用户。 Start 节点：每个工作流默认都有的节点，是工作流的开始，可定义输入变量，如 question，由 Bot 从外部获取信息传递过来。 知识库节点：输入为用户的查询 Query，输出为从知识库中查询出来的匹配片段。注意查询策略，如混合查询、语义查询、全文索引等概念。 变量节点：具有设置变量给 Bot 和从 Bot 中获取变量的能力。 编写 Bot 的提示词。 预览调试与发布。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge
2025-03-14
有哪些好用的搭建知识库然后进行问答的 AI 工具？
以下是一些好用的搭建知识库然后进行问答的 AI 工具： 1. DIN： 搭建 OneAPI，用于汇聚整合多种大模型接口。 搭建 FastGpt，这是一个知识库问答系统，可放入知识文件，并接入大模型作为分析知识库的大脑，它有问答界面。 搭建 chatgptonwechat，将知识库问答系统接入微信，但建议先用小号以防封禁风险。 2. Coze： 知识库问答是其最基础的功能，利用了大模型的 RAG 机制（检索增强生成）。 RAG 机制先从大型数据集中检索与问题相关的信息，再利用这些信息生成回答。 实现知识库问答功能需创建包含大量 AI 相关文章和资料的知识库，通过手工录入上传内容。 在设计 Bot 时添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以更好地结合知识库返回的内容进行回答。
2025-03-05
有哪些好用的搭建知识库然后进行问答的 AI 工具？
以下是一些好用的搭建知识库然后进行问答的 AI 工具： 1. DIN： 搭建步骤： 搭建 OneAPI（https://github.com/songquanpeng/oneapi），用于汇聚整合多种大模型接口。 搭建 FastGpt（https://fastgpt.in/），这是一个知识库问答系统，将知识文件放入，并接入大模型作为分析知识库的大脑，它有问答界面。 搭建 chatgptonwechat（https://github.com/zhayujie/chatgptonwechat），接入微信，配置 FastGpt 把知识库问答系统接入到微信，建议先用小号以防封禁风险。 2. Coze： 知识库问答利用了大模型的 RAG 机制，全称为“检索增强生成”（RetrievalAugmented Generation）。 RAG 机制先从大型数据集中检索与问题相关的信息，再使用这些信息生成回答。 实现知识库问答功能，需创建包含大量 AI 相关文章和资料的知识库，通过手工录入上传文章内容。在设计 Bot 时，添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以结合知识库返回的内容进行回答。
2025-03-05