Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

deepseek适合做ai知识库检索工具吗

Answer

DeepSeek 是基于 AI 模型的产品，只是品牌名，需要搭配具体模型，如 DeepSeek V3（类 GPT-4o）和 DeepSeek R1（类 OpenAI o1）。

文本嵌入可用于实现高效的知识检索，相似或相关的字符串在嵌入空间中靠得更近，利用快速向量搜索算法，一个文本语料库可以被分割成块，给定的查询被嵌入后，能进行向量搜索找到最相关的嵌入文本块。

知识库就像 AI 的“活字典”，可以随时更新，例如包含最新新闻、科技发展、法律法规等内容，AI 遇到不确定问题时可从中检索相关信息给出更准确回答，像很火的 AI 搜索就是将整个互联网实时数据作为知识库。

但仅根据上述信息，不能明确判断 DeepSeek 是否适合做 AI 知识库检索工具，还需要综合考虑其具体性能、与您需求的匹配度等多方面因素。

Content generated by AI large model, please carefully verify (powered by aily)

References

目录：OpenAI 官方指南

如果作为输入的一部分提供，模型可以利用外部信息源。这可以帮助模型生成更明智和最新的响应。例如，如果用户询问有关特定电影的问题，将有关电影的高质量信息（例如演员、导演等）添加到模型的输入中可能会很有用。嵌入可用于实现高效的知识检索，以便在运行时将相关信息动态添加到模型输入中。文本嵌入是一个向量，可以衡量文本字符串之间的相关性。相似或相关的字符串将比不相关的字符串靠得更近。这一事实以及快速向量搜索算法的存在意味着嵌入可用于实现高效的知识检索。特别是，一个文本语料库可以被分割成块，每个块都可以被嵌入和存储。然后，给定的查询可以被嵌入，可以进行向量搜索，以找到与查询最相关的语料库的嵌入文本块（即，在嵌入空间中最接近的）。可以在[OpenAI Cookbook](https://github.com/openai/openai-cookbook/blob/main/examples/vector_databases/Using_vector_databases_for_embeddings_search.ipynb)中找到示例实现。[有关如何使用知识检索来最小化模型编造](https://platform.openai.com/docs/guides/gpt-best-practices/tactic-instruct-the-model-to-use-retrieved-knowledge-to-answer-queries)错误事实的可能性的示例，请参阅策略“指示模型使用检索到的知识来回答查询”。

宝玉 日报

Deep Research是基于AI模型的产品，使用GPT-4o、o3等推理模型，结合UI交互、搜索引擎等。DeepSeek只是品牌名，需要搭配具体模型，如DeepSeek V3（类GPT-4o）和DeepSeek R1（类OpenAI o1）。?[https://x.com/dotey/status/1886816305719681203](https://x.com/dotey/status/1886816305719681203)4⃣️?比尔·盖茨新回忆录《Source Code》成长故事：从“怪胎少年”到微软创始人的经历。婚姻与财富：离婚后两年陷入低谷，如今与前甲骨文CEO遗孀宝拉·赫德交往。社交媒体担忧：认为社交平台已到危险“临界点”，尤其对青少年影响深远。对AI与科技的看法：更关注现实问题，而非“冷冻身体”或延长寿命研究。?文章原文：?[https://www.thetimes.com/life-style/celebrity/article/bill-gates-interview-new-book-memoir-wh766b9bs](https://www.thetimes.com/life-style/celebrity/article/bill-gates-interview-new-book-memoir-wh766b9bs)?完整译文：?[https://mp.weixin.qq.com/s/5QXrlyEsFLQAodF2xVmmZA?token=1639803888&lang=zh_CN](https://mp.weixin.qq.com/s/5QXrlyEsFLQAodF2xVmmZA?token=1639803888&lang=zh_CN)5⃣️?Figure机器人公司宣布退出OpenAI合作

胎教级教程：万字长文带你理解 RAG 全流程

活字典是针对知识库一个非常贴切的比喻还记得我们说过AI的知识会"过期"吗？解决这个问题的一个好方法就是给AI配备一个随时更新的"活字典"，我们称之为知识库。知识库就像是AI可以随时查阅的百科全书。当AI遇到不确定的问题时，它可以从知识库中检索相关信息，从而给出更新、更准确的回答。比如，我们可以建立一个包含最新新闻、科技发展、法律法规等内容的知识库。这样，即使AI的基础模型没有得到更新，它也能通过查阅知识库来回答有关最新事件的问题。比如很火的AI搜索，其实就是将整个互联网的实时数据作为知识库，每次被询问时都可以通过搜索引擎获取最新的信息。旁白：你很激动，当你听到关于对RAG的解释的时候，你觉得你找到了一条正确的路。RAG也许可以帮你解决每天回答那些重复问题的困扰，你怀着激动的心情开始了RAG学习之旅

Others are asking
如何让企业微信可以接上 AI？让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑： 法律法规方面：《促进创新的人工智能监管方法》指出，AI 的发展带来了一系列新的安全风险，如对个人、组织和关键基础设施的风险。在设备风控中，需要关注法律框架是否能充分应对 AI 带来的风险，如数据隐私、公平性等问题。 趋势研究方面：在制造业中，AI Agent 可用于生产决策、设备维护、供应链协调等。例如，在工业设备监控与预防性维护中，Agent 能通过监测传感器数据识别异常模式，提前通知检修，减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面，AI Agent 也能发挥重要作用，实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
deepseek官方教程
以下是关于 DeepSeek 的官方教程相关信息： 火山方舟 DeepSeek 申请免费额度教程，包含多种 API 使用方式，如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA，通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens，畅享 671B DeepSeek R1，活动截止至北京时间 20250218 23:59:59。同时，火山方舟大模型服务平台的模型服务计费文档有更新，DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐，如让模型创作诗歌、生成宣传标语、提示库（https://apidocs.deepseek.com/zhcn/promptlibrary）、代码解释、内容分类、角色扮演（自定义人设）、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中，有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容，还附上了飞书多维表格、Coze 的接入使用方法等。此外，还有关于 DeepSeek 关键 9 篇论文及创新点的讲解，以及 DeepSeek 官方发布的 R1 模型推荐设置。
2025-04-15
我想让DEEPSEEK帮我写一篇论文，题目已经定好了，怎么给他输入指令
以下是给 DeepSeek 输入指令以帮助您写论文的一些建议： 1. 采用结构化提示词： 优先保留专业领域术语和技术词汇，这些术语通常具有高信息价值。 对不同类型的信息设置权重，按优先级排序：任务定义>关键约束>专业术语>定量信息>方法论>背景。 以完整语义单元为基本保留单位，而非单个词语，确保压缩后的内容仍保持语义完整性。 避免详细指导思考过程，让模型自主生成思维链。 2. 高阶能力调用： 文风转换矩阵：例如“用鲁迅杂文风格写职场 PUA 现象”“将产品说明书改写成《史记》列传格式”“把这篇论文摘要翻译成菜市场大妈能听懂的话”。 领域穿透技术：如行业黑话破解“解释 Web3 领域的'胖协议瘦应用'理论”。 3. 场景化实战策略： 创意内容生成。 技术方案论证。 4. 效能增强技巧： 对话记忆管理：包括上下文锚定（如“记住当前讨论的芯片型号是麒麟 9010”）、信息回溯（如“请复述之前确认的三个设计原则”）、焦点重置（如“回到最初讨论的供应链问题”）。 输出质量控制：针对过度抽象、信息过载、风格偏移等问题，使用相应的修正指令。 5. 特殊场景解决方案： 长文本创作：可采用分段接力法，如“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应”。 敏感内容处理：使用概念脱敏法（如“用经济学原理类比说明网络审查机制”）或场景移植法（如“假设在火星殖民地讨论该议题”）。 在输入指令时，您需要清晰明确地描述论文的题目、研究目的、主要论点、关键论据、期望的结构和风格等重要信息，以便 DeepSeek 能够为您生成符合要求的内容。
2025-04-14
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤： 1. 逐步搭建 AI 智能体： 搭建整理入库工作流。 设置大模型节点提取稍后读元数据，使用 MiniMax 6.5s 245k，设置最大回复长度至 50000，以确保能完整解析长内容网页。 进行日期转时间戳，后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳，需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式，飞书多维表格插件目前（2024 年 08 月）只支持带有转义符的 string，以 Array<Object>格式输入，所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件，只需要设置{{app_token}}与{{records}}参数，将元数据写入飞书表格。 2. 搭建 Coze 工作流： 打开 Coze 的主页，登录后，在【工作空间】创建一个智能体。 在编排页面，给智能体编辑好人设，可先写一个简单的，然后点右上角自动优化，系统会自动补全更精细的描述。点击工作流的+，创建一个工作流。 大模型节点把 input 给到 DeepSeek，让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时，两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时，如果需要 input 可被 DeepSeek 调用，需要用{{input}}作为参数引入，不然大模型不知道自己需要生成和这个 input 相关的结果。编排完，点击【试运行】，调试至满意后点击发布。
2025-04-14
Deepseek自动生成网站前端页面
以下是关于 DeepSeek 自动生成网站前端页面的相关内容： DeepSeek v3 能力更新后虽能生成炫目的前端页面，但多为静态且实用性有限。可结合飞书多维表格将生成的漂亮前端变为真实的系统，如【智能作业分发系统】。 该系统整体包括用户登陆（可加飞书调查表二维码实现注册）、作业类型、作业详情（含连连看游戏、AI 智能问答、考试系统）。其实现逻辑为用户登陆系统后进入页面看到老师分配的作业分类，选择分类进入作业详情页面，详情页有学习单词发音及三个模块。 对于小白，可用飞书作数据源，通过飞书 API 接口获取内容，用 DeepSeek v3 制作前端+后端（用 Trae 更方便）。获取请求参数时，测试成功后的示例代码中有完整的请求参数和请求体可直接复制使用。创建前后端时，若用 DeepSeek 官网搭建需按代码目录结构创建对应文件（用 Trae 可省略），首次运行可能遇到飞书 API 未正确配置 CORS 导致浏览器拦截请求的问题，V3 会给出修改意见。 此外，Same dev 能像素级复制任意 UI 界面并生成前端代码，支持多种文件格式和技术栈代码，但免费额度消耗快，网站被谷歌标记。360 智脑复现了 DeepSeek 强化学习效果并发布开源模型 LightR114BDS。 AI 时代生存法则：会提需求比会写代码更重要，会开脑洞比会复制粘贴更值钱，真正的大佬都是让 AI 当乙方！
2025-04-13
deepseek写论文
以下是关于 DeepSeek 在不同方面应用的相关信息： 应用场景：包括脑爆活动方案、会议纪要、批量处理客户评论、分析总结复盘内容、生成专业软件使用过程、写小说框架、写论文、写文案、写小红书笔记、写周报、做设计头脑风暴、做网站、分析感情问题等。 优势与不足：在写文方面全面领先，但长文可能太发散、文风用力过猛导致审美疲劳，且模型多样性不够，相同 prompt 提问多次答案雷同。 应对策略：写理性文章时，可先与 DeepSeek 讨论思路，再用 Cloud 3.5 批量生成；用 O1 模型对创作的字数控制有一定效果，也可通过多轮对话让 AI 增删改查来调整字数。 创作相关：模仿特定小说家的文学方式创作小说，需在提示词中描述文风特征；邀请大家在腾讯频道发布用 AI 写的小说并鉴赏。 发展历程：DeepSeek 历时 647 天在大语言模型（LLM）领域取得突破，发布 13 篇论文。谷歌 CEO 坦言 Deep Seek 的突破标志着 AI 的全球化进程。
2025-04-13
使用Deepseek写论文有哪些固定指令模板
以下是使用 DeepSeek 写论文的一些指令模板： 1. 进阶控制技巧： 思维链引导： 分步标记法：请逐步思考：1.问题分析→2.方案设计→3.风险评估 苏格拉底式追问：在得出最终结论前，请先列举三个可能存在的认知偏差 知识库调用： 领域限定指令：基于 2023 版中国药典，说明头孢类药物的配伍禁忌 文献引用模式：以 Nature 2022 年发表的论文为参考，解释 CRISPRCas9 最新突破 多模态输出 2. 高级调试策略： 模糊指令优化： 问题类型：宽泛需求 修正方案：添加维度约束 示例对比：原句：“写小说”→修正：“创作以 AI 觉醒为背景的悬疑短篇，采用多视角叙事结构” 问题类型：主观表述 修正方案：量化标准 示例对比：原句：“写得专业些”→修正：“符合 IEEE 论文格式，包含 5 项以上行业数据引用” 迭代优化法： 首轮生成：获取基础内容 特征强化：请加强第三段的技术细节描述 风格调整：改用学术会议报告语气，添加结论部分 最终校验：检查时间逻辑一致性，列出可能的事实性错误 3. 核心原理认知： AI 特性定位： 多模态理解：支持文本/代码/数学公式混合输入 动态上下文：对话式连续记忆（约 8K tokens 上下文窗口，换算成汉字是 4000 字左右） 任务适应性：可切换创意生成/逻辑推理/数据分析模式 系统响应机制： 采用意图识别+内容生成双通道 自动检测 prompt 中的：任务类型/输出格式/知识范围 反馈敏感度：对位置权重（开头/结尾）、符号强调敏感 4. 基础指令框架： 四要素模板 格式控制语法： 强制结构：使用```包裹格式要求 占位符标记：用{{}}标注需填充内容 优先级符号：>表示关键要求，!表示禁止项 5. 高阶能力调用： 文风转换矩阵： 作家风格移植：“用鲁迅杂文风格写职场 PUA 现象” 文体杂交：“将产品说明书改写成《史记》列传格式” 学术口语化：“把这篇论文摘要翻译成菜市场大妈能听懂的话” 领域穿透技术：行业黑话破解→“解释 Web3 领域的‘胖协议瘦应用’理论” 商业决策支持 6. 场景化实战策略： 创意内容生成 技术方案论证 7. 效能增强技巧： 对话记忆管理： 上下文锚定：“记住当前讨论的芯片型号是麒麟 9010” 信息回溯：“请复述之前确认的三个设计原则” 焦点重置：“回到最初讨论的供应链问题” 输出质量控制： 问题类型：过度抽象 修正指令：“请具体说明第三步操作中的温度控制参数” 问题类型：信息过载 修正指令：“用电梯演讲格式重新组织结论” 问题类型：风格偏移 修正指令：“回归商务报告语气，删除比喻修辞” 8. 特殊场景解决方案： 长文本创作： 分段接力法：“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应” 敏感内容处理： 概念脱敏法：“用经济学原理类比说明网络审查机制” 场景移植法：“假设在火星殖民地讨论该议题”
2025-04-13
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
联网检索的ai
以下是关于联网检索的 AI 的相关信息： 存在能联网检索的 AI，它们通过连接互联网，实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。 例如 ChatGPT Plus 用户现在可以开启 web browsing 功能实现联网。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 常见的 AI 助手采用通过联网搜索获取实时信息。当用户开启联网搜索时，助手先将用户的请求发送至搜索引擎，再将返回内容与用户输入一起提供给大模型，最终生成回答。搜索引擎在此作为实时信息源，为大语言模型提供额外的上下文。 如果希望 AI 能提供行业内部信息、或者研发的自有系统内的信息，AI 联网搜索的效果就很不好，甚至无法实现。用户可以自行搭建 AI 代理，将自有系统的数据通过 API 的形式接入 AI 助手，为大语言模型补充提供丰富的上下文信息。 MCP 协议解决了 AI 大模型与数据源集成碎片化的问题，提供统一标准，让开发者无需为每个数据源和 AI 助手单独开发连接器。通过 MCP，数据源和 AI 工具可建立安全双向连接，使 AI 在不同工具和数据集间流畅协作，实现更可持续的架构。 在完成意图识别，确认需要联网检索之后，可以对用户的 query 进行改写（Rewrite）。Query Rewrite 的目的，是为了得到更高的检索召回率。Query Rewrite 可以通过设置提示词请求大模型完成，主要包括三个维度的改写： 让提问有更精准/更专业的表达。比如用户搜索“ThinkAny”，改写后的 query 可以是“ThinkAny 是什么？”，再把问题翻译成英文“ What is ThinkAny ”，同一个问题，双语分别检索一次，得到更多的参考信息。 补全上下文，做指代消解。比如用户搜索“ThinkAny 是什么？”，得到第一次回复后继续追问“它有什么特点？”，用历史对话内容作为上下文，把第二次 query 改写成“ThinkAny 有什么特点？”，指代消解后再去检索，会有更高的召回率。 名词提取。比如用户搜索“ThinkAny 和 Perplexity 有什么区别？”，可以把“ThinkAny”和“Perplexity”两个名词提取出来，分别检索。 提升 AI 搜索准确度，另一个关键措施就是做多信息源整合。结合上面提到的意图识别和问题改写，假设用户搜索“ThinkAny 和 Perplexity 的区别是什么？”，根据意图识别，判断需要联网，并且是信息查询类的搜索意图。在问题改写阶段，提取出来“ThinkAny”和“Perplexity”两个概念名词，除谷歌检索之外，还可以检索 Wikipedia/Twitter 等信息源，拿到百科词条内容和 Twitter 的用户反馈信息，可以更好地回答这个问题。AI 搜索最大的壁垒在于数据。 内容由 AI 大模型生成，请仔细甄别。
2025-04-09
你这个知识库和检索是用什么搭建的？
我们的知识库和检索主要基于以下原理和流程搭建： 1. 文本预处理：包括去除无关字符、标准化文本（如将所有字符转换为小写）、分词等，以清洁和准备文本数据。 2. 嵌入表示：将预处理后的文本（词或短语）转换为向量。通常通过使用预训练的嵌入模型，如 Word2Vec、GloVe、BERT 等，将每个词或短语映射到高维空间中的一个点（即向量）。 3. 特征提取：对于整个问题句子，可能应用进一步的特征提取技术，比如句子级别的嵌入，或使用深度学习模型（如 BERT）直接提取整个句子的表示，以捕捉句子的上下文信息。 4. 向量优化：在某些情况下，问题的向量表示可能会根据具体任务进行优化，例如通过调整模型参数来更好地与检索系统的其他部分协同工作。 在知识库检索阶段： 1. 首先需要有一个知识库。在大模型的检索中，并非依靠传统的关键字搜索，而是依靠问题在空间中的向量位置，去寻找距离这个向量最近的其他词句，然后完成检索。 2. 要在向量中进行检索，我们的知识库会被转化成一个巨大的向量库。具体流程包括文档向量化、文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）以及输出（把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起生成更加合理的答案）。
2025-03-25
检索有关AI入门必读书籍
以下是为您推荐的 AI 入门必读书籍： 1. 「」，有助于熟悉 AI 的术语和基础概念。 2. 「」，其中包含为初学者设计的课程。 3. GPT1 到 Deepseek R1 所有公开论文 The 2025 AI Engineer Reading List：涉及人工智能工程的 10 个领域，包括 LLMs、基准、提示、RAG、代理、CodeGen、视觉、语音、扩散、微调。如果您想从零开始，可以从此处开始。 4. 入门经典必读：作者为 ，原文地址：https://a16z.com/2023/05/25/aicanon/ 。文中分享了一份用于更深入了解现代 AI 的精选资源列表。
2025-03-17
如何设置知识库才可以提高检索效率
以下是一些提高知识库检索效率的方法： 1. 文档分块： 分块是为了后续的检索能返回更精准的答案。 避免把整个使用手册作为一个整体检索，防止返回大量无关信息。 适应模型输入限制，确保能将相关信息输入到模型中，不超出其处理能力。 提升回答质量，让大语言模型更集中地理解和回答特定问题。 优化向量表示，得到更精确的向量，提高检索准确性。 2. 选择合适的工具和平台： 如使用 Coze 时： 可以使用外贸大师产品的帮助文档进行演示。 选择其中一个文档创建知识库，如“购买后新人常见问题汇总·语雀”。 点击创建知识库，从知识库中添加知识单元，使用 Local doucuments 的方式，上传 Markdown 格式文档，注意每个问题使用“”开头。 但要注意文档的分片策略会严重影响查询结果，跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等是基于 RAG 方案自身原理导致的问题。 如使用百炼时： 在百炼控制台的中的非结构化数据页签中点击导入数据，上传相关文档。 根据文档大小，百炼需要一定时间解析，通常占用 1 6 分钟。 进入，创建新的知识库并选择上传的文件，其他参数保持默认，建立索引。 选择向量存储类型时，若希望集中存储、灵活管理多个应用的向量数据，可选择 ADB PG。 完成知识库创建后，返回，打开知识检索增强开关、选择目标知识库，测试验证符合预期后点击发布。 特别需要注意的是，不同工具和平台可能存在各自的特点和限制，需要根据实际情况进行选择和优化。
2025-03-14
有没有路径可以围绕DS、豆包等大模型的检索结果做优化的路径
围绕 DS、豆包等大模型的检索结果做优化的路径包括以下方面： 首先，通过集成收集 AI 反馈（AIF）聊天模型完成情况，然后利用 GPT4（UltraFeedback）进行评分并二值化为偏好。其中，Step2AIF 在某种程度上是一种 selfplay，通过多模型 prompt 生成来进行 RL。在模型最终采用的 DPO 算法的 SFT 过程中，用于最终模型 SFT 所训练的 AIF 数据集与原始 pretraining 数据集在数据（tokens）序列组织构象上存在差异，这是一种 Synthetic Data 的路径，关键在于这种 Synthetic Data 与原始 Data 在特征与知识分布上的差异。 DPO 算法通俗来讲，当一个答案是好的答案时，模型要尽可能增大其被策略模型生成的概率；当一个答案是差的答案时，模型则需要尽可能降低其被策略模型生成的概率。 以上是在 RL×LLM 方面的一些探索，接下来需要将上述模型案例以及延展的思考进行沉淀，回归第一性原理进行更进一步的本质探寻，以找到两者之间隐含的共性、差异以及呈现当前技术发展路径与现状的必然性。
2025-03-04
增强检索生成
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 通用语言模型通过微调可完成常见任务，而对于更复杂和知识密集型任务，基于语言模型构建访问外部知识源的系统能使结果更符合事实、更可靠，缓解“幻觉”问题。Meta AI 的研究人员引入了 RAG 方法来完成这类任务，它把信息检索组件和文本生成模型结合在一起，可微调且内部知识修改高效，无需重新训练整个模型。 RAG 工作流程如下： 1. 检索：利用用户查询从外部知识源获取相关信息，将查询转化为向量与向量数据库比对，找到最匹配的前 k 个数据作为补充背景信息。 2. 数据库索引：包括离线获取数据、清理提取原始数据、转换文件格式、分块、嵌入和创建索引等步骤。 3. 增强：将用户查询和检索到的额外信息嵌入预设提示模板。 4. 生成：将问题与相关文档合并为新提示信息，由大语言模型回答问题，可选择依赖知识库或仅基于给定信息，也可融入历史对话信息支持多轮对话。 LLM 需要 RAG 的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，易受幻觉等问题干扰。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，无学习风险。 2. 数据库数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确结构化，降低大模型输出出错可能。 4. 便于管控用户隐私数据，可控、稳定、准确。 5. 降低大模型训练成本，新知识存储在数据库无需频繁更新模型。
2025-02-24