Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地化搭建问答机器人流程

Answer

本地化搭建问答机器人的流程如下:

  1. 加载所需的库和模块:包括用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前需确保 ollama 服务已开启并下载好模型)。
  2. 从订阅源获取内容:通过函数从指定的 RSS 订阅 url 提取内容,如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回用于后续处理或提取。
  3. 为文档内容生成向量:使用文本向量模型 bge-m3(从 hf 下载好模型后假设放置在某个路径,通过函数利用 FAISS 创建高效的向量存储)。
  4. 推荐 RSSHub 项目:可将关注的信息汇聚在同一平台,一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源,大部分社交媒体、传统媒体和金融媒体都能配合订阅。
  5. 流程拆解:
    • 创建 Python 虚拟环境,并安装相关库,如 ollama(0.1.8)、langchain(0.1.14)、faiss-cpu(1.8.0,有 gpu 则安装 gpu 版本)、gradio(4.25.0)、feedparser(6.0.11)、sentence-transformers(2.6.1)、lxml(5.2.1)。
  6. 了解 ollama:
    • 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。
    • 易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。
    • 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件,模型库可通过 https://ollama.com/library 查找。
    • 支持自定义模型,可修改温度参数等。
    • 提供 REST API 用于运行和管理模型及与其他应用集成。
    • 社区贡献丰富,有多种集成插件和界面。
    • 先安装 ollama,访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动(在 mac 上启动应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认,未下载模型时正常显示空,可通过 ollama 命令下载模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

加载所需的库和模块。其中,feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型,使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容,这里只是给了一个url,如果需要接收多个url,只要稍微改动即可。然后,通过一个专门的文本拆分器将长文本拆分成较小的块,并附带相关的元数据如标题、发布日期和链接。最终,这些文档被合并成一个列表并返回,可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里,我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型,它具有以下特点:支持超过100种语言的语义表示及检索任务,多语言、跨语言能力全面领先(M ulti-Lingual)最高支持8192长度的输入文本,高效实现句子、段落、篇章、文档等不同粒度的检索任务(M ulti-Granularity)同时集成了稠密检索、稀疏检索、多向量检索三大能力,一站式支撑不同语义检索场景(M ulti-Functionality)从hf下载好模型之后,假设放置在某个路径/path/to/bge-m3,通过下面函数,利用FAISS创建一个高效的向量存储。|实现RAG

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

在这种情况下,我们可能会把网站添加到书签栏,然后时不时就会打开看一下,这种做法无疑是比较低效的,一旦网站变多,更是不现实。如果我们能把真正想要关注的信息汇聚在同一个平台上,并且一旦有更新,就能第一时间在各种终端(如电脑、手机、Kindle等)收到提醒,那岂不是美哉。这里,我给大家推荐一个宝藏项目:RSSHubhttps://docs.rsshub.app/zh/感谢RSSHub这个开源项目,它给各种各样的网站生成了RSS源,堪称「万物皆可RSS」。你能想到的大部分社交媒体(如微博、Twitter、知乎等)、传统媒体(如央视新闻、路透社等)和金融媒体(如财联社、东方财富、格隆汇等),都能够配合RSSHub,进行订阅。通过RSSHub以及其他渠道,我个人维护了一个订阅源,如下:感兴趣的读者,关注本公众号,然后发送rss,即可下载我打包好的RSS订阅源。那么,有了RSS订阅源,我们就可以通过Python解析RSS订阅源来实时获取相关数据。流程拆解有了数据,就意味着成功了一半。|创建Python虚拟环境创建python虚拟环境,并安装相关库,我安装的是当前最新的库,版本如下:ollama:0.1.8langchain:0.1.14faiss-cpu:1.8.0(如果有gpu,则安装gpu版本)gradio:4.25.0feedparser:6.0.11sentence-transformers:2.6.1lxml:5.2.1|导入依赖库

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型:Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型,这些模型可用于不同的应用场景。2.易于使用:Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型,适用于macOS、Windows和Linux系统,同时支持cpu和gpu。3.模型库:Ollama提供了一个模型库,用户可以从中下载不同的模型。这些模型有不同的参数和大小,以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型:用户可以通过简单的步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。5.API和集成:Ollama还提供了REST API,用于运行和管理模型,以及与其他应用程序的集成选项。6.社区贡献:Ollama社区贡献丰富,包括多种集成插件和界面,如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说,Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架,具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama,我们需要先安装,访问以下链接进行下载安装。https://ollama.com/download/安装完之后,确保ollama后台服务已启动(在mac上启动ollama应用程序即可,在linux上可以通过ollama serve启动)。我们可以通过ollama list进行确认,当我们还没下载模型的时候,正常会显示空:可以通过ollama命令下载模型,目前,我下载了4个模型:几个模型简介如下:

Others are asking
AI本地化部署
AI 本地化部署主要包括以下内容: 目前市面上的 AI 有线上和线下本地部署两种方式。线上部署出图速度快,不吃本地显卡配置,无需下载大模型,但出图分辨率受限;线下部署可自己添加插件,出图质量高,但使用时电脑易宕机,配置不高可能爆显存导致出图失败。 线上和线下平台可结合使用,充分发挥各自优势。线上用于找参考、测试模型,线下作为主要出图工具。具体操作如在在线绘图网站的绘图广场上发现想要的画风,点击创作会自动匹配创作使用的模型、lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次、多数量尝试不同画风得出符合游戏的模型+lora 组合,最后在 C 站下载对应模型到本地加载部署即可生图。 此外,Mistral AI 推出的 Mistral Saba 模型可本地部署,适用于单 GPU,能保障数据隐私。
2025-03-27
我想搭建个人rag知识库,实现本地化部署,可以调用本地大模型去分析知识库的内容进行解答
以下是搭建个人 rag 知识库并实现本地化部署,调用本地大模型分析知识库内容进行解答的详细步骤: 一、通过 Open WebUI 使用大模型 1. 访问相关网址,使用邮箱注册账号。 2. 登陆成功后,Open WebUI 一般有两种使用方式,包括聊天对话和 RAG 能力(让模型根据文档内容回答问题,这是构建知识库的基础之一)。 3. 如果要求不高,此时已搭建本地大模型,并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库,需使用额外软件 AnythingLLM,其包含 Open WebUI 的所有能力,并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步:选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念,可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间,然后上传文档并在工作空间中进行文本嵌入,选择对话模式(包括 Chat 模式和 Query 模式),最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前,需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程: 1. 文档加载:从多种来源加载文档,LangChain 提供 100 多种不同的文档加载器,包括非结构化、结构化数据及代码等。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或“文档片”。 3. 存储:涉及将切分好的文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 4. 检索:通过检索算法找到与输入问题相似的嵌入片。 5. 输出:把问题及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中,便于后续处理。
2025-03-25
deepseek本地化部署
DeepSeek 的本地化部署相关内容如下: 拥有云服务器时的本地部署方法及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 此外,还包括以下相关内容: 模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较:R1 是原生通过强化学习训练出的模型,蒸馏模型是基于数据微调出来的,基础模型能力强,蒸馏微调模型能力也会强。R1 模型通过强化学习,在训练过程中给予模型反馈,如路线规划是否成功到达终点、输出格式是否符合期望等,对正确路线增强权重,使做对的概率变高,导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据,基于 Deepseek V3 微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成 R1。并且 Deepseek R1 反过来蒸馏数据微调 V3,形成互相帮助的局面,使两个模型都更强。 阿里云派平台:以云基础设施和 GPU 算力资源为底层,搭建 AI 框架并做优化,提供一键式快捷部署工具等。与百炼不同,它开放更多自由度,租户数据隔离。很多大模型在此训练,支持多机分布式部署等,既面向企业,也适合个人创业者,不同应用定价有差异。
2025-03-10
进行DeepSeek本地化部署有哪些方法?
进行 DeepSeek 本地化部署的方法如下: 如果拥有云服务器,可以进行本地部署,了解满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。
2025-03-08
我想完全本地化部署deepseek,然后,将我的文档,文本,图片等内容丢给它训练,微调。我要完全本地化,因为我的文档设计隐私。我要免费开源流程。如何实现,
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调,以下是一些相关的信息和步骤: 1. 模型训练与平台服务: 模型复现与微调:1:1 复现通常没问题,但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现,微调在特定领域可降低幻觉,参数量不变但权重变化。 训练模型的学习方法:先会用再学会训,从训的过程中倒推学习参数调整,这是以用导学的学习方法。 模型回答效果对比:微调后的模型在回答排列组合等问题时,思考前几乎无反馈,答案多为英文且格式稳定,但仍可能答错。 2. 平台服务介绍: 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台,二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题: 数据资源情况:默认提供公共数据训练集,百派平台能匹配模型和数据,通义开源了不少数据集。 多模态训练:多模态有自身标注方式,如视频拉框标注。 参数量变化:通常训练模型参数量固定,若想改变需改模型层,但可能要从头调。 本地微调框架:可使用 llama factory 等框架,需搭建并部署。 开源数据下载:可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化:将文档资料转成数据集可先手动形成 SOP,再逐步自动化,初期需大量人力。 4. 本地部署介绍:讲解了如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。 5. 免费额度说明:在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 6. 平台服务差异:介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。 R1 模型的强化学习:通过强化学习,在训练过程中给予模型反馈,如路线规划是否成功到达终点、输出格式是否符合期望等,对正确路线增强权重,使做对的概率变高,导致思考逻辑变长。 R1 模型的蒸馏与微调:用 Deepseek RE Zero 蒸馏出带思考的数据,基于 Deepseek V3 微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成 R1。 R1 与其他模型的差别:R1 是原生通过强化学习训练出的模型,蒸馏模型是基于数据微调出来的,基础模型能力强,蒸馏微调模型能力也会强。 模型的相互帮助:Deepseek R1 反过来蒸馏数据微调 V3,形成互相帮助的局面,使两个模型都更强。 请注意,在进行本地化部署和训练微调时,需要具备一定的技术知识和经验,并且要遵循相关的法律法规和道德规范。
2025-03-04
企业本地化部署AI
企业本地化部署 AI 主要包括以下方面: RPA 与财务税务问答机器人:RPA 与 AI 结合具有多种应用和优势。操作流程简单,无需代码,适合小白和无 IT 经验者。有众多应用案例,如奥康和方太在各部门的订单处理等操作中搭建了大量脚本。封装了众多组件,还可通过触发器设置机器人每天工作。数字化包括标准化、自动化、RPA 加 AI 使机器人更智能三个阶段,交付的是动态能力,让用户自己搭建机器人。产品可本地化私有部署,面向企业有费用,私有化部署能保障数据安全,企业大模型可封装调用。RPA 有容错处理方式,但受多种因素影响。 LangChain 与 NVIDIA:NVIDIA NIM 是一系列用户友好的微服务,旨在加速企业内部生成式 AI 的部署进程。支持广泛的 AI 模型,基于强大的推理引擎和技术构建,提供无缝的 AI 推理体验。其自托管特性可保障数据安全,提供预构建容器,具有可扩展性。开始使用 NIM 可在 NVIDIA API 目录中获取多种 AI 模型,它是 NVIDIA AI Enterprise 的一部分。 从 LLM 大语言模型、知识库到微信机器人:以 windows10 系统为例,安装环境时先在系统中输入“cmd”打开命令窗口,确认是否有 python 和 pip。若没有则需安装,如安装 python 可下载安装包。部署项目时下载 COW 机器人项目并解压缩。
2025-03-02
想创建一个对话问答形式的课程智能体
以下是创建一个对话问答形式的课程智能体的相关内容: 一、创建智能体 1. 知识库 手动清洗数据:本次创建知识库使用手动清洗数据,上节课程是自动清洗数据,自动清洗数据可能会出现数据不准的情况。 在线知识库:点击创建知识库,创建一个画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割,选择飞书文档、自定义的自定义,输入后可编辑修改和删除,添加 Bot 后可在调试区测试效果。 本地文档:本地 word 文件,注意拆分内容以提高训练数据准确度。画小二 80 节课程分为 11 个章节,不能一股脑全部放进去训练,应先将 11 章的大章节名称内容放进来,章节内详细内容按固定方式人工标注和处理,然后选择创建知识库自定义清洗数据。 2. 发布应用:点击发布,确保在 Bot 商店中能够搜到,否则获取不到 API。 二、智谱 BigModel 共学营活动分享 活动内容包括使用 BigModel 搭建智能体并接入微信机器人,过程为将调试好的智能体机器人拉入微信群,由老师提问,机器人回答,挑选出色回答整理成问卷,群成员投票,根据得票数确定奖项。一等奖得主分享了对活动的理解和实践,包括从题出发的分析,认为考验机器人对问题的理解和回答准确性,真实对话场景一般为完整句子回复,根据回答真实性和有趣程度评分,可使用弱智吧问题测试提示词生成效果。 三、名字写对联教学——优秀创作者奖,百宝箱智能体 1. 智能体类型的选择:建议选择工作流的对话模式,支持工作流编排和携带历史对话记录,创建后切换为对话模式,注意在调整工作流节点前切换,否则会清空重置。 2. 确认分支情况:根据需求分析有两个特定分支(根据名字和祝福写对联、根据幸运数字写对联)和一个默认分支。 3. 用户意图识别:通过理解用户意图走不同分支,注意将意图介绍写清楚准确。 4. 幸运数字分支:用代码分支获取用户输入数字,匹配知识库并做赏析,代码中有容错机制。 5. 名字写祝福:根据用户输入的名字和祝福信息,提示词生成对应对联并输出,主要是提示词调试。 6. 通用兜底回复:在用户不符合前两个意图时进行友好回复,匹配知识库,结合匹配结果、历史记录和当前输入输出符合对话内容的回复。 7. 知识库:使用大模型生成 100 对对联,好看、经典、有意义。
2025-04-09
专门解决ai需求的问答
以下是关于专门解决 AI 需求的问答的相关内容: 关于我是谁: 我是 WaytoAGI 专属问答机器人,基于 Aily 和云雀大模型。Aily 是飞书团队旗下的企业级 AI 应用开发平台,提供简单、安全且高效的环境,帮助企业构建和发布 AI 应用。云雀是字节跳动研发的语言模型,能通过自然语言交互完成互动对话、信息获取、协助创作等任务。 使用方法: 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接(最新二维码在知识库首页),加入后直接@机器人。 2. 在 WaytoAGI.com 的网站首页直接输入问题即可得到回答。 做问答机器人的原因: 1. 知识库内容庞大,新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性,无法准确理解语义。 3. 需要用更先进的 RAG 技术解决。 4. 在群中提供快速检索信息的便捷方式。 AI 商用级问答场景中让回答更准确: 要优化幻觉问题和提高准确性,需了解从“问题输入”到“得到回复”的过程,针对每个环节逐个调优。RAG(检索增强生成)由检索器和生成器组成,检索器从外部知识中找到相关信息,生成器利用这些信息制作精确连贯的答案,通过检索模式为大语言模型生成提供更多信息,使答案更符合要求。 向量:可把向量想象成空间中的点位,每个词或短语对应一个点,系统通过比较点的距离快速找到语义接近的词语或信息。 Agentic AI 中的问答: 对于最简单的常识性问答,可在 CursorChat 中输入问题得到答案,其相对细节的优势是可在同一界面调用 OpenAI、Anthropic 及本机私有 AI 进行问答。此外,Cursor 作为编辑器,可方便收集沉淀问答结果为复用文档,在进行文本相关任务时还有奇妙用法,如翻译中文博客。
2025-03-26
数据问答的最佳实践
以下是关于数据问答最佳实践的相关内容: Databricks: Databricks 作为大数据领域的领先服务商,在 RAG 设计上有自身特点和优势。用户输入问题后,从处理好的文本向量索引获取相关信息,结合提示词工程生成回答。上半部分 Unstructured Data pipeline 采用主流 RAG 方法,下半部分 Structured Data Pipeline 是其特征工程处理流程,也是最大特点。Databricks 从专业大数据角度出发,在准确度较高的数据存储中进行额外检索,发挥在 Real Time Data Serving 上的优势。可见其在 GenAI 时代将强大的 Lakehouse 数据处理能力与生成式 AI 技术深度融合,构建一体化解决方案。 OpenAI: 从 OpenAI Demo day 的演讲整理所得,在提升 RAG 准确率的成功案例中,OpenAI 团队从 45%的准确率开始,尝试多种方法。包括假设性文档嵌入(HyDE)和精调嵌入等,但效果不理想。通过尝试不同大小块的信息和嵌入不同内容部分,准确率提升到 65%。通过 Reranking 和对不同类别问题特别处理,进一步提升到 85%。最终,结合提示工程、查询扩展等方法,达到 98%的准确率。团队强调模型精调和 RAG 结合使用的强大潜力,仅通过简单的模型精调和提示工程就接近行业领先水平。 Loop: 具有环状结构的 RAG Flow 是 Modular RAG 的重要特点,检索和推理步骤相互影响,通常包括一个 Judge 模块控制流程,具体可分为迭代、递归和主动检索三种。 迭代检索:对于一些需要大量知识的复杂问题,可采用迭代方式进行 RAG,如 ITERRETGEN。每次迭代利用前一次迭代的模型输出作为特定上下文帮助检索更相关知识,通过预设迭代次数判断终止。 递归检索:特点是明显依赖上一步并不断深入检索,通常有判断机制作为出口,需搭配 Query Transformation,每次检索依赖新改写的 Query。典型实现如 ToC,从初始问题通过递归执行 RAC 逐步插入子节点到澄清树中,达到最大数量有效节点或最大深度时结束,然后收集所有有效节点生成全面长文本答案回答初始问题。
2025-03-17
如何搭建一个你这样的知识库智能问答机器人,有相关的流程教程吗?
搭建一个知识库智能问答机器人通常包括以下流程: 1. 基于 RAG 机制: RAG 机制全称为“检索增强生成”,是一种结合检索和生成的自然语言处理技术。它先从大型数据集中检索与问题相关的信息,再利用这些信息生成回答。 要实现知识库问答功能,需创建包含大量文章和资料的知识库,例如有关 AI 启蒙和信息来源的知识库,并通过手工录入方式上传文章内容。 2. 利用 Coze 搭建: 收集知识:确认知识库支持的数据类型,通过企业或个人沉淀的 Word、PDF 等文档、云文档(通过链接访问)、互联网公开内容(可安装 Coze 提供的插件采集)等方式收集。 创建知识库。 创建数据库用以存储每次的问答。 创建工作流: 思考整个流程,包括用户输入问题、大模型通过知识库搜索答案、大模型根据知识库内容生成答案、数据库存储用户问题和答案、将答案展示给用户。 Start 节点:每个工作流默认都有的节点,是工作流的开始,可定义输入变量,如 question,由 Bot 从外部获取信息传递过来。 知识库节点:输入为用户的查询 Query,输出为从知识库中查询出来的匹配片段。注意查询策略,如混合查询、语义查询、全文索引等概念。 变量节点:具有设置变量给 Bot 和从 Bot 中获取变量的能力。 编写 Bot 的提示词。 预览调试与发布。 海外官方文档:https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档:https://www.coze.cn/docs/guides/use_knowledge
2025-03-14
有哪些好用的搭建知识库然后进行问答的 AI 工具?
以下是一些好用的搭建知识库然后进行问答的 AI 工具: 1. DIN: 搭建 OneAPI,用于汇聚整合多种大模型接口。 搭建 FastGpt,这是一个知识库问答系统,可放入知识文件,并接入大模型作为分析知识库的大脑,它有问答界面。 搭建 chatgptonwechat,将知识库问答系统接入微信,但建议先用小号以防封禁风险。 2. Coze: 知识库问答是其最基础的功能,利用了大模型的 RAG 机制(检索增强生成)。 RAG 机制先从大型数据集中检索与问题相关的信息,再利用这些信息生成回答。 实现知识库问答功能需创建包含大量 AI 相关文章和资料的知识库,通过手工录入上传内容。 在设计 Bot 时添加知识库,并设置合适的搜索策略、最大召回数量和最小匹配度,以更好地结合知识库返回的内容进行回答。
2025-03-05
有哪些好用的搭建知识库然后进行问答的 AI 工具?
以下是一些好用的搭建知识库然后进行问答的 AI 工具: 1. DIN: 搭建步骤: 搭建 OneAPI(https://github.com/songquanpeng/oneapi),用于汇聚整合多种大模型接口。 搭建 FastGpt(https://fastgpt.in/),这是一个知识库问答系统,将知识文件放入,并接入大模型作为分析知识库的大脑,它有问答界面。 搭建 chatgptonwechat(https://github.com/zhayujie/chatgptonwechat),接入微信,配置 FastGpt 把知识库问答系统接入到微信,建议先用小号以防封禁风险。 2. Coze: 知识库问答利用了大模型的 RAG 机制,全称为“检索增强生成”(RetrievalAugmented Generation)。 RAG 机制先从大型数据集中检索与问题相关的信息,再使用这些信息生成回答。 实现知识库问答功能,需创建包含大量 AI 相关文章和资料的知识库,通过手工录入上传文章内容。在设计 Bot 时,添加知识库,并设置合适的搜索策略、最大召回数量和最小匹配度,以结合知识库返回的内容进行回答。
2025-03-05
coze搭建智能体,用上传的文件和知识库的文件做对比,分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息: 1. 证件照相关操作: 展示原图上传结果,基本脸型已换,生成效果与上传照片特征有关。 改背景可利用改图功能,一键改图效果更好,输出数据类型为图片。 豆包节点生成的是 URL 地址,与前者不同,在工作流使用有差异,可参考简单提示词。 介绍证件照工作流相关操作,包括通过提示词改背景颜色,设置输出方式为返回变量;讲解消耗 token 及保存结果相关问题;对按钮、表单添加事件并设置参数,限制上传文件数量;还涉及给表单和图片绑定数据,以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开,介绍 for meet 的设置,如表单事件操作、图片上传数量修改等,提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况,分析换性别等问题成因,指出需在工作流优化提示词,也可尝试用视频模型解决,最后进入问答环节。 2. 多维表格的高速数据分析: 创建智能体,使用单 Agent 对话流模式。 编排对话流,创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理,注意代码节点输出的配置格式。 测试,找到一篇小红书笔记,试运行对话流,在对话窗口输入地址查看数据。 发布,选择多维表格,配置输出类型为文本,输入类型选择字段选择器,完善上架信息,可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接: 创建知识库,可选择手动清洗数据提高准确性,包括在线知识库和本地文档。 在线知识库创建时,飞书在线文档中每个问题和答案以分割,可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度,如将课程章节按固定方式人工标注和处理。 发布应用,确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析: 创建文本型知识库: 自动分段与清洗:扣子可对上传的内容进行自动解析,支持复杂布局的文件处理,如识别段落、页眉/页脚/脚注等非重点内容,支持跨页跨栏的段落合并,支持解析表格中的图片和文档中的表格内容(目前仅支持带线框的表格)。操作步骤为在分段设置页面选择自动分段与清洗,然后依次单击下一步、确认,可查看分段效果,不满意可重新分段并使用自定义分段。 自定义:支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义,然后依次设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度和文本预处理规则,最后单击下一步完成内容分段。 创建表格型知识库: 目前支持 4 种导入类型:本地文档、API、飞书、自定义。 本地文档:选择本地文档从本地文件中导入表格数据,目前支持上传 Excel 和 CSV 格式的文件,文件不得大于 20M,一次最多可上传 10 个文件,且表格内需要有列名和对应的数据。 API:参考特定操作从 API 返回数据中上传表格内容,包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率,然后单击下一步。 飞书:参考特定操作从飞书表格中导入内容,包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用(仅首次导入需授权和安装),然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档,云文档的创建者必须是自己,暂不支持导入知识库和共享空间下的云文档。 上传文本内容: 在线数据:扣子支持自动抓取指定 URL 的内容,也支持手动采集指定页面上的内容,上传到数据库。 自动采集方式:适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据,然后依次单击下一步、自动采集、新增 URL,输入网站地址、选择是否定期同步及周期,最后单击确认,上传完成后单击下一步,系统会自动分片。 手动采集:适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序,在文本格式页签下选择在线数据,然后依次单击下一步、手动采集、授予权限,输入采集内容的网址,标注提取内容,查看数据确认无误后完成并采集。
2025-04-18
如何搭建知识库
搭建知识库的方法如下: 使用 flowith 搭建: 选择“Manage Your Knowledge Base”,进入知识库管理页面。 点击左上角的加号添加新的知识库,给知识库起一个便于分辨的名字。 点击添加文件,建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理,处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建: 准备数据:收集文本数据,进行清洗、分段等预处理。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档并编写描述。 配置索引方式:提供三种索引方式,根据需求选择,如高质量模式、经济模式和 Q&A 分段模式。 集成至应用:将数据集集成到对话型应用中,配置数据集的使用方式。 持续优化:收集用户反馈,更新知识库内容和优化索引方式。 使用 Coze 智能体搭建: 手动清洗数据: 在线知识库:点击创建知识库,创建 FAQ 知识库,选择飞书文档,输入区分问题和答案,可编辑修改和删除,添加 Bot 并在调试区测试效果。 本地文档:注意拆分内容,提高训练数据准确度,按章节进行人工标注和处理,然后创建自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能搜到。
2025-04-14
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤: 1. 逐步搭建 AI 智能体: 搭建整理入库工作流。 设置大模型节点提取稍后读元数据,使用 MiniMax 6.5s 245k,设置最大回复长度至 50000,以确保能完整解析长内容网页。 进行日期转时间戳,后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳,需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式,飞书多维表格插件目前(2024 年 08 月)只支持带有转义符的 string,以 Array<Object>格式输入,所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件,只需要设置{{app_token}}与{{records}}参数,将元数据写入飞书表格。 2. 搭建 Coze 工作流: 打开 Coze 的主页,登录后,在【工作空间】创建一个智能体。 在编排页面,给智能体编辑好人设,可先写一个简单的,然后点右上角自动优化,系统会自动补全更精细的描述。点击工作流的+,创建一个工作流。 大模型节点把 input 给到 DeepSeek,让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时,两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时,如果需要 input 可被 DeepSeek 调用,需要用{{input}}作为参数引入,不然大模型不知道自己需要生成和这个 input 相关的结果。编排完,点击【试运行】,调试至满意后点击发布。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法: 1. 选择“Manage Your Knowledge Base”,进入知识库管理页面。 2. 在页面左上角点击加号,添加新的知识库,并为其起一个易于分辨的名字。 3. 点击添加文件,建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后,可在知识库管理页面测试检索,输入关键词过滤相关内容。 此外,搭建本地知识库还需了解 RAG 技术: 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法,即先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,生成更合理的答案。 对于基于 GPT API 搭建定制化知识库,涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限,OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量,两个向量之间的距离衡量它们的关联性,小距离表示高关联度。在 OpenAI 词嵌入中,靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
搭建在线知识库,在线客服
以下是关于搭建在线知识库和在线客服的相关内容: RAG 流程: 自顶向下,RAG 的流程分为离线数据处理和在线检索两个过程。 离线数据处理的目的是构建知识库,知识会按照某种格式及排列方式存储在其中等待使用。 在线检索是利用知识库和大模型进行查询的过程。 以构建智能问答客服为例,了解 RAG 流程中的“是什么”与“为什么”同等重要。 创建智能体: 手动清洗数据创建知识库: 点击创建知识库,创建画小二课程的 FAQ 知识库。 知识库的飞书在线文档中,每个问题和答案以“”分割。 选择飞书文档、自定义,输入“”,可编辑修改和删除。 点击添加 Bot,可在调试区测试效果。 本地文档: 注意拆分内容以提高训练数据准确度。 以画小二课程为例,先放入大章节名称内容,再按固定方式细化处理每个章节。 发布应用:点击发布,确保在 Bot 商店中能搜到。 开发:GLM 等大模型外接数据库: 项目启动:包括 web 启动(运行 web.py,显存不足调整模型参数,修改连接)、API 模式启动、命令行模式启动。 上传知识库:在左侧知识库问答中选择新建知识库,可传输 txt、pdf 等。可以调整 prompt,匹配不同的知识库,让 LLM 扮演不同的角色,如上传公司财报充当财务分析师、上传客服聊天记录充当智能客服等。MOSS 同理。
2025-04-13
社群机器人
以下是关于社群机器人的相关内容: 制作 Coze 社群机器人的大致流程看似步骤繁多,但由于 Coze 本身的设计和强大的社区力量,实际操作并不复杂,关键是要“迈出第一步”。在制作过程中,与社区成员设计方案时的深入讨论、在 Coze 平台上灵活组装功能时的高效畅快以及在不断调试优化中见证机器人成长,都充满乐趣。未来会有更多社区加入制作社群机器人的行列,让更多人感受 AI 智能体的魅力,那时的社群机器人不仅是助手,更是凝聚社区集体智慧的伙伴。目前的社区机器人还有不足,作者会继续优化,看其能否更好地服务社区。 如果对学习 Coze 和 AI Agent 有兴趣,可以加入免费的 AI Agent 共学群,该群组会基于 WaytoAGI 社区等高质量信息源分享相关玩法、经验和前沿资讯。可搜索微信号 Andywuwu07 或扫描二维码加微信,备注 AI 共学以便被拉入群。 此外,以综合服务的社群机器人为例,一个好的文章或复杂任务不是一次 AI 工作就能完成的,需要任务拆解,比如对用户问题做意图判断,根据意图将线路转接到正确的专属 AI 机器人那里,整个过程称为工作流,通过搭建工作流来完成复杂任务。
2025-04-15
MacBook 如何做一个 RPA 机器人
以下是在 MacBook 上制作 RPA 机器人的详细步骤: 搭建前准备: 硬件准备: MacBook(需能科学上网) 一部 iPhone 手机 主板 Arduino UNO R4 Wifi(200RMB) 舵机 9g(32RMB) 杜邦线,公对公 7 条(手残党可多备) (可选)八爪鱼支架(10RMB) (二选一)usbtypeC 转接头,或一根两头 typeC 的线 Arduino UNO R4 WIFI 开发板 MG90s/SG90 舵机 9g 云台支架 可选八爪鱼手机支架 杜邦线公对公 搭建步骤: 完成代码: 在 Github 上下载完整代码。 根据需求修改文件: 【必改】在 head.py 中找到填写主板串口的地方,改成串口地址(可通过主板写入的第 3 步里的小字或 Tools>Get Board Info 重新查询,复制 sn 号替换 usbmodem 后面的编码)。 【必改】查询 iPhone 的 ip 地址,填到 talk.py 里(iPhone 设置>无线局域网>点击当前 wifi 旁的感叹号>找到 ipv4 地址里写的 ip 地址)。 【必改】把 open ai key 填到 talk.py 里。 【可选】在 talk.py 里,可以修改: Openai 调用的 model。 system prompt(机器人的人设)。 机器人的音色。 录音的设置。 【可选】在 head.py 里,可以修改不对话后,等待多久恢复人脸追踪。 运行程序: 在 MacBook 上按下 command+space(空格)打开一个新的终端,依次输入如下代码(每一次代码运行完以后再输入下一个),全部完成后,关闭端口。 将 iPhone 的屏幕关闭时间设置为 5 分钟或永不。 打开 iPhone 的 pythonista 并复制 face.py 的代码进去,运行。注意:每一次如果需要重新运行 pythonista,请先杀后台再运行,否则会因为端口已经被占用而无法播放声音。 找到下载下来的 AIinhindsightGPTEmbodimentRobot 文件夹,control+单击文件夹,选择最后一项“新建位于文件夹位置的终端端口”。 将 arduino R4 与 MacBook 相连,在终端中输入以下代码,运行后程序会申请一次摄像头权限,点击允许,然后出现运行失败,再运行一次即可。这个程序一旦运行,无法自然退出,建议直接拔掉 R4 的线或者终端输入 control+c 或者直接关闭终端,但多强制退出几次以后运行就会卡住需要重启或清进程。 再次在 AIinhindsightGPTEmbodimentRobot 文件夹,control+单击文件夹,选择最后一项“新建位于文件夹位置的终端端口”,在终端中输入以下代码,运行后程序会申请一次录音权限,点击允许,然后出现运行失败,再运行一次即可。如果运行中出现任何报错,将本文档,代码,报错信息给到 GPT4,让他帮助你就好~可能是有一些库没有预装。 把 talk.py 的终端放在最前面你能看到,出现 recording...的时候就可以说话了。 三个程序同时运行、iPhone 和 MacBook 在同一 wifi,iPhone 没有调静音的情况下,就可以正常对话啦。
2025-04-11
怎么搭建微信机器人?
以下是搭建微信机器人的步骤: 1. 登录成功后,找另一个人私聊或者在群中@您,就可以看到机器人的正常回复,此时表示已通。 2. 如果想为这个 AI 赋予提示词,可以返回相应步骤进行更改。例如在“目录 4 里的第 17 步”或“第三章,第 7 步”,其中双引号内的 value 部分,便是设置 AI 提示词的地方。 3. 此后,进行任何更改,都需要重新打印登陆二维码。并且一个月内,不要上来就加好友、最好不要私聊聊天。 4. 报错"wxsid"是因为微信未实名,实名即可解决。 5. 如果没有手机登录,可以使用夜神模拟器模拟手机登录。 6. 重新在“文件”的【终端】里,直接输入 nohup python3 app.py&tail f nohup.out 重新扫码登录。 7. 多次重新登录后,就在宝塔“首页右上角点击重启,重启一下服务器”,清理进程。 8. 熟悉 linux 操作的话,也可以通过重启进程的方式来重启服务。 9. 如果想退出机器人,在手机微信上找到桌面版已登录的信息,点击退出桌面版即可。 此外: 1. Link AI 提供的 100 个,合计 3500 万 GPT3.5 Token 的礼品码。可以用来实现画图、搜索、识图等功能,COW 插件里几乎都支持使用 LinkAI 平台。完成机器人搭建,机器人拉群里,领兑换码。 2. 添加微信,拉您进机器人群,先行体验。 如果您仍旧遇到问题,可以先查询社区知识库,或者加“通往 AGI 之路”群,社区小伙伴们会尽力帮助。也可以加 Stuart 个人微信询问。
2025-04-11
创建飞书ai机器人
创建飞书 AI 机器人的步骤如下: 1. 工作流搭建: 打开 Comfyui 界面后,右键点击界面,即可找到 Comfyui LLM party 的目录,您既可以学习如何手动连接这些节点,从而实现一个最简单的 AI 女友工作流,也可以直接将工作流文件拖拽到 Comfyui 界面中一键复刻。 2. 飞书机器人创建: 飞书应用建立: 在中创建自建应用。 进入应用获取 app_id 与 app_secret。 添加应用能力>开启机器人应用能力。 权限管理>消息与群组>选择需要的权限打开。 安全设置>将 comfyUI 运行的电脑 IP 加入白名单。 发布机器人以应用生效。 获取群组或用户 id: 要先把创建的机器人拉到群组中或者拉进私聊。 飞书开发平台找到发送消息的开发文档。 右侧点击获取 token。 选择 receive id type,chat_id 对应群组,open_id 与 user_id 对应个人,点击选择成员,复制对应的 id 即可。 如果需要让机器人发送语音,需要自行在电脑上安装 ffmpeg 。
2025-04-11
微信机器人如何配置
微信机器人的配置步骤如下: 1. sum4all 配置 进入插件目录:/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template,复制并粘贴重命名为:config.json 注册并获取 sum4all key:https://pro.sum4all.site/register?aff=T6rP ,新用户注册有送免费额度,大家先使用这个进行试用,后续可改为自己的 openAI key。 把复制的 key,粘贴到 sum4all 的 config.json 文件内。(上方有功能阐述,你想要哪个,就把哪个改成 ture) 2. Apilot 配置 进入插件目录:/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template,复制并粘贴重命名为:config.json 去 https://admin.alapi.cn/account/center 注册,并复制 key 把复制来的 key,粘贴进入。保存。 3. 分段对话配置替换 找到这个路径:/root/chatgptonwechat/channel/wechat,直接下载以下文件进行替换。 此外,微信的配置相对较简单,只需要主项目的 config.json 文件看看是否有"channel_type"参数,参数值为:"wx",即:"channel_type":"wx"。完成以上所有配置部分后,可以准备启动步骤了: 使用 nohup 命令在后台运行程序。 执行完启动脚本,等待 30s 左右,会看到终端有一个微信登录的二维码,微信扫码登录。 如果您想使用更多辅助功能,比如使用总结文件能力,总结网页内容能力,此时需要安装各种插件。这部分配置查看插件配置管理部分。
2025-04-10
利用飞书多维表格,做一个类似于客服机器人 可以怎么做?
利用飞书多维表格做一个类似于客服机器人,可以按照以下步骤进行: 1. 创建一个拟人化的 bot,比如起名叫青青,设定其为人设是一个可爱有趣的少女,擅长回答各种刁钻的问题。完成 BOT 捏好后点击发布。 2. 发布时配置飞书多维表格: 输出为文本时,第一步配置为文本。 配置多维表格输入表单,选择用控件的字段选择器,给字段标题随便起个名字如“question”。 在完善捷径的商家信息这里,可以选择全量发布,也可以选择仅自己可用。为了审核快一些,可以选择仅自己可用。等审核通过之后,就可以在飞书多维表格里面看到发布成功。 3. 还可以探索字段捷径的各种玩法(不含 bot),比如直接创建一个多维表格,第一列是几个成语,第二列是 AI 字段捷径生成的对成语的解释。左边输入一列,比如一列成语,右边配置 AI 字段。 此外,还有一些相关信息供您参考: “Show Me 扣子 AI 挑战赛大消费行业专场圆满落幕,探索 AI 与大消费行业的深度结合”中提到了一些相关作品,如帮助企业快速建立产品智能客服体系、ERP 高智版:扣子销售订单管理大师、亚马逊商品评论智析、AI 电商设计师等。 2024 年历史更新(归档)中包含了关于飞书多维表格字段捷径配置 COZE 的 BOT 青青的相关内容。
2025-04-08