直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何用ai建立自己的知识库?

回答

以下是用 AI 建立自己知识库的方法:

  1. 使用 GPT 建立:
    • 将大文本拆分成若干小文本块(chunk)。
    • 通过 embeddings API 将小文本块转换成与语义相关的 embeddings 向量,并在向量储存库中保存这些向量和文本块作为问答的知识库。
    • 当用户提出问题时,将问题转换成问题向量,与向量储存库中的文本块向量比对,提取距离最小的几个向量对应的文本块,与问题组合成新的 prompt 发送给 GPT API。
    • 例如,对于一篇万字长文,拆分成多个文本块,如“文本块 1:本文作者:越山。xxxx。”等,当提问“此文作者是谁?”时,通过比较 embeddings 向量,提取关联度高的文本块发送给 GPT API 回答问题。
  2. 使用 Coze 建立:
    • 确定功能范围,编写 prompt 提示词,设定 Bot 的身份和目标。
    • 创建知识库,整理“关键字”与“AI 相关资料链接”的对应关系,并将信息存储起来。创建知识库路径为:个人空间 - 知识库 - 创建知识库。支持的文档类型包括本地文档、在线数据、飞书文档、Notion 等,本次可使用本地文档。按照操作指引上传文档、分段设置、确认数据处理。小技巧:在内容中加上特殊分割符“###”,分段标识符号选择“自定义”,内容填“###”,以便于自动切分数据。
    • 创建工作流,告诉 AI 机器人按流程处理信息。创建工作流路径为:个人空间 - 工作流 - 创建工作流。工作流设计好后,先点击右上角“试运行”,测试无误后点击发布。如果任务和逻辑复杂,可以结合左边“节点”工具来实现,如调用大模型总结分析知识库内容、调用数据库存储用户输入信息、调用代码处理复杂逻辑等。个人建议:工作流不必复杂,能实现目的即可,所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

从零开始,用GPT打造个人知识库

上面将文本转换成向量(一串数字)能大大节省空间,它不是压缩,可简单理解为索引(Index)。接下来就有意思了。比如我有一个大文本,可以先把它拆分成若干个小文本块(也叫chunk),通过embeddings API将小文本块转换成embeddings向量,这个向量是跟文本块的语义相关。在一个地方(向量储存库)中保存这些embeddings向量和文本块,作为问答的知识库。当用户提出一个问题时,该问题先通过embeddings API转换成问题向量,然后将这问题向量与向量储存库的所有文本块向量比对,查找距离最小的几个向量,把这几个向量对应的文本块提取出来,与原有问题组合成为新的prompt(问题/提示词),发送给GPT API。这样一来就不用一次会话中输入所有领域知识,而是输入了关联度最高的部分知识。一图胜千言,转一张原理图。再举一个极其简单的例子,比如有一篇万字长文,拆分成Chrunks包含:文本块1:本文作者:越山。xxxx。文本块2:公众号越山集的介绍:传播效率方法,分享AI应用,陪伴彼此在成长路上,共同前行。文本块3:《反脆弱》作者塔勒布xxxx。文本块4:“科技爱好者周刊”主编阮一峰会记录每周值得分享的科技内容,周五发布。...文本块n如果提问是”此文作者是谁?“。可以直观的看出上面的文本块1跟这个问题的关联度最高,文本块3次之。通过比较embeddings向量也可以得到这结论。那最后发送给GPT API的问题会类似于”此文作者是谁?从以下信息中获取答案:本文作者:越山。xxxx。《反脆弱》作者塔勒布xxxx。“这样一来,大语言大概率能回答上这个问题。

这可能是讲 Coze 的知识库最通俗易懂的文章了

大家好,我是大圣,一个致力于使用AI技术将自己打造为超级个体的程序员。对于知识库大家并不陌生,一系列的信息和知识聚集在一起就可以构成知识库。比如我最心爱的[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)就是一个使用飞书软件搭建的AI知识库。当你需要了解AI某一领域知识的时候,你只需要在AGI的飞书大群中,跟机器人对话就能获取对应的资料。而在我的[大圣:胎教级教程:万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)也是以AI时代的知识库作为例子进行了讲解。这篇文章的目的就是帮助非编程人士来理解AI时代的知识库,读完本文你会收获:1.AI时代的知识库的概念、实现原理以及能力边界2.通往AGI之路大群中的通过对话就能获取知识库中资料的原理3.更好的使用Coze等AI Agent平台中的知识库组件,打造更加强大的智能体请允许我自卖自夸:我这篇文章可以说是知识库文章中Coze讲的最好的,讲Coze的文章中知识库讲的最好的。另外做个预告,我正在规划一个关于AI时代你应该具备的编程基础系列,大纲如下:数据库|让Coze拥有了记忆的组件1知识库|让Coze拥有了记忆的组件2变量|让Coze拥有了记忆的组件3JSON|让你更好的使用Coze插件API|外部应用程序该如何接入Coze操作系统与服务器|那些接入了Coze的微机器人都是运行在哪里的Docker|让你用最简单的方式部署微信机器人

「AI 学习三步法:实践」用 Coze 免费打造自己的微信 AI 机器人

[heading5]3)创建【知识库】,整理“关键字”与“AI相关资料链接”的对应关系,并将信息存储起来。创建知识库路径:个人空间-知识库-创建知识库知识库文档类型支持:本地文档、在线数据、飞书文档、Notion等,本次使用【本地文档】按照操作指引上传文档、分段设置、确认数据处理。?小技巧:知识库好不好用,跟内容切分粒度有很大关系,我们可以在内容中加上一些特殊分割符,比如“###”,以便于自动切分数据。分段标识符号要选择“自定义”,内容填“###”。最终的知识库结果如下,同一颜色代表同一个数据段,如果内容有误需要编辑,可以点击具体内容,鼠标右键会看到“编辑”和“删除”按钮,可以编辑或删除。[heading5]4)创建【工作流】,告诉AI机器人应该按什么流程处理信息。[content]创建工作流路径:个人空间-工作流-创建工作流“AI前线”Bot的工作流最终结果如上,本次只用到了“知识库”进行处理。工作流设计好后,先点击右上角“试运行”,测试工作流无误后,就可以点击发布啦。如果任务和逻辑复杂,可以结合左边“节点”工具来实现。比如:可以在工作流中再次调用【大模型】,总结分析知识库内容;可以调用【数据库】存储用户输入的信息;可以调用【代码】来处理复杂逻辑等等;?个人建议:工作流不必复杂,能实现目的即可,所以在设计Bot前“确定目的”和“确定功能范围”很重要。

其他人在问
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中,AI 面临着巨大挑战,如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法,利用价值网络评估棋面优劣,策略网络选择最佳落子,且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练,达到蒙特卡洛树搜索水平,并将其与蒙特卡洛树搜索有机结合,取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步,也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外,神经网络在处理未知规则方面具有优势,虽然传统方法在处理象棋问题上可行,但对于围棋则困难重重,而神经网络专门应对此类未知规则情况。关于这部分内容,推荐阅读《这就是 ChatGPT》一书,其作者备受推崇,美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
coze搭建智能体,用上传的文件和知识库的文件做对比,分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息: 1. 证件照相关操作: 展示原图上传结果,基本脸型已换,生成效果与上传照片特征有关。 改背景可利用改图功能,一键改图效果更好,输出数据类型为图片。 豆包节点生成的是 URL 地址,与前者不同,在工作流使用有差异,可参考简单提示词。 介绍证件照工作流相关操作,包括通过提示词改背景颜色,设置输出方式为返回变量;讲解消耗 token 及保存结果相关问题;对按钮、表单添加事件并设置参数,限制上传文件数量;还涉及给表单和图片绑定数据,以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开,介绍 for meet 的设置,如表单事件操作、图片上传数量修改等,提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况,分析换性别等问题成因,指出需在工作流优化提示词,也可尝试用视频模型解决,最后进入问答环节。 2. 多维表格的高速数据分析: 创建智能体,使用单 Agent 对话流模式。 编排对话流,创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理,注意代码节点输出的配置格式。 测试,找到一篇小红书笔记,试运行对话流,在对话窗口输入地址查看数据。 发布,选择多维表格,配置输出类型为文本,输入类型选择字段选择器,完善上架信息,可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接: 创建知识库,可选择手动清洗数据提高准确性,包括在线知识库和本地文档。 在线知识库创建时,飞书在线文档中每个问题和答案以分割,可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度,如将课程章节按固定方式人工标注和处理。 发布应用,确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析: 创建文本型知识库: 自动分段与清洗:扣子可对上传的内容进行自动解析,支持复杂布局的文件处理,如识别段落、页眉/页脚/脚注等非重点内容,支持跨页跨栏的段落合并,支持解析表格中的图片和文档中的表格内容(目前仅支持带线框的表格)。操作步骤为在分段设置页面选择自动分段与清洗,然后依次单击下一步、确认,可查看分段效果,不满意可重新分段并使用自定义分段。 自定义:支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义,然后依次设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度和文本预处理规则,最后单击下一步完成内容分段。 创建表格型知识库: 目前支持 4 种导入类型:本地文档、API、飞书、自定义。 本地文档:选择本地文档从本地文件中导入表格数据,目前支持上传 Excel 和 CSV 格式的文件,文件不得大于 20M,一次最多可上传 10 个文件,且表格内需要有列名和对应的数据。 API:参考特定操作从 API 返回数据中上传表格内容,包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率,然后单击下一步。 飞书:参考特定操作从飞书表格中导入内容,包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用(仅首次导入需授权和安装),然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档,云文档的创建者必须是自己,暂不支持导入知识库和共享空间下的云文档。 上传文本内容: 在线数据:扣子支持自动抓取指定 URL 的内容,也支持手动采集指定页面上的内容,上传到数据库。 自动采集方式:适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据,然后依次单击下一步、自动采集、新增 URL,输入网站地址、选择是否定期同步及周期,最后单击确认,上传完成后单击下一步,系统会自动分片。 手动采集:适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序,在文本格式页签下选择在线数据,然后依次单击下一步、手动采集、授予权限,输入采集内容的网址,标注提取内容,查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种: 1. 使用 Flowith 构建: 选择“Manage Your Knowledge Base”,进入知识库管理页面。 点击左上角的加号添加新的知识库,为其起一个便于分辨的名字。 点击添加文件,建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理,处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建: 准备数据:收集文本数据,进行清洗、分段等预处理。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档并编写描述。 配置索引方式:根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用:将数据集集成到对话型应用中,配置数据集的使用方式。 持续优化:收集用户反馈,更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库(涉及 RAG 技术): 了解 RAG 技术:大模型训练数据有截止日期,RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程: 文档加载:从多种来源加载文档,如 PDF、SQL 等。 文本分割:把文档切分为指定大小的块。 存储:包括将文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 检索:通过检索算法找到与输入问题相似的嵌入片。 输出:将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器:将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下: 使用 flowith 搭建: 选择“Manage Your Knowledge Base”,进入知识库管理页面。 点击左上角的加号添加新的知识库,给知识库起一个便于分辨的名字。 点击添加文件,建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理,处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建: 准备数据:收集文本数据,进行清洗、分段等预处理。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档并编写描述。 配置索引方式:提供三种索引方式,根据需求选择,如高质量模式、经济模式和 Q&A 分段模式。 集成至应用:将数据集集成到对话型应用中,配置数据集的使用方式。 持续优化:收集用户反馈,更新知识库内容和优化索引方式。 使用 Coze 智能体搭建: 手动清洗数据: 在线知识库:点击创建知识库,创建 FAQ 知识库,选择飞书文档,输入区分问题和答案,可编辑修改和删除,添加 Bot 并在调试区测试效果。 本地文档:注意拆分内容,提高训练数据准确度,按章节进行人工标注和处理,然后创建自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法: 1. 选择“Manage Your Knowledge Base”,进入知识库管理页面。 2. 在页面左上角点击加号,添加新的知识库,并为其起一个易于分辨的名字。 3. 点击添加文件,建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后,可在知识库管理页面测试检索,输入关键词过滤相关内容。 此外,搭建本地知识库还需了解 RAG 技术: 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法,即先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,生成更合理的答案。 对于基于 GPT API 搭建定制化知识库,涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限,OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量,两个向量之间的距离衡量它们的关联性,小距离表示高关联度。在 OpenAI 词嵌入中,靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个,基于我个人知识库的chatbot,以供我随时搜索和提问,且优先搜索知识库内的内容而非联网搜索,你有什么建议吗?
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议: 1. 选择合适的平台和工具:例如可以考虑使用飞书智能伙伴创建平台(Aily)或扣子(https://www.coze.cn/home)等。 2. 数据分段储存:由于大模型的上下文长度有限制,需要将上传的资料根据特定符号或字符长度进行分段,如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索:当用户输入问题,大模型会根据相似度检索出若干最相关的数据片段,再据此生成答案,这一技术称为 RAG(检索增强生成)。 4. 配置知识库: 在 Bot 内使用知识库: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在页面顶部进入工作流页面,并打开指定的工作流。 在左侧基础节点列表内,选择添加 Knowledge 节点。 5. 注意使用限制:单用户最多创建 1000 个知识库,文本类型知识库下最多支持添加 100 个文档,单用户每月最多新增 2GB 数据,累计上限是 10GB。 此外,知识库可以解决大模型幻觉、专业领域知识不足的问题,提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复,也可以在工作流中添加知识库节点,成为工作流中的一环。
2025-04-14
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10
如何建立知识库
以下是建立知识库的详细步骤: 1. 选择“Manage Your Knowledge Base”,进入知识库管理页面。 2. 在页面左上角点击加号,添加新的知识库。 3. 给知识库起一个易于分辨的名字。 4. 点击添加文件,建议使用 Markdown 格式的文件。 5. 等待 Flowith 对文件进行抽取等处理。 6. 处理完毕后,可在知识库管理页面测试检索。 另外,还可以通过以下方式创建知识库并上传表格数据: 1. 在页面顶部进入知识库页面,单击创建知识库。 2. 在弹出的页面配置知识库名称、描述,单击确认(团队内知识库名称需唯一)。 3. 在单元页面,单击新增单元。 4. 在弹出的页面,选择表格格式,然后选择本地文件或 API 的方式完成数据上传。 在 Coze 中创建知识库: 1. 来到个人空间,找到知识库导航栏,点击创建知识库。 2. 选择知识库的格式(目前支持文档、表格、图片),填写相关信息。 3. 可选择本地文档、自定义的文档切割等。 4. 数据处理完成后,一个问答对会被切割成一个文档片。 关于使用知识库,可参考教程:
2025-04-08
用ai建立知识库和直接使用ai有什么区别、
用 AI 建立知识库和直接使用 AI 主要有以下区别: 直接使用 AI 时,AI 生成的内容可能较为笼统模糊,就像遇到只会说“很急,今天就要”却不提供具体指导的领导。若想让 AI 成为得力助手,需对复杂任务进行拆解,提供方法论和定义输出格式。 建立知识库就如同为 AI 准备了“教科书”。知识库灵活,但偶尔会出现查不到内容而“猜题”的情况。例如,将《梦想与颠覆》卡牌等相关内容导入作为 AI 可调用的知识库,后续在创作中激活知识库,AI 会根据场景自动匹配库内素材,使输出更具针对性。 相比之下,微调类似于让 AI“自己真的学会了整本书”,答题更快更准,但训练成本高。微调适合高精度、长期任务,而知识库更适合临时查找、快速问答。
2025-03-30
如何建立个人知识库
建立个人知识库可以通过以下方式: 1. 利用 GPT 打造个人知识库: 使用 embeddings:将文本转换成向量,节省空间,可理解为索引。把大文本拆分成小文本块并转换为 embeddings 向量,保存在向量储存库中。当用户提问时,将问题转换为向量并与库中向量比对,提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API。 理解 embeddings:embeddings 是浮点数字的向量,向量间距离衡量关联性,小距离表示高关联度。 2. 本地部署大模型以及搭建个人知识库: 了解 RAG:利用大模型能力搭建知识库是 RAG 技术的应用。在大模型训练数据截止后,通过检索外部数据并在生成步骤中传递给 LLM。RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文本加载器:将用户提供的文本加载到内存中,便于后续处理。
2025-03-28
如何从0到1建立dify
从 0 到 1 建立 Dify 的步骤如下: 1. 准备数据: 收集需要纳入知识库的文本数据,包括文档、表格等格式。 对数据进行清洗、分段等预处理,确保数据质量。 2. 创建数据集: 在 Dify 中创建一个新的数据集,并将准备好的文档上传至该数据集。 为数据集编写良好的描述,描述清楚数据集包含的内容和特点。 3. 配置索引方式: Dify 提供了三种索引方式供选择:高质量模式、经济模式和 Q&A 分段模式。 根据实际需求选择合适的索引方式,如需要更高准确度可选高质量模式。 4. 集成至应用: 将创建好的数据集集成到 Dify 的对话型应用中,作为应用的上下文知识库使用。 在应用设置中,可以配置数据集的使用方式,如是否允许跨数据集搜索等。 5. 持续优化: 收集用户反馈,对知识库内容和索引方式进行持续优化和迭代。 定期更新知识库,增加新的内容以保持知识库的时效性。 Dify 有以下两种使用方式: 1. 云服务版本。直接在官网 dify.ai 上注册账号使用。 2. 部署社区版。开源,可商用,但是不能作为多租户服务使用。对个人使用完全无限制。 部署前提条件:2 核 4G 云服务器一台(约 159 元)。 部署过程: 1. 参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。 2. 这些命令在宝塔面板的终端安装。 3. 检查运行情况,如遇到问题(如 80 端口被占用),按照 AI 的方法解决。 4. 在浏览器输入公网 IP 进入,邮箱密码随便填,建立知识库并设置。 5. 选择模型,如智谱 AI,获取钥匙并复制保存。 6. 创建应用并测试发布。
2025-03-24
如何建立自己的知识库
建立自己的知识库可以参考以下几种方法: 1. 使用 flowith 指南: 拆解创作任务:将复杂任务拆解到合适颗粒度,提供方法论和定义输出格式。 建立定向知识库:将相关元知识导入 flowith 的知识花园,转化为文字上传,打开智能拆分模式,形成知识“种子”。激活知识库后,AI 会根据创作场景自动匹配库内素材,还可发布或分享知识库。 2. 基于 GPT 打造: 搭建基于 GPT API 的定制化知识库涉及给 GPT 输入定制化知识,但 GPT3.5 免费版交互容量有限。 理解 embeddings:embeddings 是浮点数字的向量,向量间距离衡量关联性,小距离表示高关联度。 3. 用 Coze 免费打造微信 AI 机器人: 设计 AI 机器人,确定功能范围。 创建知识库:整理“关键字”与“AI 相关资料链接”的对应关系,支持多种文档类型,如本地文档、在线数据、飞书文档、Notion 等,可使用特殊分割符如“”便于自动切分数据。
2025-03-20