Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

dify本地部署

Answer

以下是关于 Dify 本地部署的相关信息:

  • 所需物料:5 - 6 台火火兔 + folotoy 模组(3 套现场试玩的成品,2 套拆开的裸组件)、用于连接火火兔和电脑的网络、本地部署的 dify 服务器--Larry、tts 和 asr 服务器、两台笔记本、两张以上椅子、展示用桌子两张、屏幕 2 块、一个相对安静的空间用于语音克隆。
  • 现场情况:一块屏幕循环播放火火兔的安装视频,下方展示桌子上放火火兔的拆解组件,讲解员在旁边答疑解惑,一块屏幕用于展示 dify 上正在编辑的提示词,下方有几台配置好的火火兔和电脑用于现场更换后台的提示词,默认采用机器人群效果最出挑的 dify gpts,志愿者负责引导同学们试玩,并提示他们可以现场动手更换火火兔的“灵魂”,包括提示词修改、语音音色更换、现场克隆语音更换,来自机器人群的制作者现场指导修改提示词的同学们修改提示词,直到达到不错的效果。
  • 物料摆放:两屏幕呈 160 度夹角,旁边分别两张桌子,桌子上摆放火火兔玩具和电脑。
  • 主持人:包括王乐、来自机器人群的制作者(引导来玩儿的同学们编写他们想要的提示词)、志愿者。
  • 战况收集:活动照片、大家留下的提示词整理。
  • 对于小白用户,Dify 是私人定制类 AI 应用中的佼佼者,开源且易用,熟练用户约 5 分钟能在本地完成部署,将所需依赖集成到一键部署指令中,但本地部署仍需用户自行处理模型接入等问题,包括购买 API、接入不同类型的模型等,学习曲线相对陡峭。Dify 不仅支持本地部署,还推出了云端应用,云端有包月套餐,最高价格为 59 - 159 美刀/月,但访问可能需要特殊方法。
  • 部署 dify 的步骤:可参考 https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose ,这些命令在宝塔面板的终端安装。若想了解命令含义可咨询 AI 。检查运行情况,若 nginx 容器无法运行,可按 AI 方法处理。在浏览器输入公网 IP 进入,随便建立知识库并设置,选择模型,如智谱 ai ,获取钥匙并复制保存,创建应用并测试发布。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI 大语言模型赋予火火兔生命

5~6台火火兔+folotoy模组(3套现场试玩的成品,2套拆开的裸组件),有更多其他形态的机子更佳用于连接火火兔和电脑的网络本地部署的dify服务器--Larrytts和asr服务器两台笔记本+两张以上椅子展示用桌子两张屏幕2块一个相对安静的空间用于语音克隆[heading2]现场[content]一块屏幕循环播放火火兔的安装视频下方展示桌子上放火火兔的拆解组件讲解员在旁边答疑解惑一块屏幕用于展示dify上正在编辑的提示词下方有几台配置好的火火兔,电脑用于现场更换后台的提示词,默认采用机器人群效果最出挑的dify gpts志愿者负责引导同学们试玩,提示他们可以现场动手更换火火兔的“灵魂”提示词修改;语音音色更换;现场克隆语音更换;来自机器人群的制作者现场指导修改提示词的同学们修改提示词,直到不错的效果[heading2]物料摆放[content]两屏幕呈160度夹角,旁边分别两张桌子.桌子上摆放火火兔玩具,和电脑.[heading2]主持人[content]1.王乐2.来自机器人群的制作者,引导来玩儿的同学们编写他们想要的提示词3.志愿者[heading2]战况收集[content]活动照片大家留下的提示词整理硬件部分参考:[AI玩具DIY教程:给玩具加上大语言的内核](https://waytoagi.feishu.cn/wiki/ORjhwOc5aiCjrDkcaDVcSsLqnPd)

给小白的AI产品推荐

在私人定制类AI应用中,Dify无疑是一个值得关注的佼佼者。作为一个开源的应用,Dify以其出色的易用性和强大的功能赢得了用户的青睐。它的安装过程简单快捷,熟练用户仅需约5分钟就能在本地完成部署,这在众多开源项目中实属罕见。Dify将所需依赖集成到一键部署指令中,大大降低了使用门槛。Dify不仅支持本地部署,还推出了云端应用,为用户提供了更多选择。无论是工作流、智能体还是知识库,Dify都能轻松应对。对于想要深入体验AI定制化的进阶用户来说,Dify无疑是理想之选。然而,本地部署仍需用户自行处理模型接入等问题,包括购买API、接入不同类型的模型如embedding模型、语言模型和rewriter模型等,学习曲线相对陡峭。此外,构建个人知识库时还需考虑数据量、嵌入质量和API费用等因素。对于偏好云端使用的用户,Dify提供了包月套餐,最高价格为59-159美刀/月。不过,但值得注意的是,访问Dify云端服务可能需要特殊方法。总的来说,Dify为用户提供了高度定制化的AI使用体验,无论是技术能力较强还是追求便利的用户,都能在Dify中找到适合自己的使用方式。在选择时,用户需要根据个人需求、技术能力和预算做出权衡。

马上观看看:通过云服务器,dify,智能微秘书来免费搭建微信机器人

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose这些命令都是在宝塔面板的终端安装。如果你想学习这些命令是什么就还是直接给AI就可以。比如cd dify/docker是啥意思。这个docker-compose文件就是在这个/root/dify/docker目录下。这里边以后可以修改,可以学习里边的文件是什么意思。检查一下一共有7个在运行。docker compose ps如果nginx这个容器无法运行。把终端里输出的代码粘贴给AI,可能是80端口被占用了。按照AI的方法,检查谁占用的,都停止掉就可以了。也可以用别的方法,我是用这种方法。记住要一步步来,确保前一步成功再下一步,怎么确保就是把代码复制问AI。现在可以在浏览器的地址栏里,输入你的公网ip就可以。可以上腾讯云服务器上查,你的宝塔面板上的地址栏也有显示,去掉后面的:8888就是。进去以后邮箱密码随便填一下。随便建立一个知识库,知识库中选择设置。这时候你就可以选择模型了,国内的模型都有免费额度,随便选,你也可以都选。拿智谱ai举例。点设置,点从智谱ai获取钥匙,直接会进入智谱的官网。用手机号注册,添加API keys,复制一下。然后看一下有多少免费额度,智谱是资源包管理里边看,赠送500万一个月。这些大模型有的限制时间,有的不限制。有的给tokens额度有的给钱。最后把网址收藏一下。回到上面的图,把钥匙复制,保存就可以了。然后随便创建个应用。可以先选择智谱glm-4测试一下,聊两句,看有回应没,然后点发布。选择第二个,如图:点击api秘钥,创建一个,复制。

Others are asking
什么是Dify
Dify 是一个开源的大模型应用开发平台。它融合了后端即服务和 LLMOps 的理念,为用户提供直观界面,能快速构建和部署生产级别的生成式 AI 应用。 该平台具有以下特点: 1. 强大的工作流构建工具。 2. 支持广泛的模型集成。 3. 提供功能丰富的提示词 IDE。 4. 拥有全面的 RAG Pipeline 用于文档处理和检索。 5. 允许用户定义 Agent 智能体。 6. 通过 LLMOps 功能持续监控和优化应用程序性能。 Dify 提供云服务和本地部署选项,满足不同用户需求。其开源特性确保对数据的完全控制和快速产品迭代。设计理念注重简单性、克制和快速迭代,能帮助用户将 AI 应用创意快速转化为现实。无论是创业团队构建 MVP、企业集成 LLM 增强现有应用能力,还是技术爱好者探索 LLM 潜力,Dify 都提供相应支持和工具。 Dify 官方手册:https://docs.dify.ai/v/zhhans 。一般来说,如果是个人研究,推荐单独使用 Dify;如果是企业级落地项目,推荐使用多种框架结合,效果更好。
2025-04-13
哪里可以搜到dify的相关学习资料
以下是一些可以搜到 Dify 相关学习资料的途径: 1. 您可以通过以下链接获取相关学习资料:https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令通常在宝塔面板的终端安装,若想了解命令的含义,可直接询问 AI 。 2. 微信文章: ,该文章介绍了如何在几分钟内使用 Dify 平台快速定制网站的 AI 智能客服,即使是非技术人员也能操作。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-10
dify工作流中agent节点怎么使用
在 Dify 工作流中使用 Agent 节点的步骤如下: 1. 搭建工作流框架: 进入 Coze,点击「个人空间工作流创建工作流」,打开创建工作流的弹窗。 根据弹窗要求自定义工作流信息,点击确认完成新建。 左侧「选择节点」模块中,根据子任务需要,实际用上的有插件(提供能力工具拓展 Agent 能力边界)、大模型(调用 LLM 实现文本内容生成)、代码(支持编写简单脚本处理数据)。 按照流程图在编辑面板中拖入对应的 LLM 大模型、插件、代码节点完成框架搭建。 2. 测试 Agent 节点功能: 完成任何一个节点的配置后,都需要进行试运行测试以验证节点的运行效果。 步骤一:点击「测试该节点」。 步骤二:按格式要求输入待测试的输入内容,如果是 array 等其他格式,请自行对话 AI 或搜索网络确认格式要求。 步骤三:点击「展开运行结果」,检查输入、输出项是否有误。如果有误,请依次检查“测试输入内容”、“节点配置”是否有误,以及优化“提示词”以提升对生成内容的约束力。当多次测试时输入与输出都符合预期,就可以进入下一个子任务的配置。
2025-04-05
dify
Dify 是一个开源的大模型应用开发平台: 构建知识库的具体步骤: 准备数据:收集文本数据,包括文档、表格等格式,进行清洗、分段等预处理以确保数据质量。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档,并编写良好描述。 配置索引方式:提供三种索引方式(高质量模式、经济模式和 Q&A 分段模式),根据实际需求选择,如追求高准确度可选高质量模式。 集成至应用:将数据集集成到 Dify 的对话型应用中,在应用设置中配置数据集使用方式。 持续优化:收集用户反馈,对知识库内容和索引方式持续优化和迭代,定期更新增加新内容。 平台特点: 结合后端即服务和 LLMOps 理念,提供直观界面快速构建和部署生产级别的生成式 AI 应用。 具备强大工作流构建工具,支持广泛模型集成,提供功能丰富的提示词 IDE 和全面的 RAG Pipeline 用于文档处理和检索。 允许用户定义 Agent 智能体,通过 LLMOps 功能对应用程序性能持续监控和优化。 提供云服务和本地部署选项,满足不同用户需求,开源特性确保对数据完全控制和快速产品迭代。 设计理念注重简单性、克制和快速迭代,为创业团队构建 MVP、企业集成 LLM 等提供支持和工具。 官方手册:https://docs.dify.ai/v/zhhans 。一般来说,个人研究推荐单独使用 Dify,企业级落地项目推荐多种框架结合。
2025-04-01
dify教程
以下是关于 Dify 的教程: Differential Diffusion 教程: 技术适用场景:特别适用于需要保持图像整体一致性和自然感的场景。 软填充技术:用于平滑填补图像空白或损坏部分,同时细微调整周围区域,确保新填充内容与原始图像无缝融合。 强度扇:一种可视化不同编辑强度效果的工具,帮助用户通过可视化方式理解不同编辑强度的效果。 无需训练或微调:操作仅在推理阶段进行,不需要对模型进行额外训练或微调。 与现有扩散模型兼容:可集成到任何现有的扩散模型中,增强编辑和生成能力,适用于 Stable Diffusion XL、Kandinsky 和 DeepFloyd IF 等不同的扩散模型。 主要功能特点: 精细的编辑控制:通过引入变化地图,可对图像每个像素或区域指定不同变化程度,支持离散和连续编辑。 文本驱动的图像修改:通过文本提示指导图像修改方向。 软填充技术:在填补图像空白或修复部分时,能细微调整周围区域确保无缝融合。 Dify 接入企业微信教程: 创建聊天助手应用:在 Dify 平台创建基础编排聊天助手应用,获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目:下载并安装依赖。 填写配置文件:在项目根目录创建 config.json 文件,填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信:快速启动测试,扫码登录,进行对话测试,可以选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信:创建知识库,导入知识库文件,创建工作流编排聊天助手应用,设置知识检索节点和 LLM 节点,发布更新并访问 API。 把 Agent 应用接入微信:创建 Agent 应用,设置对话模型和添加工具,生成 API 密钥,填写配置文件,启动程序并进行测试。 更多内容请访问原文:https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat
2025-03-29
dify学习
Dify 是一个开源的大模型应用开发平台: 理念:结合后端即服务和 LLMOps 的理念。 特点:提供直观界面,能快速构建和部署生产级别的生成式 AI 应用。具有强大的工作流构建工具,支持广泛的模型集成,有功能丰富的提示词 IDE 和全面的 RAG Pipeline 用于文档处理和检索。允许用户定义 Agent 智能体,通过 LLMOps 功能对应用程序性能持续监控和优化。 部署选项:提供云服务和本地部署,满足不同用户需求。 开源特性:确保对数据的完全控制和快速产品迭代。 设计理念:注重简单性、克制和快速迭代,旨在帮助用户将 AI 应用的创意快速转化为现实。 推荐使用方式:个人研究推荐单独使用,企业级落地项目推荐多种框架结合。 Dify 官方手册:https://docs.dify.ai/v/zhhans
2025-03-28
如何本地部署大模型,如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容: 本地部署大模型的主要步骤: 1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤: 1. SDXL 的大模型分为两个部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化,生成细节更丰富的图片。还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型,首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,启动 webUI,就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤: 1. 下载并安装 Ollama,点击进入根据电脑系统下载 Ollama:https://ollama.com/download ,下载完成后,双击打开,点击“Install”,安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车,等待下载完成。 总的来说,部署大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下: 1. 模型下载:SDXL 的大模型分为两个部分,第一部分 base + refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外,还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 2. 版本升级:要在 webUI 中使用 SDXL 的大模型,需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用:完成上述步骤后启动 webUI,即可在模型中看到 SDXL 的模型。正常使用时,先在文生图中使用 base 模型,填写提示词和常规参数(如尺寸设置为 10241024)进行生成。然后将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点再次点击生成。 5. 插件辅助:若觉得操作麻烦,可在扩展列表中搜索 refine 安装插件并重启,启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外,关于本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG,步骤包括导入依赖库(如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,使用前需确保 ollama 服务已开启并下载好模型)、从订阅源获取内容(通过指定函数从 RSS 订阅 url 提取内容,并将长文本拆分成较小的块附带相关元数据)、为文档内容生成向量(使用文本向量模型 bgem3,从 hf 下载好模型后放置在指定路径,通过函数利用 FAISS 创建高效的向量存储),最终实现 RAG。
2025-04-13
我有秋叶整合包,然后需要怎么搭建本地部署?
以下是使用秋叶整合包搭建本地部署的步骤: 1. 下载整合包:可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器,可一键启动。如果有其他需求,可以在高级选项中调整配置。 显存优化根据显卡实际显存选择,不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度,建议开启。 4. 准备工作完毕后,点击一键启动即可。等待浏览器自动跳出,或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch,则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁,请根据需求在“版本管理”目录下更新,同时注意插件的更新。 在 webui 的“扩展”选项卡下,可以安装插件。点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装。安装完毕后,需要重新启动用户界面。 具体安装方法: 1. 打开整合包链接(https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ,提取码:caru),下载《1.整合包安装》,存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》,鼠标右击文件,点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘(避免 C 盘被占满),点击确定。 5. 解压完成后,来到第二个文件夹,双击里面的文件,点击安装。 6. 打开刚刚解压保存的 SD 的根目录,找到启动器,鼠标右击启动器,点击“发送到”,选择桌面快捷方式,方便下次进入。 7. 双击启动器,等待更新,接着点击左边第二个“高级选项”,在显存优化里,根据自己电脑的显存选择。 8. 回到第一个一键启动,点击右下角的一键启动。出现代码页面不用管,等待 SD 的主界面在网页上自动弹出。如果出现报错,可以回到最开始的界面,在左边点击“疑难解答”,再点击右边的“开始扫描”,最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式: 通过云服务器、dify、智能微秘书来免费搭建微信机器人: 1. 在宝塔面板的终端安装相关命令,这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP(去掉后面的:8888),进入后邮箱密码随便填,建立知识库并进行设置。 4. 选择模型,国内模型有免费额度可选,如智谱 ai,获取钥匙并复制保存,创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人: 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key,将 Ai_Lock 修改成“1”,并在 OpenAI 处添加模型 key;若没有,保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下,找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框,正常登录微信,等待系统自动初始化必备文件。 6. 运行成功后,用“大号”给机器人发消息,拿到 wxid 并返回替换。 7. 添加完后,用小号登录,大号可对小号发号施令。 部署和训练自己的 AI 开源模型: 1. 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10