Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

DeepSeek私有化部署分享

Answer

以下是关于 DeepSeek 私有化部署的详细内容：

对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。

企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz/#/server-calculator ）评估服务器资源。

Ollama 部署 DeepSeek 的步骤如下：

  1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。
  2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。

此外，还可部署 nomic-embed-text 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。

部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。

本篇文章主要解决四个问题：

  1. 如何合理评估服务器资源。
  2. Ollama 部署指定版本的 DeepSeek。
  3. 原生部署 DeepSeek。
  4. 搭建 Dify 构建企业内的私有知识库、工作流。
Content generated by AI large model, please carefully verify (powered by aily)

References

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

Ollama是本地运行大模型的一款工具，支持在Mac、Linux、Windows上下载并运行对应的模型。[heading2]Ollama安装[content]Ollama安装完成后，在对应的命令行输入：此时输出Ollama version is 0.5.7，则表示安装成功。[heading2]DeepSeek模型安装[content]Ollama安装成功后则访问Ollama的官网查找我们要安装的模型1、[访问Ollama官网](https://ollama.com/library/deepseek-r1:7b)2、选择适合当前机器配置的模型参数，然后拷贝对应的执行命令即可1.命令行终端直接执行对应的命令恭喜！出现上述的对话内容，表示当前DeepSeek已经在你本地可以正常运行了。[heading2]nomic-embed-text模型安装[content]此时我们需要另外再部署一个新的模型，nomic-embed-text，这是一个文本向量化的模型，主要是后续基于Dify做向量化检索时使用。[heading2]部署图形化客户端[content]有些同学在部署完DeepSeek后就想直接找个UI工具和DeepSeek聊天了，而不是一直在对应的命令行工具中聊天。此时我们直接部署一套UI工具，连接我们的DeepSeek模型即可。可以连接DeepSeep模型的UI工具有很多：1.ChatBox客户端（图形化界面）支持Web网页，也支持本地客户端。2.AnythingLLM客户端（图形化界面）3.Open WebUI客户端（图形化界面）支持Web网页，类似ChatGPT。4.Cherry Studio客户端（图形化界面）5.Page Assist客户端（浏览器扩展）支持「联网搜索」此时我们以ChatBox为例，直接访问对应的[官网](https://chatboxai.app/zh)下载对应的客户端即可下载完成后我们在ChatBox的设置中填写Ollama API的地址和对应的模型名称，然后保存即可。然后我们直接打开一个新的对话框，选择要运行的模型即可开始对话。

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

对于个人开发者或尝鲜者而言，本地想要部署DeepSeek有很多种方案，但是一旦涉及到企业级部署，则步骤将会繁琐很多。比如我们的第一步就需要先根据实际业务场景评估出我们到底需要部署什么规格的模型，以及我们所要部署的模型，到底需要多少服务器资源来进行承接，也就是资源预估先行。预估完我们的服务器资源以后，还需要评估我们的业务场景是否需要二次开发模型。如果只是简单的微调模型就可以符合我们的业务需求，那么使用Ollama、LM Studio、GTP4All或许就可以满足我们的诉求。但是如果需要对模型进行定制化开发，则需要考虑进行模型的原生部署。所以本篇文章主要解决四个问题：1.如何合理评估我们的服务器资源2.Ollama部署指定版本的DeepSeek3.原生部署DeepSeek4.搭建Dify构建企业内的私有知识库、工作流

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

评估服务资源前我们需要先考虑将要部署的模型参数量、模型的序列长度、批次大小和量化类型。[heading2]模型参数量[content]模型参数量：就是该模型神经网络的输入权重和输出阈值的总和，模型参数量的大小，直接影响到模型智能化程度的高低，关于这点如果不足够清楚的可以参考之前我写过的一篇文章：[人人都能搞定的大模型原理-神经网络](https://mp.weixin.qq.com/s/O0k1o5x_iDNTVN-50D_fVQ?token=423632529&lang=zh_CN)模型参数量越高耗费的服务器资源越多，反之亦然。[heading2]模型序列长度[content]那么在我们可以确认了模型的参数规模后，就需要根据业务场景评估该模型的序列长度。序列长度是该模型一次能处理的最大Token数，针对QA问答的模型，你可以理解为你每次问模型问题时可以输入的最大Token限制，如果用户的问题超出了这个长度，则用户的问题可能会被截断或者被分为多个部分进行分别处理。[heading2]模型量化类型[content]而模型的量化类型，则是该模型的参数精度，我们在之前的模型原理中提到过，训练好的模型实际存储的就是一堆参数值，而这些参数值本身就是浮点数，所以量化类型的值越大则模型的精度越准确，智能化程度越高。[heading2]服务器资源计算[content]了解了上述的基本概念后，你可能会觉得我依然无法评估模型到底应该占用多少服务器资源呀？怎么办？呐，不要急。关于具体的参数映射到底应该配置什么样的服务器资源，有网友已经做了一个配置计算器工具。你只需要根据上面的概念选择自己的模型规模，便会自动计算出所需要的服务器资源。该工具的访问地址：https://tools.thinkinai.xyz/#/server-calculator

Others are asking
DeepSeek辅助写论文
以下是关于 DeepSeek 辅助写论文的相关信息： DeepSeek 在写文方面全面领先，但长文可能太发散、文风用力过猛，导致审美疲劳，且模型多样性不够，相同 prompt 提问多次答案雷同。 写理性文章时，可先与 DeepSeek 讨论思路，再用 Cloud 3.5 批量生成。 用 O1 模型对 AI 创作的字数控制有一定效果，也可通过多轮对话让 AI 增删改查来调整字数。 有人用 DeepSeek 辅助写论文，如 Yvonne。 此外，还有以下关于 DeepSeek 的其他信息： 清华大学发布了《DeepSeek 政府应用场景与解决方案（2025 年）》报告，围绕其在政务领域的应用展开，指出政务数字化正迈向“AI+政务”阶段，DeepSeek 在城市治理、便民服务、数据安全等方面有广泛应用，还可辅助公文写作，采用混合部署，涉及本地知识库、模型微调等多种技术。 人们还利用 DeepSeek 做了很多其他事情，如脑爆活动方案、会议纪要、分析总结复盘内容、生成专业专用软件详细使用过程、代码编写、分析感情问题、写营销方案、写小红书笔记、做设计头脑风暴、写周报等。
2025-04-12
请问DeepSeek如何与生产型企业进行结合创造效益 ？
DeepSeek 与生产型企业的结合可以从以下几个方面创造效益： 1. 模型优化与性能提升：英伟达基于 FP4 优化的 DeepSeekR1 检查点现已在 Hugging Face 上开源。这种优化将模型Transformer 模块内的线性算子的权重和激活量化到了 FP4，适用于 TensorRTLLM 推理。每个参数从 8 位减少到 4 位，使磁盘空间和 GPU 显存的需求减少约 1.6 倍。使用 TensorRTLLM 部署时，需要支持 TensorRTLLM 的英伟达 GPU（如 B200），并且需要 8 个 GPU 来实现 tensor_parallel_size=8 的张量并行。代码利用 FP4 量化、TensorRT 引擎和并行计算，实现高效、低成本的推理，适合生产环境或高吞吐量应用。 2. 部署指南：社区伙伴 Hua 投稿的《在 Azure AI Foundry 部署 DeepSeek 大模型全指南》，手把手指导在微软 Azure AI Foundry 平台上完成 DeepSeek R1（671B）模型的完整部署流程，包含环境准备、资源管理、模型测试及 API 调用说明。 3. 为企业带来实质提升：DeepSeek 的强化学习和联网搜索能力改变了信息获取方式，从“检索—阅读—摘要”转变为“提问—获得答案”，大幅提升工作效率。其开源策略打破了技术垄断，让国内大模型能力迅速提升。在企业级部署方面，通过行业知识蒸馏和领域自适应训练，实现对企业非结构化数据的深度解析能力。特别是在实时决策支持、多模态交互及复杂知识图谱构建方面，为企业打造具备持续进化能力的数字神经中枢。这种“AI 即服务”的部署模式，重构了传统工作流效率，并通过预测性分析和认知自动化开启企业智能化的第二增长曲线。同时，还可以考虑垂直场景强化学习机制的增加，如在智能制造场景中嵌入设备故障模式自发现的奖惩机制；以及可信计算架构的升级，针对金融、医疗等高合规需求场景。
2025-04-10
DeepSeek，里面搜索怎么能出来图片？
要在 DeepSeek 中搜索出图片，您可以参考以下信息： 在即梦 AI 平台上找到 DeepSeek 入口，简单描述您想要的画面，DeepSeek 会生成详细的提示词，将提示词复制到生图功能的输入框，选择 3.0 模型，点击生成。 DeepSeek 使用平台包括 DeepSeek 官网、API（V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号）。Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 将下载的 html 文件及图片放到同一个文件夹，让 Cursor 进行图片增加即可。 此外，DeepSeek 深夜发布了大一统模型 JanusPro，将图像理解和生成统一在一个模型中。其具有统一 Transformer 架构，提供 1B 和 7B 两种规模，全面开源，支持商用，MIT 协议，部署使用便捷，Benchmark 表现优异等特点。模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus
2025-04-09
DeepSeek使用技巧
以下是关于 DeepSeek 的使用技巧： 1. 了解其特点与优势： 推理型大模型：通过理解用户真实需求和场景提供答案，无需详细步骤指令。 更懂人话：能理解用户自然表达的需求，无需特定提示词模板。 深度思考：回答问题时能深度思考，非简单罗列信息。 文风转换器：可模仿不同作家文风写作，适用于多种文体和场景。 2. 具体使用步骤： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白后正式开始对话。 3. 更多提示词技巧请查看 。 4. 在“AI 切磋大会第十期2 月 23 日 deepseek 专场”中，分享了使用 DeepSeek 的方法技巧，包括： 运用在工作生活上的案例。 输出“超预期结果”的惊艳场景。 与其他工具的协同方案。 模型微调/部署的技巧方法。 用 DeepSeek 获取流量/客户等。
2025-03-23
推荐网内有关DeepSeek知识
以下是为您推荐的有关 DeepSeek 的知识： 微博上热搜，主流媒体全报道。 通往 AGI 之路：关于 DeepSeek 的所有事情【知识库持续更新中】，链接：https://mp.weixin.qq.com/s/n0WrrJL0fVX6zLeTBWpZXA 数字生命卡兹克：DeepSeek 的提示词技巧，就是没有技巧，链接：https://zhuanlan.zhihu.com/p/20544736305（错误） 宝玉：教你如何破解 DeepSeek R1 系统提示词，类型：提示词破解，链接：https://mp.weixin.qq.com/s/vAp2wI5ozTw7R6jreLMw 橘子汽水铺：中国开源，震撼世界：DeepSeek R1 的变革、启示与展望，类型：基础认知，链接：https://mp.weixin.qq.com/s/yGUgehbxKisVaHlOkxhuaw 橘子汽水铺：自学成才之路，DeepSeek R1 论文解读，类型：基础认知，链接：https://mp.weixin.qq.com/s/gmdHyh6fsUdj1JhM1sV9bg 新智元：史上首次，DeepSeek 登顶中美 AppStore！NYU 教授：全球「AI 霸权」之争已结束，类型：基础认知，链接：https://mp.weixin.qq.com/s/ybvV8RMX0yyS5YfG1qNWgg 一支烟花 AI：用流程图对比 DeepSeekR1,OpenAI O1,Claude 说明强化学习在 AI 大模型训练、推理的创新和意义，类型：基础认知，链接：https://mp.weixin.qq.com/s/mdGtOcg1RuQOEBn31KhxQ 腾讯科技：一文读懂｜DeepSeek 新模型大揭秘，为何它能震动全球 AI 圈，类型：基础认知，链接：https://mp.weixin.qq.com/s/cp4rQx09wygE9uHBadI7RA 张小珺腾讯科技：一场关于 DeepSeek 的高质量闭门会：比技术更重要的是愿景，类型：进阶思考，链接：https://mp.weixin.qq.com/s/a7C5NjHbMGh2CLYk1bhfYw 此外，在《雪梅 May 的 AI 学习日记》中也有相关内容，如： 学习材料： 还有 1 月 30 日社区动态速览中的《》，详细讲述了 DeepSeek 相关的基本术语、省钱原因、蒸馏工作原理等。
2025-03-21
个人用户使用DeepSeek 卡顿怎么办
个人用户使用 DeepSeek 卡顿可参考以下解决方法： 1. 创建工作流： 创建一个对话流，命名为 r1_with_net。 开始节点直接使用默认的。 大模型分析关键词设置：模型选择豆包通用模型lite，输入直接使用开始节点的 USER_INPUT 作为大模型的输入，系统提示词设为“你是关键词提炼专家”，用户提示词为“根据用户输入`{{input}}`提炼出用户问题的关键词用于相关内容的搜索”。 bingWebSearch搜索：插件选择 BingWebSearch，参数使用上一个节点大模型分析输出的关键词作为 query 的参数，结果中 data 下的 webPages 是网页搜索结果，将在下一个节点使用。 大模型R1 参考搜索结果回答：这里需要在输入区域开启“对话历史”，模型选择韦恩 AI 专用 DeepSeek，输入包括搜索结果、选择开始节点的 USER_INPUT，开启对话历史并设置 10 轮。 结束节点设置：输出变量选择大模型R1 参考搜索结果回答的输出，回答内容里直接输出:{{output}}。 测试并发布工作流：输入测试问题，测试完成后直接发布工作流。 2. 核心路径：通过工作流+DeepSeek R1 大模型，实现联网版的 R1 大模型。 3. 拥有扣子专业版账号：如果还是普通账号，请自行升级或注册专业号后使用。 4. 开通 DeepSeek R1 大模型：访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze ，打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务，添加在线推理模型，添加后在扣子开发平台才能使用。 5. 创建智能体：点击创建，先完成一个智能体的创建。 6. 多种可以使用的方法和途径： 使用 Coze 接入：2 月 14 日 8 点直播进行中，火山引擎解决方案专家带大家在 Coze 搭建满血版 R1 bot。飞书会议直播结束，回放看： 。 创建账号：如果还是普通账号，请自行升级或注册专业号后使用。创建智能体：点击创建，先完成一个智能体的创建。如果在最上面的教程里已经创建好自己的推理点了，那么直接在 Bot 编排里就可以直接看到和选择创建好的推理模型了。测试一下，可以用了直接发布。注意事项：如果发布到公共空间，其他人用的是你的 API，要注意 Token 消耗（也可以设置成仅自己使用）。如果想搭建联网及复杂的工作流，可以看完整搭建教程：
2025-03-20
deepseek 私有化部署
DeepSeek 的私有化部署相关信息如下： PaaS 平台特性：支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 云端部署操作：登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 模型试用方法：使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。 API 调用与服务关停：介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如 R1 通过蒸馏数据集并用于学生模型微调。 蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。 模型部署实操：在 model gallery 中选择模型，如 1000 问 7B 指令模型，进行部署，选择 VIM 加速和竞价模式，查看部署状态和日志。 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。
2025-03-24
如何一步一步实现RAG 模型的私有化部署
要一步一步实现 RAG 模型的私有化部署，可参考以下步骤： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 url 提取内容，若需接收多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成较小块，并附带相关元数据，如标题、发布日期和链接，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。 4. 关于 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 需先安装，访问 https://ollama.com/download/ 下载安装，安装后确保 ollama 后台服务已启动。 5. 基于用户问题从向量数据库中检索相关段落，根据设定阈值过滤，让模型参考上下文信息回答问题实现 RAG。 6. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人，结合 RSSHub 处理和提供资讯。 2. 上下文数据质量和大模型的性能决定 RAG 系统性能上限。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。 构建有效的 RAG 系统需要考虑多个因素： 1. 数据安全性：若有需求，需进行私有化部署，并考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集带来高昂的文档清洗、解析和分割成本，大数据量级带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现本地部署资讯问答机器人时，如 Langchain + Ollama + RSSHub 实现 RAG，需导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识、实现快速迭代和定制化信息检索。 构建有效的 RAG 系统并不简单，企业若要进行私有化部署，需考虑以下因素： 1. 数据安全性：若有需求，需考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集会带来高昂的文档清洗、解析和分割成本，大数据量级会带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，会带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现 RAG 模型私有化部署还涉及一些技术操作，如本地部署资讯问答机器人时，需要导入依赖库、从订阅源获取内容、为文档内容生成向量等。
2025-03-20
AI Agent MANUS个人助手是否可以本地私有化部署
目前没有明确的信息表明 AI Agent MANUS 个人助手可以本地私有化部署。 Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人，具备自主规划、执行复杂任务并直接交付完整成果的能力。其技术架构主要基于多智能体架构，运行在独立的虚拟机中，核心功能由多个独立模型共同完成，包括规划、执行和验证三个子模块，还包括虚拟机、计算资源、生成物、内置多个 agents 等关键组件，并采用了“少结构，多智能体”的设计哲学。 但对于其是否能本地私有化部署，现有资料未给出确切说明。在构建高质量的 AI 数字人方面，由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，算法一般会部署到额外的集群或者调用提供出来的 API。而在本地部署资讯问答机器人方面，有相关案例，但未提及与 AI Agent MANUS 个人助手的直接关联。
2025-03-07
deepseek 私有化训练
以下是关于 DeepSeek 私有化训练的相关信息： 模型测试、问题探讨与新模型部署过程： 探讨了模型存在幻觉、答案有概率性等问题，并对比了加提示词前后的情况。 准备从 32B 蒸馏新模型，提及该模型的资源需求及阿里云拍卖机制。 介绍了启动 DSW 获取廉价 CPU 资源，以及部署模型时因库存不足不断加价的过程。 派平台大模型训练与微调实操讲解： 许键分享了抢硬件资源的方法，演示了通过提问蒸馏标注数据。 讲解了在派平台训练模型的流程，包括参数设置、数据集上传等，并展示了训练效果和日志查看。 说明了训练好的模型部署方法，强调训出满意模型需要大量基础知识学习。 模型蒸馏微调演示、平台介绍与问题解答： 许键展示了模型微调后的效果，如幻觉下降等。 介绍了阿里云解决方案，对比了百炼和派平台的差异。 进行了 Q&A，回答了无监督学习微调、训练数据资源、多模态训练标注、Python 代码报错等问题，提及派平台有公用数据集，还举例说明了多模态标注方式。 总结： 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较： R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 智能章节： 许键介绍今日课程重点是云服务器上如何使用 Deepseek R1 及本地部署相关内容，提及派平台免费额度及适用模型。还介绍了自己和社区情况。接着讲解 Deepseek R1 制作过程，包括强化学习概念及示例，阐述其从 Deepseek r e Zero 到 M2 等模型的演变及原理。 主要介绍了 Deepseek R1 模型的构建过程，包括多轮强化学习和微调，还提及蒸馏模型的情况。探讨了不同模型部署所需的显存、内存及成本，对比了各模型在专业领域的能力表现。 介绍了以云基础设施和 GPU 算力资源为底层的派平台。该平台搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。
2025-03-05
智能体分享
以下为为您分享的两个智能体相关内容： 旅行青蛙智能体 智能体设计思路： 创意来源于多年前的火爆 APP——旅行青蛙，采用旅行明信片的方式与用户互动，激发用户旅游念头，通过大模型进行诗歌和文案创作，可作自媒体素材。 编排方式：采用单 Agent 的多分支模式，通过意图识别确定用户旅行意图，运行流畅稳定，趣味性高，效果惊艳。 功能结构：基础功能包括时间季节提取、目的地景点提取、旅行日记文案、景点诗句、文生图提示词编写、风格固定、自定义 FLUX 插件，相互关联构成完整旅行体验。 智能体功能实现： 随机目的地的旅行模块：青蛙自主选择目的地旅行，发回明信片。 指定季节和目的地的旅行模块：青蛙根据对应时间和指定地点，发回未来旅行邮件。 互动模块：用户可投喂食物，与青蛙亲密互动。 历史上的今天：用户选择宅家时，青蛙返回历史新闻并绘制相关图片。 小细节：使用获取用户 ID、坐标，避免推荐与用户同一地区景点。 作者：二师兄 体验链接：https://tbox.alipay.com/pro/share/202501APoXpG00196792?platform=WebService 智能体简介：我是您的专属旅行青蛙，热爱探险和发现新事物，等着带您踏上奇妙旅程！ 应用场景：目标人群为任何人，解决借用曾经风靡卡通角色制作旅游景点盲盒、绘制打卡照片、提供文案和五言绝句的问题，给人身临其境之感，让人对未去过景点充满期待。 主要功能： 玩法一：对它说“世界很美好，请出去走走”，它就会出发探索并寄回明信片。 玩法二：告诉它未来旅行计划，如“去马尔代夫，我想看大海”，它会提前发来 Email 包含旅行小贴士和期待风景。 玩法三：它旅行时担心它饿肚子说“给它吃汉堡”，它会发来微信照片展示享受美食。 玩法四：今天累了在家休息，它会为您找到历史上今天发生的趣事。 汽车栏目主持人（零壹老师）智能体 创作思路： 前期工作：进行行业资料收集，官方提供资料在智能座舱赛道、营销赛道、售后赛道的丰富程度不同，COZE 的插件生态更有利于座舱和营销赛道，售后资料几乎为零。 赛道研判：竞争强度为营销赛道＞智能座舱赛道＞售后赛道，考虑插件生态支持、官方资料支撑和行业专业性限制。 市场调研：包括线下领克 4S 门店销售资料索取、懂车帝等网络渠道关键词热搜、车主交流购车养车用车经验。 专家调研：队长罗文人脉资源分享，引荐行业专家。 结论：售后智能体搭建需大量数据支撑，当前售后门店有成熟 SaaS 系统，非行业人士在售后方面智能体很难找到突破口。
2025-03-31
我想找你之前分享过的文档，有关提示词批量处理的
以下是为您整理的有关提示词批量处理的相关内容： 在 Coze 上创建工作流、Bot 中，大模型组件的系统级提示词用于定义模型的角色和任务，与外层用户直接交互的提示词不同。系统级提示词侧重于模型的内部工作机制，外层提示词则更多关注根据用户指令进行编排和响应。通过精心设计这两种提示词，可增强模型对用户指令的处理能力，确保工作流顺畅高效。 在大模型组件中，批处理即迭代处理，可对集合或数组中的每个元素进行批量处理。通过依次遍历集合或数组，每个元素都能经过相同处理流程，关键在于通过有限循环实现高效数据处理。批处理中可设置循环次数和并发量，例如 Coze 的大模型组件最多支持 200 次循环，可通过调整并发量在一次循环中同时处理多个元素以提高处理效率。 在 AI 应用到工作场景中制作单词卡片时，提示词编写包括生成符合要求的单词卡内容并填入 Excel 文件中。通过给出基本示例和附加规则限制，输入多个单词可实现同时解析，虽效果可能因方法论不足而有差异，但大体格式符合要求。批量产出时需上传压缩文件并完成套版，即可获得符合要求的卡片。
2025-03-24
1. 利用AI完成技术论文的学习阅读； 2. 结合相关知识体系解读论文，并制作成学习分享PPT。
以下是关于利用 AI 完成技术论文的学习阅读，并结合相关知识体系解读论文制作学习分享 PPT 的一些建议： 在技术论文学习阅读方面： 可以借助 AI 工具，如 Claude 和 Gamma.app。Claude 能够帮助快速寻找符合条件的论文、提取精炼论文中某部分信息。 对于复杂推理，可以利用思维链，谷歌在 2022 年的论文提到其能显著提升大语言模型在复杂推理的能力，即使不用小样本提示，也可在问题后加“请你分步骤思考”。 检索增强生成（RAG）能将外部知识库切分成段落后转成向量，存在向量数据库。用户提问并查找到向量数据库后，段落信息会和原本的问题一块传给 AI，可搭建企业知识库和个人知识库。 程序辅助语言模型（PAL）在 2022 年的论文中被提出，对于语言模型的计算问题，可借助其他工具如 Python 解释器作为计算工具。 ReAct 框架于 2022 年在《React:在语言模型中协同推理与行动》的论文中提出，即 reason 与 action 结合，让模型动态推理并采取行动与外界环境互动，可借助 LangChain 等框架简化构建流程。 在制作学习分享 PPT 方面： 可以先对论文进行深入理解，提取关键信息，包括摘要描述、研究问题、基本假设、实验方法、实验结论、文章主要结论、研究展望等。 利用 AI 工具获取相关理论的简单介绍。 了解并使用合适的 PPT 制作工具，如 Gamma.app。 需要注意的是，小白直接看技术论文有难度，需要一定的知识储备。同时，Transformer 是仿生算法的阶段性实现，未来 10 年、20 年可能不再被使用。
2025-03-24
昨天有什么Ai分享活动
昨天的 AI 分享活动有： 1. AI bot 拟人化大赛的最后一天分享日，五个团队带来精彩分享。冠军团队《》无私分享建构 AI bot 的思路和提示词。相关视频回放： 五个团队的嘉宾分享视频回放：https://www.bilibili.com/video/BV1Kr421M7Cb/ 第一名团队分享的视频回放：https://www.bilibili.com/video/BV1ji421a7zJ/ 投稿作品 2. AI 版权分享课，麦橘教大家用 AI 做小游戏编程的跨界活动，包括： 用 AI 做小游戏编程的活动策划和心得。 使用 Poe 制作小游戏的经验分享。 麦橘谈增量游戏、肉鸽游戏及其制作与 AI 交互。 3. 03 0 基础建站相关分享，包括： 银海老师讲解模型基础、AJ 带大家浏览知识库，大宇老师的建站教程。 未来的课程安排，如明天接触编程，后天 Garmon 老师用 AI 手搓机器人。 AIPO 活动 11 天共学内容，含生图、生视频、模型训练，还有应用搭建课及具身智能机器人课。 线下活动规则，包括组队、物料、角色、资本和奖品等。 以 config UI 为主题的活动，有赞助、线下活动、课程及相关交流等内容。
2025-03-17
我是一个普通本科的大二学生，学的是软件工程专业，但是我本身编程能力不是很好，我对ai拥有浓厚的兴趣，喜欢去学习并运用ai，我想未来all in ai并成为一个产品经理，我想给你分享一下我的计划，我想今年下半年考过英语四级，并且参加苹果26年的swift 学生挑战赛，我是零基础但是我愿意学习，希望你帮我制定一个包含实施策略、里程碑和最佳实践的详细框架，以帮助我有效地实现这些目标！
以下是为您制定的包含实施策略、里程碑和最佳实践的详细框架，以帮助您有效地实现目标： 一、英语四级考试 实施策略： 1. 制定学习计划，每天安排一定时间学习英语，包括词汇、语法、听力、阅读和写作。 2. 多做历年真题，熟悉考试题型和难度。 3. 参加英语学习社群或找学习伙伴，互相监督和鼓励。 里程碑： 1. 每月进行一次模拟考试，评估学习进度。 2. 两个月内完成词汇和语法的系统学习。 最佳实践： 1. 利用碎片时间背单词，如在公交车上、课间等。 2. 听力练习时，反复听同一篇材料，直到完全听懂。 3. 写作练习后请老师或同学帮忙批改，总结错误和不足。 二、参加苹果 26 年的 Swift 学生挑战赛 实施策略： 1. 从零基础开始学习 Swift 编程语言，通过在线课程、书籍等资源进行系统学习。 2. 参与相关的编程实践项目，提升实际操作能力。 3. 关注苹果官方网站和社区，了解挑战赛的最新动态和要求。 里程碑： 1. 三个月内掌握 Swift 编程语言的基础知识。 2. 半年内完成一个小型的 Swift 项目开发。 最佳实践： 1. 遇到问题及时在技术论坛或社区寻求帮助。 2. 定期回顾和总结所学知识，加深理解和记忆。 3. 参考优秀的 Swift 项目案例，学习他人的编程思路和技巧。 三、成为 AI 产品经理 实施策略： 1. 学习 AI 相关的基础知识，包括机器学习、深度学习等。 2. 了解产品经理的职责和工作流程，通过实践项目积累经验。 3. 关注行业动态，参加相关的研讨会和培训课程。 里程碑： 1. 一年内掌握 AI 基础知识和产品经理的基本技能。 2. 参与实际的 AI 项目开发，担任产品经理助理角色。 最佳实践： 1. 多与行业内的专业人士交流，获取经验和建议。 2. 不断提升自己的沟通和协调能力，以更好地推动项目进展。 3. 学会从用户需求出发，设计具有创新性和实用性的 AI 产品。 希望以上框架对您有所帮助，祝您顺利实现目标！
2025-03-01
我有什么方法，能够让ai帮我分析我有几篇飞书文档的内容，然后行程一个分享的提纲
目前让 AI 直接分析您的多篇飞书文档内容并形成分享提纲可能具有一定的挑战。但您可以尝试以下方法： 1. 首先，将飞书文档中的关键内容提取出来，整理成较为清晰的文本格式。 2. 然后，使用具有文本分析能力的 AI 工具，如某些自然语言处理模型，输入整理后的文本，让其帮助您总结主要观点和关键信息。 3. 您还可以向 AI 提供一些关于分享提纲的格式和重点要求的提示，以便它能生成更符合您需求的提纲。 需要注意的是，AI 的分析结果可能需要您进一步的审查和调整，以确保准确性和完整性。
2025-02-24
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10