Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎么本地部署DEEPSEEK

Answer

以下是本地部署 DeepSeek 的步骤：

  1. 拥有扣子专业版账号：如果您还是普通账号，请自行升级或注册专业号后使用。开通成功后会呈现相应状态。
  2. 开通 DeepSeek R1 大模型：
    • 访问地址：https://console.volcengine.com/coze-pro/overview?scenario=coze
    • 打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。
    • 添加在线推理模型，添加后在扣子开发平台才能使用。添加过程包括添加模型和完成接入。
  3. 创建智能体：点击创建，先完成一个智能体的创建。
  4. 创建工作流：
    • 创建一个对话流，命名为 r1_with_net，注意是“创建对话流”。
    • 开始节点，直接使用默认的。
    • 大模型-分析关键词设置：模型选择豆包通用模型-lite，输入直接使用开始节点的 USER_INPUT 作为大模型的输入，系统提示词为“你是关键词提炼专家”，用户提示词为“根据用户输入\{\{input\}\}提炼出用户问题的关键词用于相关内容的搜索”。
    • bingWebSearch-搜索：插件选择 BingWebSearch，参数使用上一个节点大模型分析输出的关键词作为 query 的参数，结果中 data 下的 webPages 是网页搜索结果，将在下一个节点使用。
    • 大模型-R1 参考搜索结果回答：这里需要在输入区域开启“对话历史”，模型选择韦恩 AI 专用 DeepSeek，输入包括搜索结果和选择开始节点的 USER_INPUT，开启对话历史，设置 10 轮，默认不开启对话历史，开启后默认是 3 轮，系统提示词不需要输入。
    • 结束节点设置：输出变量选择大模型-R1 参考搜索结果回答的输出，回答内容里直接输出:{{output}}。
  5. 测试并发布工作流：输入您的测试问题，测试完成后，直接发布工作流。
Content generated by AI large model, please carefully verify (powered by aily)

References

韦恩: 被困在离线孤岛？DeepSeek 联网版 我已经用扣子实现了！！ 不卡顿！！

甚至是一夜之间，DeepSeek R1大模型成了国民刚需，官网卡顿，不能使用联网搜索等等困扰了很多人，也有很多平台都上线了DeepSeek R1的各种版本，但是很少有满血版本，再就是很多是不能联网，这很痛苦。本地部署的版本前两天也带学员和粉丝们部署和体验了，总的来说能作为替补，很难作为长期使用的版本，为此苦苦寻觅。今天终于找到了更好，更舒服的打开方式。[heading1]核心路径[content]通过工作流+DeepSeek R1大模型，实现联网版的R1大模型。下面就带大家一步步来实现。[heading1]拥有扣子专业版账号[content]如果你还是普通账号，请自行升级或注册专业号后使用开通成功的是这样：[heading1]开通DeepSeek R1大模型[content]访问地址：https://console.volcengine.com/coze-pro/overview?scenario=coze打开火山方舟，找到开通管理，找到DeepSeek R1模型，点击开通服务添加在线推理模型，添加后在扣子开发平台才能使用添加过程：添加模型：完成接入：[heading1]创建智能体[content]点击创建，先完成一个智能体的创建

详解：DeepSeek深度推理+联网搜索 目前断档第一

[heading3]游戏科学创始人、黑神话悟空制作人冯骥：年前还是认真推下DeepSeek吧。V3已经用了一个月，但R1仅仅用了5天，不得不来发这条微博。先讲一句暴论：DeepSeek，可能是个国运级别的科技成果。为了讲清楚这个成果有多惊人，我打个比方：如果有一个AI大模型做到了以下的任何一条，都是超级了不起的突破——1、强大。比肩O1的推理能力，暂时没有之一2、便宜。参数少，训练开销与使用费用小了一个数量级3、开源。任何人均可自行下载与部署，提供论文详细说明训练步骤与窍门，甚至提供了可以运行在手机上的mini模型。4、免费。官方目前提供的服务完全免费，任何人随时随地可用5、联网。暂时唯一支持联网搜索的推理模型（o1还不支持）6、本土。深度求索是一家很小规模的年轻中国公司，由没有海外经历甚至没有资深从业经验的本土团队开发完成上面的六条，DeepSeek全部、同时做到了。实在太6了，6到不真实。如果这都不值得欢呼，还有什么值得欢呼？那么，现在看到这条微博的你应该去做什么呢？1、请直接访问：网页链接马上用起来，也有移动APP

韦恩: 被困在离线孤岛？DeepSeek 联网版 我已经用扣子实现了！！ 不卡顿！！

创建一个对话流，命名为r1_with_net，注意，这里是"创建对话流"[heading2]开始节点，直接使用默认的[heading2]大模型-分析关键词设置如下[content]模型：豆包通用模型-lite，这里任意模型都够用，功能足够简单输入：直接使用开始节点的USER_INPUT作为大模型的输入系统提示词：你是关键词提炼专家用户提示词：根据用户输入`{{input}}`提炼出用户问题的关键词用于相关内容的搜索[heading2]bingWebSearch-搜索[content]插件：BingWebSearch，是Bing的搜索插件参数：使用上一个节点，大模型分析输出的关键词作为query的参数结果：data下的webPages是网页搜索结果，将在下一个节点使用[heading2]大模型-R1参考搜索结果回答[content]这里需要在输入区域开启"对话历史"模型：韦恩AI专用DeepSeek，这里使用我们在火山方舟里配置的DeepSeek R1模型输入：搜索结果，选择搜索节点data下的webPages输入：选择开始节点的USER_INPUT开启对话历史，设置10轮，默认不开启对话历史，开启后默认是3轮系统提示词：这里不需要输入用户提示词：[heading2]结束节点设置[content]输出变量选择大模型-R1参考搜索结果回答的输出回答内容里直接输出:{{output}}[heading2]测试并发布工作流[content]输入你的测试问题，测试完成后，直接发布工作流

Others are asking
我想让DEEPSEEK帮我写一篇论文，题目已经定好了，怎么给他输入指令
以下是给 DeepSeek 输入指令以帮助您写论文的一些建议： 1. 采用结构化提示词： 优先保留专业领域术语和技术词汇，这些术语通常具有高信息价值。 对不同类型的信息设置权重，按优先级排序：任务定义>关键约束>专业术语>定量信息>方法论>背景。 以完整语义单元为基本保留单位，而非单个词语，确保压缩后的内容仍保持语义完整性。 避免详细指导思考过程，让模型自主生成思维链。 2. 高阶能力调用： 文风转换矩阵：例如“用鲁迅杂文风格写职场 PUA 现象”“将产品说明书改写成《史记》列传格式”“把这篇论文摘要翻译成菜市场大妈能听懂的话”。 领域穿透技术：如行业黑话破解“解释 Web3 领域的'胖协议瘦应用'理论”。 3. 场景化实战策略： 创意内容生成。 技术方案论证。 4. 效能增强技巧： 对话记忆管理：包括上下文锚定（如“记住当前讨论的芯片型号是麒麟 9010”）、信息回溯（如“请复述之前确认的三个设计原则”）、焦点重置（如“回到最初讨论的供应链问题”）。 输出质量控制：针对过度抽象、信息过载、风格偏移等问题，使用相应的修正指令。 5. 特殊场景解决方案： 长文本创作：可采用分段接力法，如“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应”。 敏感内容处理：使用概念脱敏法（如“用经济学原理类比说明网络审查机制”）或场景移植法（如“假设在火星殖民地讨论该议题”）。 在输入指令时，您需要清晰明确地描述论文的题目、研究目的、主要论点、关键论据、期望的结构和风格等重要信息，以便 DeepSeek 能够为您生成符合要求的内容。
2025-04-14
DEEPSEEK提示词生成器
以下是关于 DeepSeek 提示词生成器的相关信息： 即梦 3.0 模型中使用 DeepSeek 生成提示词 1. 进入即梦 AI 平台，访问其官方网站 https://jimeng.jianying.com/aitool/image/generate 。 2. 选择 3.0 模型。 3. 在即梦 AI 平台上找到 DeepSeek 入口。 4. 简单描述想要的画面，如“我想生成一张生日贺卡，上面有蛋糕和气球，还有‘生日快乐’的字样。” 5. DeepSeek 会根据描述生成详细的提示词。 6. 把提示词复制到生图功能的输入框，选择 3.0 模型，点击生成即可。 制作“古人骂人”视频中使用 DeepSeek 生成文案 1. 打开 DeepSeek 网站 https://chat.deepseek.com/ 。 2. 输入提示词，示例：“让 XX 用现代口语化的表达、生气骂人的口吻吐槽 XXXX（例如：吐槽现代人），XXX 目的（例如：推广 XXX 吸引游客来旅游），输出 3 条 60 字左右的毒舌文案，每条里面都要有‘回答我！Look in my eyes！Tell me！why？baby！why？’” 3. 从中挑选最满意的一条（或多条）保存备用。 使用 DeepSeek 生成单词 1. 输入单词主题、图片风格、单词数量，如非洲动物、真实风格、2 。 2. 选择 deepseekr1 模型，输入单词主题、单词数量，DeepSeek 为用户输出指定数量的单词，并以数组方式呈现，包括单词、中文、美式音标、英文句子及其中文翻译。 提示词： 角色：您是一个专业的单词生成助手，擅长围绕各种主题挖掘相关英语单词，为用户提供精准且实用的单词、中文、美式音标内容。 技能 1：输出关联英语单词，当用户输入主题时，分析主题内涵，运用专业知识，输出指定数量个与该主题紧密关联的英语单词、中文翻译、美式音标，将该单词用于一句英文中（不超过 15 个单词），并将这句英文句子翻译成中文句子，并以数组形式呈现。 限制：仅围绕用户输入主题输出相关英语单词、中文翻译、美式音标，不涉及其他领域内容。输出必须为符合要求的数组形式，英文单词对应变量 yingwen，中文翻译对应变量 zhongwen，美式音标对应变量 yinbiao，英文句子对应变量 juzi_yingwen，中文句子翻译对应变量 juzi_zhongwen，不得有其他格式偏差。
2025-04-10
DEEPSEEK相关学习内容
以下是一些关于 DeepSeek 的学习资料： 《雪梅 May 的 AI 学习日记》挑战 100 天和 AI 做朋友（持续更新中）： 专题 1：飞书多维表格+deepseekR1+扣子 DAY106 2025.2.17 速读：快速了解 deepseek 学习材料： 雪梅唠嗑：公众号文章 感受：上面这个文档是 waytoAGI 整理的 deepseek 相关的内容，快速浏览一遍，也不会花太多时间，但是可以对 deepseek 的各个角度有一些基础了解。任何一个爆火的名词或者热门的 AI 工具出现的时候，都可以先在 waytoAGI 上搜一下，社区里面会有很多小伙伴已经贡献了很多相关的内容。从经验来看，只要是能听到的词汇，基本上都能搜到。 张翼然：AI 赋能教学，创新引领未来.pdf_： 包含多篇相关资料，如《Deepseek R1 本地部署完全手册》.pdf、00 Deepseek 官方提示词.txt、普通人学 AI 指南.pdf、DeepSeek 从入门到精通.pdf、DeepSeek 图解 10 页 PDF.pdf、Prompt 提问研究小册子 V3.6.pdf 等。 有用的不是提示词技巧，而是思考和表达。 相关链接：https://pan.quark.cn/s/56e2713e95f4 非技术人 10 分钟读懂 Deepseek R1｜天才模型养成与 AI 超越人类的破晓时刻： DeepSeek 在这个春节火到没边，不仅在公众号、小红书、抖音疯狂刷屏，就连过年餐桌上七大姑八大姨都会来找我唠上两句。 主要围绕以下话题： 天才养成记：DeepSeek R1 为什么如此聪明？ “填鸭”之困：传统大模型训练的瓶颈？ 自学成才：DeepSeek R1 的破局之道？ 纯强化学习：再次带来 AI 超越人类的希望？ 去除无用“高精尖”知识，讲透技术黑话，力求帮助每个不太懂技术的读者，深度理解 Deepseek R1，更好开展自己的工作与生活。
2025-04-09
如何在电脑上安装DEEPSEEK
以下是在电脑上安装 DeepSeek 的步骤： 1. 访问网址：https://www.deepseek.com/zh 。 2. 点击开始对话，左边选择代码助手。 3. 对于 DeepSeek R1 的申请： 申请链接：https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 。 4. 环境安装（如需要）： 若涉及相关开发，可能需要提前安装 Node.JS。 下载地址：https://nodejs.org/zhcn 。 Mac 安装包： 。 Windows 安装包： 。安装时可能需要管理员权限。安装完成后，可打开终端面板输入相关指令查看是否安装成功。 此外，还可以通过以下方式使用 DeepSeek： 1. 使用网页聊天： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接安装浏览器插件并添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 。 打开聊天页面，点击右上角的插件列表，找到 Page Assist 插件并点击打开。 配置“DeepSeekR1”模型的 API key 。 基础 URL：https://ark.cnbeijing.volces.com/api/v3 。填好后点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型，即可愉快使用。
2025-03-26
你是一名DEEPSEEK专家，请用大白话交给小白掌握deepseek的使用，举例说明
DeepSeek 的使用对于小白来说可能有点复杂，但我尽量用大白话给您解释清楚。 比如说，您想让 DeepSeek 帮您生成“玄武门之变结束的当天，李世民在深夜写下一段独白，你觉得他会写什么？”这样的内容。 DeepSeek 会这样来处理： 1. 先回顾玄武门之变的历史背景，比如这场政变发生在 626 年，李世民杀了兄弟，逼父亲退位等。 2. 思考李世民当晚的心理，可能有释然、愧疚、恐惧、自责等多种复杂情绪，还要考虑他是被迫还是早有预谋。 3. 要让生成的独白不仅符合历史事实，还要有文学性，体现人性的复杂。比如要平衡他的野心与自责，对未来的抱负与对过去的悔恨。 4. 考虑当时的文化背景，像儒家思想对孝悌的重视，李世民的行为违背了这些伦理，他可能会内心挣扎，还可能为自己的行为找正当理由。 5. 按照您的需求，给独白加上一些文学修辞，像比喻、对仗、意象等，增强画面感。 另外，DeepSeek 还有个很厉害的地方，就是它能在独白文本中“自作主张”地加入括号里的场景描述，让整个输出更有画面感。比如“（夜风掀动案头《韩非子》，停在‘夫妻者，非有骨肉之恩也’那页）”、“（墨迹在‘弑’字上晕开一团）”、“（忽然扔笔，抓起铜镜）”这些句子，很难相信是 AI 写的。 总之，使用 DeepSeek 时要考虑很多方面的因素，它能根据您的提示词和需求，生成很精彩的内容。
2025-03-13
DEEPSEEK
DeepSeek 是一家具有独特特点和影响力的公司。 DeepSeek 不是“中国式创新”的产物，将其比喻成“AI 界的拼多多”是偏颇的。早在 2024 年 5 月 DeepSeekV2 发布时，其以多头潜在注意力机制（MLA）架构的创新在硅谷引发小范围轰动，而当时在国内舆论场被描摹成“大模型价格战的发起者”。这表明 DeepSeek 与硅谷更有对话和交流的密码，其秘方是硅谷味儿的。 如果 V3 是 DeepSeek 的 GPT3 时刻，接下来的发展充满未知，但 DeepSeek 作为中国最全球化的 AI 公司之一，赢得全球同行尊重的秘方也是硅谷味儿的。 一个提示词“HiDeepSeek”能让 DeepSeek 的能力更上一层楼。通过 Coze 做的小测试可进行效果对比。使用方法为：首先搜索 www.deepseek.com 并点击“开始对话”；然后将装有提示词的代码发给 Deepseek；最后认真阅读开场白后正式开始对话。其设计思路包括将 Agent 封装成 Prompt 并储存在文件，通过提示词文件让 DeepSeek 实现同时使用联网和深度思考功能，在模型默认能力基础上优化输出质量等。完整提示词版本为 v1.3，特别鸣谢李继刚的【思考的七把武器】提供思考方向，以及 Thinking Claude 和 Claude 3.5 Sonnet。
2025-03-10
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10