ai本地化部署

要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。

围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。

以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。

以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。

AI 在设备风控场景的落地可以从以下几个方面考虑： 法律法规方面：《促进创新的人工智能监管方法》指出，AI 的发展带来了一系列新的安全风险，如对个人、组织和关键基础设施的风险。在设备风控中，需要关注法律框架是否能充分应对 AI 带来的风险，如数据隐私、公平性等问题。 趋势研究方面：在制造业中，AI Agent 可用于生产决策、设备维护、供应链协调等。例如，在工业设备监控与预防性维护中，Agent 能通过监测传感器数据识别异常模式，提前通知检修，减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面，AI Agent 也能发挥重要作用，实现生产的无人化、决策的数据化和响应的实时化。

以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。

AI 本地化部署主要包括以下内容： 目前市面上的 AI 有线上和线下本地部署两种方式。线上部署出图速度快，不吃本地显卡配置，无需下载大模型，但出图分辨率受限；线下部署可自己添加插件，出图质量高，但使用时电脑易宕机，配置不高可能爆显存导致出图失败。 线上和线下平台可结合使用，充分发挥各自优势。线上用于找参考、测试模型，线下作为主要出图工具。具体操作如在在线绘图网站的绘图广场上发现想要的画风，点击创作会自动匹配创作使用的模型、lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次、多数量尝试不同画风得出符合游戏的模型+lora 组合，最后在 C 站下载对应模型到本地加载部署即可生图。 此外，Mistral AI 推出的 Mistral Saba 模型可本地部署，适用于单 GPU，能保障数据隐私。

以下是搭建个人 rag 知识库并实现本地化部署，调用本地大模型分析知识库内容进行解答的详细步骤： 一、通过 Open WebUI 使用大模型 1. 访问相关网址，使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，这是构建知识库的基础之一）。 3. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库，需使用额外软件 AnythingLLM，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括非结构化、结构化数据及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中，便于后续处理。

DeepSeek 的本地化部署相关内容如下： 拥有云服务器时的本地部署方法及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 此外，还包括以下相关内容： 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。并且 Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 阿里云派平台：以云基础设施和 GPU 算力资源为底层，搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。

进行 DeepSeek 本地化部署的方法如下： 如果拥有云服务器，可以进行本地部署，了解满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。

要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。

企业本地化部署 AI 主要包括以下方面： RPA 与财务税务问答机器人：RPA 与 AI 结合具有多种应用和优势。操作流程简单，无需代码，适合小白和无 IT 经验者。有众多应用案例，如奥康和方太在各部门的订单处理等操作中搭建了大量脚本。封装了众多组件，还可通过触发器设置机器人每天工作。数字化包括标准化、自动化、RPA 加 AI 使机器人更智能三个阶段，交付的是动态能力，让用户自己搭建机器人。产品可本地化私有部署，面向企业有费用，私有化部署能保障数据安全，企业大模型可封装调用。RPA 有容错处理方式，但受多种因素影响。 LangChain 与 NVIDIA：NVIDIA NIM 是一系列用户友好的微服务，旨在加速企业内部生成式 AI 的部署进程。支持广泛的 AI 模型，基于强大的推理引擎和技术构建，提供无缝的 AI 推理体验。其自托管特性可保障数据安全，提供预构建容器，具有可扩展性。开始使用 NIM 可在 NVIDIA API 目录中获取多种 AI 模型，它是 NVIDIA AI Enterprise 的一部分。 从 LLM 大语言模型、知识库到微信机器人：以 windows10 系统为例，安装环境时先在系统中输入“cmd”打开命令窗口，确认是否有 python 和 pip。若没有则需安装，如安装 python 可下载安装包。部署项目时下载 COW 机器人项目并解压缩。

以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。

以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。

部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||

以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。