Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何部署自己私人AI

Answer

部署自己私人 AI 可以参考以下几种方式：

通过云服务器、dify、智能微秘书来免费搭建微信机器人：

  1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。
  2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。
  3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。
  4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。

基于 Hook 机制的微信 AI 机器人：

  1. 将 Administrators 改成“wxid_dna83ykqawl222”。
  2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。
  3. 修改后点击保存。
  4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。
  5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。
  6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。
  7. 添加完后，用小号登录，大号可对小号发号施令。

部署和训练自己的 AI 开源模型：

  1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。
  2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。
  3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。
  4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。
  5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。
  6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。

总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

Content generated by AI large model, please carefully verify (powered by aily)

References

马上观看看：通过云服务器，dify，智能微秘书来免费搭建微信机器人

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose这些命令都是在宝塔面板的终端安装。如果你想学习这些命令是什么就还是直接给AI就可以。比如cd dify/docker是啥意思。这个docker-compose文件就是在这个/root/dify/docker目录下。这里边以后可以修改，可以学习里边的文件是什么意思。检查一下一共有7个在运行。docker compose ps如果nginx这个容器无法运行。把终端里输出的代码粘贴给AI，可能是80端口被占用了。按照AI的方法，检查谁占用的，都停止掉就可以了。也可以用别的方法，我是用这种方法。记住要一步步来，确保前一步成功再下一步，怎么确保就是把代码复制问AI。现在可以在浏览器的地址栏里，输入你的公网ip就可以。可以上腾讯云服务器上查，你的宝塔面板上的地址栏也有显示，去掉后面的:8888就是。进去以后邮箱密码随便填一下。随便建立一个知识库，知识库中选择设置。这时候你就可以选择模型了，国内的模型都有免费额度，随便选，你也可以都选。拿智谱ai举例。点设置，点从智谱ai获取钥匙，直接会进入智谱的官网。用手机号注册，添加API keys，复制一下。然后看一下有多少免费额度，智谱是资源包管理里边看，赠送500万一个月。这些大模型有的限制时间，有的不限制。有的给tokens额度有的给钱。最后把网址收藏一下。回到上面的图，把钥匙复制，保存就可以了。然后随便创建个应用。可以先选择智谱glm-4测试一下，聊两句，看有回应没，然后点发布。选择第二个，如图：点击api秘钥，创建一个，复制。

张梦飞：【保姆级】基于Hook机制的微信AI机器人，无需服务器，运行更稳定，风险更小

13.1把Administrators，先改成下图这个“wxid_dna83ykqawl222”（/狗头）13.2如果你已经有了FastGPT或者OpenAI的key，---那么你可以把这里的Ai_Lock，修改成“1”。然后拉到最下边，在OpenAI那里，去添加你的AI模型key。填写格式，参照原有的格式即可。---如果暂时没有FastGPT或者OpenAI的key，可以先不修改，保持Ai_Lock是0。14、修改后，点击保存。15、返回NGCbot文件夹下，找到main.py文件，双击开始运行。16、双击后，你会看到这个页面，然后会弹出微信登录框。正常登录微信即可（如果显示版本过低，登录失败，跳转到最下边看解决方法）17、进入微信之后，系统会自动初始化必备文件，等待初始化完成。18、在运行成功后，你需要用“大号”给机器人发一条消息。红框处是你的wxid。拿到你的wxid返回到13.1步，config让你替换的地方，替换掉。（因为你刚才填的是我的wxid/狗头19、添加完之后，建议使用小号进行登录，然后你就可以使用大号作为管理员，对小号发号施令了！20、试着使用小号登录后，用大号对小号说：

问：如何部署和训练自己的AI开源模型

根据搜索结果，以下是部署和训练自己的大模型的主要步骤：1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源，如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息，需要重视安全性和合规性总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成，请仔细甄别

Others are asking
如何让企业微信可以接上 AI？让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑： 法律法规方面：《促进创新的人工智能监管方法》指出，AI 的发展带来了一系列新的安全风险，如对个人、组织和关键基础设施的风险。在设备风控中，需要关注法律框架是否能充分应对 AI 带来的风险，如数据隐私、公平性等问题。 趋势研究方面：在制造业中，AI Agent 可用于生产决策、设备维护、供应链协调等。例如，在工业设备监控与预防性维护中，Agent 能通过监测传感器数据识别异常模式，提前通知检修，减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面，AI Agent 也能发挥重要作用，实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
请问哪个平台支持上传私人知识库文件
以下平台支持上传私人知识库文件： 本地文档： 文本内容： 支持格式：.txt、.pdf、.docx。 操作步骤：在文本格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档。每个文件不得大于 20M，一次最多可上传 10 个文件。上传完成后选择内容分段方式，包括自动分段与清洗（系统会对上传的文件数据进行自动分段，并会按照系统默认的预处理规则处理数据）和自定义（手动设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度、设置文本预处理规则，如替换掉连续的空格、换行符和制表符，删除所有 URL 和电子邮箱地址），最后单击下一步完成内容上传和分片。 表格数据： 支持格式：.csv 和.xlsx。 操作步骤：在表格格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档，然后单击下一步。每个文件不得大于 20M，一次最多可上传 10 个文件。配置数据表信息，包括指定数据范围（通过选择数据表、表头、数据起始行指定数据范围）、确认表结构（系统已默认获取表头的列名，可自定义修改列名或删除某一列名）、指定语义匹配字段（选择作为搜索匹配的语义字段）。查看表结构和数据，确认无误后单击下一步，完成上传后单击确定。 Notion： 操作步骤：在文本格式页签下选择 Notion，然后单击下一步。单击授权，首次导入 Notion 数据和页面时需要进行授权。在弹出的页面完成登录，并选择要导入的页面。选择要导入的数据，然后单击下一步。选择内容分段方式，包括自动分段与清洗和自定义，最后单击下一步完成内容上传和分片。 自定义： 操作步骤：在文本格式页签下选择自定义，然后单击下一步。输入单元名称，然后单击确认。单击创建分段，然后在弹出的页面输入要上传的内容。每个分段最多可添加 2000 个字符。单击保存。
2025-03-18
给我推荐一个家庭用的私人部署deepseek电脑配置，要求价格在5W一下，能够比较流畅的运行，还有采用那一个版本的模型
很抱歉，您提供的内容中没有关于家庭用私人部署 deepseek 电脑配置的相关信息。如果您需要配置一台价格在 5 万以下、能流畅运行的家庭用电脑，以下是一些建议： CPU：可以选择英特尔酷睿 i9 或 AMD 锐龙 9 系列的高端处理器。 显卡：选择 NVIDIA GeForce RTX 40 系列的高端显卡，如 RTX 4080 或 RTX 4070Ti。 内存：32GB 或 64GB 的 DDR5 内存。 存储：1TB 或 2TB 的 NVMe SSD 作为系统盘，再加上大容量的机械硬盘用于数据存储。 主板：选择与所选 CPU 兼容的高端主板，以确保稳定性和扩展性。 关于模型版本，Midjourney 的 V5 模型是较新且先进的版本，具有更广泛的风格范围、更高的图像质量、更详细的图像等优点。您可以通过添加“v 5”参数或使用“/settings”命令并选择 MJ Version 5 来使用该模型。
2025-03-17
给我推荐一个家庭用的私人部署deepseek电脑配置，要求价格在5W一下，能够比较流畅的运行，还有采用那一个版本的模型
以下是为您推荐的家庭用私人部署 deepseek 电脑配置，价格在 5 万以下，能够较流畅运行： CPU：Intel Core i913900K 或 AMD Ryzen 9 7950X 显卡：NVIDIA GeForce RTX 4080 或 RTX 4070Ti 内存：32GB 或 64GB DDR5 高频内存 硬盘：1TB NVMe M.2 固态硬盘 + 4TB 机械硬盘 主板：支持所选 CPU 的高端主板，如 Z790 或 X670 系列 电源：850W 及以上的高品质电源 关于模型版本，Midjourney 最新的模型是 V5 版本，于 2023 年 3 月 15 日发布。使用此模型，您可以在提示词末尾添加 v 5 参数，或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言提示，分辨率更高，并支持如 tile 重复图案等高级功能。它在风格范围、图像质量、细节表现、对提示的响应以及图像提示性能等方面都有显著改进。
2025-03-17
给我推荐一个家庭用的私人部署deepseek电脑配置，要求价格在5W一下，能够比较流畅的运行
对于家庭用的私人部署 deepseek 电脑配置，在 5 万元以下的预算，以下是一个推荐配置： CPU：Intel Core i913900K 或 AMD Ryzen 9 7950X 主板：选择与所选 CPU 兼容的高端主板，如华硕、技嘉等品牌的 Z790 或 X670 系列 内存：32GB 或 64GB DDR5 高频内存 硬盘：1TB NVMe M.2 固态硬盘作为系统盘，再加上 4TB 以上的机械硬盘用于数据存储 显卡：NVIDIA GeForce RTX 4070Ti 或 AMD Radeon RX 7900 XTX 电源：850W 及以上的高品质电源 机箱：选择散热良好、空间宽敞的机箱 请注意，电脑配置的选择还需要考虑您的具体需求和使用场景，以上配置仅供参考。
2025-03-17
如何搭建私人知识库
搭建私人知识库可以参考以下方法： 1. 基于 GPT 搭建： 给 GPT 输入（投喂）定制化的知识，但 GPT3.5（即当前免费版的 ChatGPT）一次交互（输入和输出）只支持最高 4096 个 Token，约等于 3000 个单词或 2300 个汉字，容量对于绝大多数领域知识不够。 OpenAI 提供了 embedding API 解决方案，embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度，大距离表示低关联度。 将大文本拆分成若干个小文本块（chunk），通过 embeddings API 将小文本块转换成 embeddings 向量，在一个地方（向量储存库）中保存这些 embeddings 向量和文本块，当用户提出问题时，将问题先通过 embeddings API 转换成问题向量，然后与向量储存库的所有文本块向量比对，查找距离最小的几个向量，把这几个向量对应的文本块提取出来，与原有问题组合成为新的 prompt（问题/提示词），发送给 GPT API。 2. 本地部署大模型搭建： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用，在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 的应用包括文档加载（从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器）、文本分割（把 Documents 切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）、Output（把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案）。 文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理。
2025-01-22
怎么用已经公布的源代码，自己拥有一个私人ai。详细步骤让小白都能成功，并且列出硬件设施。
以下是使用已公布的源代码拥有一个私人 AI 的详细步骤，适合小白操作，并列出所需的硬件设施： 硬件设施： 云服务器 步骤： 1. 利用云服务器，在宝塔面板的终端安装相关命令。可通过以下链接获取详细信息：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令在宝塔面板的终端安装，安装的 dockercompose 文件位于 /root/dify/docker 目录下。 2. 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用。将终端输出的代码粘贴给 AI ，按照 AI 的方法检查谁占用了端口，并停止占用进程。确保每一步成功后再进行下一步，可将代码复制询问 AI 以确认。 3. 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填写邮箱密码建立一个知识库，在知识库中选择设置。 4. 选择模型，国内模型通常有免费额度，例如智谱 AI 。点击设置，从智谱 AI 获取钥匙，进入智谱官网用手机号注册，添加 API keys 并复制。查看免费额度（智谱在资源包管理中查看，赠送 500 万一个月）。 5. 回到之前的页面，复制钥匙并保存，随便创建一个应用。 6. 可以先选择智谱 glm4 进行测试，聊两句看是否有回应，然后点击发布。 7. 点击 api 秘钥，创建一个并复制。
2024-12-20
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
COE团队需要什么AI能力，比如AI辅助编程；AI部署+和调优；AI智能体；AI提示词； OCR识别
COE 团队可能需要以下 AI 能力： 1. AI 辅助编程：虽然 AI CODING 目前适用于小场景和产品的第一个版本，但在复杂应用中可能存在需求理解错误导致产品出错的情况。 2. AI 部署和调优：涵盖服务器创建、搭建微信机器人到引入 coze API 的全过程，包括 Docker 部署、本地运行、RailWay 部署等多种方式。 3. AI 智能体：从最初只有对话框的 chatbot 到有更多交互方式，低代码或零代码的工作流等场景做得较好。例如以证件照为例，实现了相关智能体和交互。创建智能体工作流包括创建、编辑人设、编排设计等步骤。 4. AI 提示词：在编写系统提示词时需要用{{input}}作为参数引入，以使大模型知道需要生成与输入相关的结果。 5. OCR 识别：未提及相关具体内容。 同时，在图像能力方面，支持图片生成、图片识别、图生图等，可选择 Dal3、stable diffusion、replicate、midjourney、CogView3、vision 模型。具有丰富插件，支持个性化插件扩展，已实现多角色切换、文字险、敏感词过滤、聊天记录总结、文档总结和对话、联网搜索等插件。通过上传知识库文件可自定义专属机器人，作为数字分身、智能客服、私域助手使用，基于 LinkAI 实现。
2025-04-09