Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Ollama配置

Answer

以下是关于 Ollama 配置的详细步骤：

  1. 进入 ollama.com 下载程序并安装，该程序支持 Windows、Linux 和 MacOS 系统。
  2. 查找 cmd 进入命令提示符（Windows 系统）或通过相应方式进入终端（Mac 系统），输入“ollama -v”检查版本，安装完成后版本应显示 0.1.26。
  3. 输入“cls”清空屏幕，然后直接输入“ollama run gemma”运行模型（默认是 2b 版本），首次需要下载，需等待一段时间。若想用 7b 版本，运行“ollama run gemma:7b”。
  4. 完成以上操作后就可以直接对话。2b 版本的反应速度快，但能互动的话题有限。7b 版本能运行，但可能会有卡顿，输出内容质量相对较高，但无论 2b 还是 7b，对非英文语种的反馈都不是很稳定。
  5. 模型里一些常用的内部指令：“/set”显示设置界面可调整的设置项，“/show”显示模型信息。

另外，还有一种部署 Ollama 的方式：

  1. 点击进入 ollama.com 根据电脑系统下载 Ollama。
  2. 下载完成后，双击打开，点击“Install”。
  3. 安装完成后，将“http://127.0.0.1:11434/”复制进浏览器中，若出现相应字样，表示安装完成。
  4. 下载 qwen2:0.5b 模型（可根据自身设备情况选择更大的模型）。
    • 对于 Windows 电脑，点击 win+R，输入 cmd 点击回车。
    • 对于 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。
  5. 复制相关命令行，粘贴进入并回车，等待下载完成。下载完成后，大模型已在本地运行，输入文本即可进行对话。
Content generated by AI large model, please carefully verify (powered by aily)

References

[应用实例] 本地部署Google Gemma

作者：吵爷Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama-v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

如何在电脑上运行本地大模型？手把手教你从 hard 模式到 easy 模式

和第一个方案相比，Ollama的安装和使用，简直不要太简单，两步就搞定了步骤：1.打开Ollama https://ollama.com，下载应用并安装2.在Mac系统搜索terminal或终端，点击回车，弹出的那个简洁的框框就是。输入想要运行的大模型（例如：ollama run llama2），并回车。等待下载完成，即可输入内容，和llama2愉快的聊起来。当然，这个过程中，对于非技术同学最难的部分可能是「我不知道我的favorite terminal是啥」[heading3]超级简单模式：GPT4All[content]最简单的方案就是这个了，应该没有更简单的了，全程不用考虑「最喜欢的terminal是什么」GPT4All是一个用于运行大模型的浏览器，可安装、运行、管理本地大模型。步骤：1.打开GPT4All官网https://gpt4all.io，下载安装器，并按步骤完成安装。支持Windows、Mac、Linux2.打开安装好的GPT4All.app，选择或搜索任意一个大模型，即可下载并运行。在GPT4All官网有各个大模型的评测得分，选得分最高的下载，例如目前平均得分最高的是Nous-Hermes2。好了，现在可以愉快的在电脑上运行大模型了，从此「电脑」真正成为「电脑」了。是不是非常简单，欢迎分享你运行成功后的截图。如有疑问，欢迎加评论讨论。BGM:[New Boy](https://music.163.com/#/song?id=28996919)官网：waytoAGI.com知识库：[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)我们的目标是让每个人因AI而强大

Others are asking
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
ollama框架有哪些推荐
Ollama 是一个开源的框架，具有以下特点和功能： 1. 旨在简化在本地运行大型语言模型（LLM）的过程，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者或非技术人员使用。 2. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，可用于不同应用场景。 3. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 4. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 6. 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 7. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装 Ollama 可通过官方下载地址 https://ollama.com/download 进行。安装完成后，可通过访问相关链接判断是否安装成功，在命令行中运行相应命令即可使用，如运行本地大模型的命令。还可通过 ollama list 确认模型下载情况。 此外，在 termux 软件中进行相关操作时，需执行如 aptget update、安装 curl 命令、安装 ollama 命令等。启动模型时，以 phi3 模型为例，在 termux 软件中执行命令 ollama run phi3 并等待下载完成。当然，Ollama 还有很多其他模型，如有需要可在 ollama 官网自行查看命令与下载。
2025-03-14
本地部署ollama+deep seek后怎么有效搭机械领域建知识库或微调为机械领域
以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。
2025-03-07
请给我找一个安装ollama-deep-researcher的完整教程，用于windows上。
很抱歉，目前没有关于在 Windows 上安装 ollamadeepresearcher 的完整教程。建议您通过以下途径获取相关信息： 1. 官方网站：访问 ollamadeepresearcher 的官方网站，查找针对 Windows 系统的安装指南。 2. 相关技术论坛：在专业的技术论坛上搜索相关主题，可能会有其他用户分享的安装经验和教程。 3. 视频平台：部分视频平台上可能有关于此软件在 Windows 上安装的演示视频。
2025-03-06
如何在电脑上用chatbox框架，使用ollama搭建deepseek模型
在电脑上使用 Chat Box 框架，通过 Ollama 搭建 DeepSeek 模型的步骤如下： 1. 阿里云百炼平台： 百炼平台的模型广场有各种模型，包括音频理解、视频理解等，通义的一些强模型也在其中。 百炼平台无需部署，可直接使用 DeepSeek R1 模型。 DeepSeek R1 模型的价格与各大平台差不多，有大量免费额度，如 100 万 token，不同版本的模型如 7B、14B、32B 等也送了 100 万 token，LLAVA 限时免费。 使用 DeepSeek R1 模型需要解锁和授权，没有授权按钮的需要对阿里云进行实名认证，可通过支付宝扫码或在右上角头像处进行，共学群里有相关指引。 在首页体验模型页面可对比不同模型的效果，如 V3 和 R1，R1 会先思考，速度较快。 多模态可以识别更多输入信息，如读文件、图片等，而 DeepSeek R1 本身不是多模态模型。 通过模型广场的 API 调用示例获取链接，截断后粘贴到 Chat Box 的设置中，添加自定义提供方，设置模型名称为 DeepSeek R1，并获取 API key。 API key 可删除旧的并重新创建，方便本地软件连接。 2. Docker + RAGFlow + Ollama 搭建： 返回 RAGFlow 中，打开右上角设置，进入模型提供商。 选择 Ollama，配置相关信息，模型取决于运行的模型。 配置基础 URL。 导入一个 embedding 模型，用于文本向量化。 设置系统模型设置。 进入数据集，导入文件，可设置文件夹当作知识库。 对文件进行解析，解析速度取决于本机 GPU 性能。 解析好之后，进入检索测试。 测试没问题，可进入聊天界面，助理设置可自行设置。 对于开源模型，如 DeepSeek、Llama 等，可以使用以下方式： 1. Inference Provider：使用 Together AI 等推理服务提供商，在线体验和调用各种开源模型。 2. LM Studio：使用 LM Studio 等本地应用程序，在个人电脑上运行和部署较小的开源模型。
2025-03-03
ollama是什么，使用场景有什么
Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。 它具有以下特点和优势： 1. 支持多种大型语言模型：包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，能让用户轻松在本地环境中启动和运行大模型。 3. 模型库：提供丰富的模型库，用户可从中下载不同参数和大小的模型以满足不同需求和硬件条件，通过 https://ollama.com/library 查找。 4. 自定义模型：用户能通过简单步骤自定义模型，如修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 总的来说，Ollama 是一个高效、功能齐全的大模型服务工具，不仅适用于自然语言处理研究和产品开发，也适合初学者或非技术人员使用，特别是那些希望在本地与大型语言模型交互的用户。 其使用场景包括但不限于： 1. 自然语言处理研究。 2. 产品开发。 安装方法：官方下载地址为 https://ollama.com/download 。安装完成后，在 macOS 上启动 ollama 应用程序，在 Linux 上通过 ollama serve 启动，可通过 ollama list 确认是否安装成功。运行大模型时，在命令行中输入相应命令即可，模型会自动下载到本地。在 Python 程序中使用时，需确保 ollama 服务已开启并下载好模型。
2025-02-22
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
AI服务器配置
以下是关于 AI 服务器配置的相关内容： 对于 Coze AI 机器人对接微信的服务器配置： 1. 如果按照上一篇教程操作，此次配置只需修改容器编排模板。最新的容器编排模板如下，同时提供无描述性的参考配置方便新手直接参考使用。 2. 若之前没有容器编排模板，新建一个即可，新建和修改逻辑类似。 3. 更新后的编排模板，若之前创建过相似机器人容器编排服务，建议先删除以防冲突，删除步骤如下。 4. 基于新的编排模板创建新的容器编排，然后启动服务。 5. 服务启动成功后，进入 COW 服务扫码绑定微信机器人，具体步骤参考上一篇入门教程。 对于视频相关的 AI 服务器配置： 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole ，并根据以下配置购买。 2. 购买并付款完成后，回到服务器“控制台”。 3. 点击服务器卡片空白处添加防火墙，添加 8887、8080 端口。 4. 点击右上角“登录”按钮，扫码验证后在命令行窗口中操作，注意复制粘贴代码的方式和命令执行完毕的标志。 5. 在命令行中依次输入相关命令。 6. 保存并打开外网面板地址，输入账号和密码。
2025-04-10
微信机器人如何配置
微信机器人的配置步骤如下： 1. sum4all 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template，复制并粘贴重命名为：config.json 注册并获取 sum4all key：https://pro.sum4all.site/register?aff=T6rP ，新用户注册有送免费额度，大家先使用这个进行试用，后续可改为自己的 openAI key。 把复制的 key，粘贴到 sum4all 的 config.json 文件内。（上方有功能阐述，你想要哪个，就把哪个改成 ture） 2. Apilot 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template，复制并粘贴重命名为：config.json 去 https://admin.alapi.cn/account/center 注册，并复制 key 把复制来的 key，粘贴进入。保存。 3. 分段对话配置替换 找到这个路径：/root/chatgptonwechat/channel/wechat，直接下载以下文件进行替换。 此外，微信的配置相对较简单，只需要主项目的 config.json 文件看看是否有"channel_type"参数，参数值为："wx"，即："channel_type":"wx"。完成以上所有配置部分后，可以准备启动步骤了： 使用 nohup 命令在后台运行程序。 执行完启动脚本，等待 30s 左右，会看到终端有一个微信登录的二维码，微信扫码登录。 如果您想使用更多辅助功能，比如使用总结文件能力，总结网页内容能力，此时需要安装各种插件。这部分配置查看插件配置管理部分。
2025-04-10
有没有专门学习配置微信机器人和企业微信机器人的相关教学视频
以下是一些专门学习配置微信机器人和企业微信机器人的相关教学视频： 【共学最全版本】微信机器人共学教程： 日程安排： 6 月 19 日 20:00 开始：从零到一，搭建微信机器人，参与者要求为 0 基础小白，分享人为张梦飞，主持人为小元，助教为金永勋、奥伏。 6 月 20 日 20:00 开始：Coze 接入、构建你的智能微信助手，分享人为张梦飞，主持人为吕昭波，助教为安仔、阿飞。 6 月 23 日 20:00 开始：微信机器人插件拓展教学，要求完成第一课，分享人为张梦飞，主持人为安仔，助教为空心菜、AYBIAO、阿飞。 6 月 24 日 20:00 开始：虚拟女友“李洛云”开发者自述，要求完成第一课，分享人为皮皮，主持人为大雨。 6 月 25 日 20:00 开始：FastGPT：“本地版 coze"部署教学，要求完成第一课，分享人为张梦飞，主持人为银海，助教为金永勋、AYBIAO。 6 月 27 日 20:00 开始：Hook 机制的机器人使用和部署教学，要求 0 基础小白，有一台 Windows 10 以上系统的电脑，分享人为张梦飞，主持人为 Stuart，助教为阿飞、空心菜。 第二天教程内容： 修改配置：主要更改标黄的四行，可以直接清空原文件配置，把以下配置粘贴进你的 config.json 文件中。 获取 key 和 id：进入官网 https://www.coze.cn/home ，获取到的令牌就是"coze_api_key"，像下方一样填入即可。"coze_api_key":"pat_diajdkasjdlksajdlksajdasdjlkasjdlas"，获取 bot_id 并填入："coze_bot_id":"86787989080"。 微信机器人大事件记录： 皇子：零成本、零代码搭建一个智能微信客服，保姆级教程 安仔：不用黑魔法，小白也能做一个对接 GPT 大模型的微信聊天机器人 张梦飞：【保姆级】一步一图，手把手教你把 AI 接入微信 张梦飞：FastGPT+OneAPI+COW 带有知识库的机器人完整教程 张梦飞：基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 张梦飞：【保姆级教程】这可能是你在地球上能白嫖到的，能力最强的超级微信机器人！一步一图，小白友好 在自己的电脑上部署 COW 微信机器人项目
2025-04-04
本地部署大模型硬件配置
本地部署大模型的硬件配置如下： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置可能运行速度非常慢。对于 SDXL 大模型的本地部署，其分为两个部分，base + refiner 是必须下载的，还有一个配套的 VAE 模型用于调节图片效果和色彩。要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上，然后将模型放入对应的文件夹中。对于通义千问的 Qwen2.5 1M 模型的本地部署，使用以下命令启动服务时要根据硬件配置进行设置，如设置 GPU 数量、最大输入序列长度、Chunked Prefill 的块大小、限制并发处理的序列数量等。如果遇到问题，可参考相关的 Troubleshooting 内容。与模型交互可以使用 Curl 或 Python 等方法，对于更高级的使用方式，可以探索如 Qwen Agent 之类的框架。
2025-03-31