Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Ollama配置

Answer

以下是关于 Ollama 配置的详细步骤：

  1. 进入 ollama.com 下载程序并安装，该程序支持 Windows、Linux 和 MacOS 系统。
  2. 查找 cmd 进入命令提示符（Windows 系统）或通过相应方式进入终端（Mac 系统），输入“ollama -v”检查版本，安装完成后版本应显示 0.1.26。
  3. 输入“cls”清空屏幕，然后直接输入“ollama run gemma”运行模型（默认是 2b 版本），首次需要下载，需等待一段时间。若想用 7b 版本，运行“ollama run gemma:7b”。
  4. 完成以上操作后就可以直接对话。2b 版本的反应速度快，但能互动的话题有限。7b 版本能运行，但可能会有卡顿，输出内容质量相对较高，但无论 2b 还是 7b，对非英文语种的反馈都不是很稳定。
  5. 模型里一些常用的内部指令：“/set”显示设置界面可调整的设置项，“/show”显示模型信息。

另外，还有一种部署 Ollama 的方式：

  1. 点击进入 ollama.com 根据电脑系统下载 Ollama。
  2. 下载完成后，双击打开，点击“Install”。
  3. 安装完成后，将“http://127.0.0.1:11434/”复制进浏览器中，若出现相应字样，表示安装完成。
  4. 下载 qwen2:0.5b 模型（可根据自身设备情况选择更大的模型）。
    • 对于 Windows 电脑，点击 win+R，输入 cmd 点击回车。
    • 对于 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。
  5. 复制相关命令行，粘贴进入并回车，等待下载完成。下载完成后，大模型已在本地运行，输入文本即可进行对话。
Content generated by AI large model, please carefully verify (powered by aily)

References

[应用实例] 本地部署Google Gemma

作者：吵爷Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama-v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

如何在电脑上运行本地大模型？手把手教你从 hard 模式到 easy 模式

和第一个方案相比，Ollama的安装和使用，简直不要太简单，两步就搞定了步骤：1.打开Ollama https://ollama.com，下载应用并安装2.在Mac系统搜索terminal或终端，点击回车，弹出的那个简洁的框框就是。输入想要运行的大模型（例如：ollama run llama2），并回车。等待下载完成，即可输入内容，和llama2愉快的聊起来。当然，这个过程中，对于非技术同学最难的部分可能是「我不知道我的favorite terminal是啥」[heading3]超级简单模式：GPT4All[content]最简单的方案就是这个了，应该没有更简单的了，全程不用考虑「最喜欢的terminal是什么」GPT4All是一个用于运行大模型的浏览器，可安装、运行、管理本地大模型。步骤：1.打开GPT4All官网https://gpt4all.io，下载安装器，并按步骤完成安装。支持Windows、Mac、Linux2.打开安装好的GPT4All.app，选择或搜索任意一个大模型，即可下载并运行。在GPT4All官网有各个大模型的评测得分，选得分最高的下载，例如目前平均得分最高的是Nous-Hermes2。好了，现在可以愉快的在电脑上运行大模型了，从此「电脑」真正成为「电脑」了。是不是非常简单，欢迎分享你运行成功后的截图。如有疑问，欢迎加评论讨论。BGM:[New Boy](https://music.163.com/#/song?id=28996919)官网：waytoAGI.com知识库：[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)我们的目标是让每个人因AI而强大

Others are asking
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
Ollama
以下是关于 Ollama 的相关信息： 在电脑上运行本地大模型的相对简化模式： 步骤： 1. 打开 Ollama 官网 https://ollama.com，下载应用并安装。 2. 在 Mac 系统搜索 terminal 或终端，点击回车，弹出的简洁框框就是。输入想要运行的大模型（例如：ollama run llama2），并回车。等待下载完成，即可输入内容，和 llama2 愉快交流。 TagTool With Ollama 打标工具： 先去下载并安装 Ollama，然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件，Mac 编辑 run_mac.sh 文件，将目录中的图片路径和触发词填写，运行即可。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程中的 Ollama 部署： 步骤： 1. 点击进入，根据电脑系统，在 https://ollama.com/download 下载 Ollama。 2. 下载完成后，双击打开，点击“Install”。 3. 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 4. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。 5. 对于 Windows 电脑，点击 win+R，输入 cmd，点击回车；对于 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成即可。
2025-02-18
Ollama
以下是关于 Ollama 的相关信息： 打标工具安装： 先去下载并安装 Ollama，然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件，Mac 编辑 run_mac.sh 文件，将目录中的图片路径和触发词填写，运行即可。 对于 Windows 版，打开 WebUI，找到 Tagger 选项卡，如果没有则参考教程安装插件。 前往 https://github.com/starik222/BooruDatasetTagManager/releases 下载软件包，解压缩后双击运行即可。 本地部署资讯问答机器人： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，可通过 https://ollama.com/library 查找并下载不同模型，以满足不同需求和硬件条件。 支持自定义模型，可修改模型的温度参数等设置特定的系统消息。 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 安装时访问 https://ollama.com/download/ ，安装完后确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 应用实例本地部署 Google Gemma： 环境准备：进入 ollama.com 下载程序并安装（支持 windows、linux 和 macos），在命令提示符中输入 ollama v 检查版本，安装完成后版本应为 0.1.26，cls 清空屏幕，输入 ollama run gemma 运行模型（默认 2b），首次需下载，想用 7b 则运行 ollama run gemma:7b 。 常用内部指令：/set 显示设置界面可调整的设置项，/show 显示模型信息，/load<model> 加载已有模型，/bye 退出。 2b 反应速度快但互动话题有限，7b 输出内容质量相对较高但有卡顿，对非英文语种反馈不稳定。
2025-02-06
Ollama是什么？
Ollama 是一个开源框架，具有以下特点和功能： 1. 专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计，简化了部署过程，方便非专业用户管理和运行复杂模型。 2. 是一个轻量级、可扩展的框架，提供简单的 API 来创建、运行和管理模型，还有预构建模型库，降低了使用门槛，适合自然语言处理研究、产品开发以及初学者或非技术人员使用。 3. 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 4. 提供模型库，用户可从中下载不同的模型，这些模型有不同的参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 6. 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 7. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 官方下载地址：https://ollama.com/download 。安装完成后，可通过 ollama list 确认，未下载模型时通常显示为空。可通过 ollama 命令下载模型。
2024-10-09
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
AI服务器配置
以下是关于 AI 服务器配置的相关内容： 对于 Coze AI 机器人对接微信的服务器配置： 1. 如果按照上一篇教程操作，此次配置只需修改容器编排模板。最新的容器编排模板如下，同时提供无描述性的参考配置方便新手直接参考使用。 2. 若之前没有容器编排模板，新建一个即可，新建和修改逻辑类似。 3. 更新后的编排模板，若之前创建过相似机器人容器编排服务，建议先删除以防冲突，删除步骤如下。 4. 基于新的编排模板创建新的容器编排，然后启动服务。 5. 服务启动成功后，进入 COW 服务扫码绑定微信机器人，具体步骤参考上一篇入门教程。 对于视频相关的 AI 服务器配置： 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole ，并根据以下配置购买。 2. 购买并付款完成后，回到服务器“控制台”。 3. 点击服务器卡片空白处添加防火墙，添加 8887、8080 端口。 4. 点击右上角“登录”按钮，扫码验证后在命令行窗口中操作，注意复制粘贴代码的方式和命令执行完毕的标志。 5. 在命令行中依次输入相关命令。 6. 保存并打开外网面板地址，输入账号和密码。
2025-04-10
微信机器人如何配置
微信机器人的配置步骤如下： 1. sum4all 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template，复制并粘贴重命名为：config.json 注册并获取 sum4all key：https://pro.sum4all.site/register?aff=T6rP ，新用户注册有送免费额度，大家先使用这个进行试用，后续可改为自己的 openAI key。 把复制的 key，粘贴到 sum4all 的 config.json 文件内。（上方有功能阐述，你想要哪个，就把哪个改成 ture） 2. Apilot 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template，复制并粘贴重命名为：config.json 去 https://admin.alapi.cn/account/center 注册，并复制 key 把复制来的 key，粘贴进入。保存。 3. 分段对话配置替换 找到这个路径：/root/chatgptonwechat/channel/wechat，直接下载以下文件进行替换。 此外，微信的配置相对较简单，只需要主项目的 config.json 文件看看是否有"channel_type"参数，参数值为："wx"，即："channel_type":"wx"。完成以上所有配置部分后，可以准备启动步骤了： 使用 nohup 命令在后台运行程序。 执行完启动脚本，等待 30s 左右，会看到终端有一个微信登录的二维码，微信扫码登录。 如果您想使用更多辅助功能，比如使用总结文件能力，总结网页内容能力，此时需要安装各种插件。这部分配置查看插件配置管理部分。
2025-04-10
有没有专门学习配置微信机器人和企业微信机器人的相关教学视频
以下是一些专门学习配置微信机器人和企业微信机器人的相关教学视频： 【共学最全版本】微信机器人共学教程： 日程安排： 6 月 19 日 20:00 开始：从零到一，搭建微信机器人，参与者要求为 0 基础小白，分享人为张梦飞，主持人为小元，助教为金永勋、奥伏。 6 月 20 日 20:00 开始：Coze 接入、构建你的智能微信助手，分享人为张梦飞，主持人为吕昭波，助教为安仔、阿飞。 6 月 23 日 20:00 开始：微信机器人插件拓展教学，要求完成第一课，分享人为张梦飞，主持人为安仔，助教为空心菜、AYBIAO、阿飞。 6 月 24 日 20:00 开始：虚拟女友“李洛云”开发者自述，要求完成第一课，分享人为皮皮，主持人为大雨。 6 月 25 日 20:00 开始：FastGPT：“本地版 coze"部署教学，要求完成第一课，分享人为张梦飞，主持人为银海，助教为金永勋、AYBIAO。 6 月 27 日 20:00 开始：Hook 机制的机器人使用和部署教学，要求 0 基础小白，有一台 Windows 10 以上系统的电脑，分享人为张梦飞，主持人为 Stuart，助教为阿飞、空心菜。 第二天教程内容： 修改配置：主要更改标黄的四行，可以直接清空原文件配置，把以下配置粘贴进你的 config.json 文件中。 获取 key 和 id：进入官网 https://www.coze.cn/home ，获取到的令牌就是"coze_api_key"，像下方一样填入即可。"coze_api_key":"pat_diajdkasjdlksajdlksajdasdjlkasjdlas"，获取 bot_id 并填入："coze_bot_id":"86787989080"。 微信机器人大事件记录： 皇子：零成本、零代码搭建一个智能微信客服，保姆级教程 安仔：不用黑魔法，小白也能做一个对接 GPT 大模型的微信聊天机器人 张梦飞：【保姆级】一步一图，手把手教你把 AI 接入微信 张梦飞：FastGPT+OneAPI+COW 带有知识库的机器人完整教程 张梦飞：基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 张梦飞：【保姆级教程】这可能是你在地球上能白嫖到的，能力最强的超级微信机器人！一步一图，小白友好 在自己的电脑上部署 COW 微信机器人项目
2025-04-04
本地部署大模型硬件配置
本地部署大模型的硬件配置如下： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置可能运行速度非常慢。对于 SDXL 大模型的本地部署，其分为两个部分，base + refiner 是必须下载的，还有一个配套的 VAE 模型用于调节图片效果和色彩。要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上，然后将模型放入对应的文件夹中。对于通义千问的 Qwen2.5 1M 模型的本地部署，使用以下命令启动服务时要根据硬件配置进行设置，如设置 GPU 数量、最大输入序列长度、Chunked Prefill 的块大小、限制并发处理的序列数量等。如果遇到问题，可参考相关的 Troubleshooting 内容。与模型交互可以使用 Curl 或 Python 等方法，对于更高级的使用方式，可以探索如 Qwen Agent 之类的框架。
2025-03-31