Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Ollama

Answer

以下是关于 Ollama 的相关信息:

  • 在电脑上运行本地大模型的相对简化模式:
    • 步骤:
      1. 打开 Ollama 官网 https://ollama.com,下载应用并安装。
      2. 在 Mac 系统搜索 terminal 或终端,点击回车,弹出的简洁框框就是。输入想要运行的大模型(例如:ollama run llama2),并回车。等待下载完成,即可输入内容,和 llama2 愉快交流。
  • TagTool With Ollama 打标工具:
    • 先去Ollama 官网下载并安装 Ollama,然后打开 Powershell 运行相关命令。
    • Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。
  • 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程中的 Ollama 部署:
    • 步骤:
      1. 点击进入,根据电脑系统,在 https://ollama.com/download 下载 Ollama。
      2. 下载完成后,双击打开,点击“Install”。
      3. 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。
      4. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。
      5. 对于 Windows 电脑,点击 win+R,输入 cmd,点击回车;对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成即可。
Content generated by AI large model, please carefully verify (powered by aily)

References

如何在电脑上运行本地大模型?手把手教你从 hard 模式到 easy 模式

和第一个方案相比,Ollama的安装和使用,简直不要太简单,两步就搞定了步骤:1.打开Ollama https://ollama.com,下载应用并安装2.在Mac系统搜索terminal或终端,点击回车,弹出的那个简洁的框框就是。输入想要运行的大模型(例如:ollama run llama2),并回车。等待下载完成,即可输入内容,和llama2愉快的聊起来。当然,这个过程中,对于非技术同学最难的部分可能是「我不知道我的favorite terminal是啥」[heading3]超级简单模式:GPT4All[content]最简单的方案就是这个了,应该没有更简单的了,全程不用考虑「最喜欢的terminal是什么」GPT4All是一个用于运行大模型的浏览器,可安装、运行、管理本地大模型。步骤:1.打开GPT4All官网https://gpt4all.io,下载安装器,并按步骤完成安装。支持Windows、Mac、Linux2.打开安装好的GPT4All.app,选择或搜索任意一个大模型,即可下载并运行。在GPT4All官网有各个大模型的评测得分,选得分最高的下载,例如目前平均得分最高的是Nous-Hermes2。好了,现在可以愉快的在电脑上运行大模型了,从此「电脑」真正成为「电脑」了。是不是非常简单,欢迎分享你运行成功后的截图。如有疑问,欢迎加评论讨论。BGM:[New Boy](https://music.163.com/#/song?id=28996919)官网:waytoAGI.com知识库:[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)我们的目标是让每个人因AI而强大

打标工具安装

先去[Ollama官网](https://www.ollama.com/)下载并安装Ollama,然后打开Powershell运行以下命令[heading4]Win安装教程[heading4]Mac安装教程[heading4]使用[content]Win编辑run_win.ps1文件,Mac编辑run_mac.sh文件,将目录中的图片路径和触发词填写,运行即可[heading3]GPT 4V打标工具[content]该工具需要使用GPT 4.0的API,3.5不可用,详情见兔狲大佬视频教程Windows版安装教程[heading3]WD1.4[content]打开WebUI,找到Tagger选项卡,如果没有的话说明没有安装插件,参考[插件安装](https://yyn6skjv3j.feishu.cn/wiki/GICawhF95inhcbkdl72c3vf6nMe)教程安装插件[heading3]BooruDatasetTagManager标签处理工具[content]前往https://github.com/starik222/BooruDatasetTagManager/releases下载软件包,解压缩后双击运行即可

张梦飞:【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入,根据你的电脑系统,下载Ollama:https://ollama.com/download2、下载完成后,双击打开,点击“Install”3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型(0.5b是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)1、如果你是windows电脑,点击win+R输入cmd,点击回车如果你是Mac电脑,按下Command(⌘)+Space键打开Spotlight搜索。输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。2、复制以下命令行,粘贴进入,点击回车:3、回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。

Others are asking
本地用Ollama部署模型,使用哪个ChatBox客户端好?
目前在本地使用 Ollama 部署模型时,没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异,您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具,或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您,还需要您亲自测试和评估。
2025-03-27
Ollama配置
以下是关于 Ollama 配置的详细步骤: 1. 进入 ollama.com 下载程序并安装,该程序支持 Windows、Linux 和 MacOS 系统。 2. 查找 cmd 进入命令提示符(Windows 系统)或通过相应方式进入终端(Mac 系统),输入“ollama v”检查版本,安装完成后版本应显示 0.1.26。 3. 输入“cls”清空屏幕,然后直接输入“ollama run gemma”运行模型(默认是 2b 版本),首次需要下载,需等待一段时间。若想用 7b 版本,运行“ollama run gemma:7b”。 4. 完成以上操作后就可以直接对话。2b 版本的反应速度快,但能互动的话题有限。7b 版本能运行,但可能会有卡顿,输出内容质量相对较高,但无论 2b 还是 7b,对非英文语种的反馈都不是很稳定。 5. 模型里一些常用的内部指令:“/set”显示设置界面可调整的设置项,“/show”显示模型信息。 另外,还有一种部署 Ollama 的方式: 1. 点击进入 ollama.com 根据电脑系统下载 Ollama。 2. 下载完成后,双击打开,点击“Install”。 3. 安装完成后,将“http://127.0.0.1:11434/”复制进浏览器中,若出现相应字样,表示安装完成。 4. 下载 qwen2:0.5b 模型(可根据自身设备情况选择更大的模型)。 对于 Windows 电脑,点击 win+R,输入 cmd 点击回车。 对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 5. 复制相关命令行,粘贴进入并回车,等待下载完成。下载完成后,大模型已在本地运行,输入文本即可进行对话。
2025-02-16
Ollama
以下是关于 Ollama 的相关信息: 打标工具安装: 先去下载并安装 Ollama,然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。 对于 Windows 版,打开 WebUI,找到 Tagger 选项卡,如果没有则参考教程安装插件。 前往 https://github.com/starik222/BooruDatasetTagManager/releases 下载软件包,解压缩后双击运行即可。 本地部署资讯问答机器人: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,可通过 https://ollama.com/library 查找并下载不同模型,以满足不同需求和硬件条件。 支持自定义模型,可修改模型的温度参数等设置特定的系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面。 安装时访问 https://ollama.com/download/ ,安装完后确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 应用实例本地部署 Google Gemma: 环境准备:进入 ollama.com 下载程序并安装(支持 windows、linux 和 macos),在命令提示符中输入 ollama v 检查版本,安装完成后版本应为 0.1.26,cls 清空屏幕,输入 ollama run gemma 运行模型(默认 2b),首次需下载,想用 7b 则运行 ollama run gemma:7b 。 常用内部指令:/set 显示设置界面可调整的设置项,/show 显示模型信息,/load<model> 加载已有模型,/bye 退出。 2b 反应速度快但互动话题有限,7b 输出内容质量相对较高但有卡顿,对非英文语种反馈不稳定。
2025-02-06
Ollama是什么?
Ollama 是一个开源框架,具有以下特点和功能: 1. 专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计,简化了部署过程,方便非专业用户管理和运行复杂模型。 2. 是一个轻量级、可扩展的框架,提供简单的 API 来创建、运行和管理模型,还有预构建模型库,降低了使用门槛,适合自然语言处理研究、产品开发以及初学者或非技术人员使用。 3. 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于 macOS、Windows 和 Linux 系统,同时支持 CPU 和 GPU。 4. 提供模型库,用户可从中下载不同的模型,这些模型有不同的参数和大小,以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。 6. 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 7. 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 官方下载地址:https://ollama.com/download 。安装完成后,可通过 ollama list 确认,未下载模型时通常显示为空。可通过 ollama 命令下载模型。
2024-10-09