Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Ollama

Answer

以下是关于 Ollama 的相关信息:

  • 打标工具安装:
    • 先去Ollama 官网下载并安装 Ollama,然后打开 Powershell 运行相关命令。
    • Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。
    • 对于 Windows 版,打开 WebUI,找到 Tagger 选项卡,如果没有则参考插件安装教程安装插件。
    • 前往 https://github.com/starik222/BooruDatasetTagManager/releases 下载软件包,解压缩后双击运行即可。
  • 本地部署资讯问答机器人:
    • 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。
    • 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。
    • 提供模型库,可通过 https://ollama.com/library 查找并下载不同模型,以满足不同需求和硬件条件。
    • 支持自定义模型,可修改模型的温度参数等设置特定的系统消息。
    • 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。
    • 社区贡献丰富,包括多种集成插件和界面。
    • 安装时访问 https://ollama.com/download/ ,安装完后确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。
  • 应用实例本地部署 Google Gemma:
    • 环境准备:进入 ollama.com 下载程序并安装(支持 windows、linux 和 macos),在命令提示符中输入 ollama -v 检查版本,安装完成后版本应为 0.1.26,cls 清空屏幕,输入 ollama run gemma 运行模型(默认 2b),首次需下载,想用 7b 则运行 ollama run gemma:7b 。
    • 常用内部指令:/set 显示设置界面可调整的设置项,/show 显示模型信息,/load<model> 加载已有模型,/bye 退出。
    • 2b 反应速度快但互动话题有限,7b 输出内容质量相对较高但有卡顿,对非英文语种反馈不稳定。
Content generated by AI large model, please carefully verify (powered by aily)

References

打标工具安装

先去[Ollama官网](https://www.ollama.com/)下载并安装Ollama,然后打开Powershell运行以下命令[heading4]Win安装教程[heading4]Mac安装教程[heading4]使用[content]Win编辑run_win.ps1文件,Mac编辑run_mac.sh文件,将目录中的图片路径和触发词填写,运行即可[heading3]GPT 4V打标工具[content]该工具需要使用GPT 4.0的API,3.5不可用,详情见兔狲大佬视频教程Windows版安装教程[heading3]WD1.4[content]打开WebUI,找到Tagger选项卡,如果没有的话说明没有安装插件,参考[插件安装](https://yyn6skjv3j.feishu.cn/wiki/GICawhF95inhcbkdl72c3vf6nMe)教程安装插件[heading3]BooruDatasetTagManager标签处理工具[content]前往https://github.com/starik222/BooruDatasetTagManager/releases下载软件包,解压缩后双击运行即可

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型:Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型,这些模型可用于不同的应用场景。2.易于使用:Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型,适用于macOS、Windows和Linux系统,同时支持cpu和gpu。3.模型库:Ollama提供了一个模型库,用户可以从中下载不同的模型。这些模型有不同的参数和大小,以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型:用户可以通过简单的步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。5.API和集成:Ollama还提供了REST API,用于运行和管理模型,以及与其他应用程序的集成选项。6.社区贡献:Ollama社区贡献丰富,包括多种集成插件和界面,如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说,Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架,具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama,我们需要先安装,访问以下链接进行下载安装。https://ollama.com/download/安装完之后,确保ollama后台服务已启动(在mac上启动ollama应用程序即可,在linux上可以通过ollama serve启动)。我们可以通过ollama list进行确认,当我们还没下载模型的时候,正常会显示空:可以通过ollama命令下载模型,目前,我下载了4个模型:几个模型简介如下:

[应用实例] 本地部署Google Gemma

作者:吵爷Google刚刚发布了家用版的小模型Gemma,分别为2b(20亿参数)和7b(70亿参数)版本。相对千亿参数的大模型,这种小模型可能不适合解决特别复杂的任务,但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了,首先提一下Ollama,Ollama是一个开源的大型语言模型服务,可以非常方便地部署最新版本的GPT模型并通过接口使用,支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma,像小型的llama也支持本地部署。环境准备首先进入ollama.com,下载程序并安装(支持windows,linux和macos)查找cmd进入命令提示符,输入ollama-v检查版本,安装完成后版本应该显示0.1.26cls清空屏幕,接下来直接输入ollama run gemma运行模型(默认是2b),首次需要下载,需要等待一段时间,如果想用7b,运行ollama run gemma:7b完成以后就可以直接对话了,2个模型都安装以后,可以重复上面的指令切换。2b的反应速度非常快,但是能够互动的话题有限。7b我也试了下,能跑是能跑(我是3050显卡),但是会有明显的卡顿,输出内容的质量相对会高不少,但无论2b还是7b,对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息/load<model>加载一个已有模型/bye退出

Others are asking
本地用Ollama部署模型,使用哪个ChatBox客户端好?
目前在本地使用 Ollama 部署模型时,没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异,您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具,或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您,还需要您亲自测试和评估。
2025-03-27
Ollama
以下是关于 Ollama 的相关信息: 在电脑上运行本地大模型的相对简化模式: 步骤: 1. 打开 Ollama 官网 https://ollama.com,下载应用并安装。 2. 在 Mac 系统搜索 terminal 或终端,点击回车,弹出的简洁框框就是。输入想要运行的大模型(例如:ollama run llama2),并回车。等待下载完成,即可输入内容,和 llama2 愉快交流。 TagTool With Ollama 打标工具: 先去下载并安装 Ollama,然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程中的 Ollama 部署: 步骤: 1. 点击进入,根据电脑系统,在 https://ollama.com/download 下载 Ollama。 2. 下载完成后,双击打开,点击“Install”。 3. 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 4. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。 5. 对于 Windows 电脑,点击 win+R,输入 cmd,点击回车;对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成即可。
2025-02-18
Ollama配置
以下是关于 Ollama 配置的详细步骤: 1. 进入 ollama.com 下载程序并安装,该程序支持 Windows、Linux 和 MacOS 系统。 2. 查找 cmd 进入命令提示符(Windows 系统)或通过相应方式进入终端(Mac 系统),输入“ollama v”检查版本,安装完成后版本应显示 0.1.26。 3. 输入“cls”清空屏幕,然后直接输入“ollama run gemma”运行模型(默认是 2b 版本),首次需要下载,需等待一段时间。若想用 7b 版本,运行“ollama run gemma:7b”。 4. 完成以上操作后就可以直接对话。2b 版本的反应速度快,但能互动的话题有限。7b 版本能运行,但可能会有卡顿,输出内容质量相对较高,但无论 2b 还是 7b,对非英文语种的反馈都不是很稳定。 5. 模型里一些常用的内部指令:“/set”显示设置界面可调整的设置项,“/show”显示模型信息。 另外,还有一种部署 Ollama 的方式: 1. 点击进入 ollama.com 根据电脑系统下载 Ollama。 2. 下载完成后,双击打开,点击“Install”。 3. 安装完成后,将“http://127.0.0.1:11434/”复制进浏览器中,若出现相应字样,表示安装完成。 4. 下载 qwen2:0.5b 模型(可根据自身设备情况选择更大的模型)。 对于 Windows 电脑,点击 win+R,输入 cmd 点击回车。 对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 5. 复制相关命令行,粘贴进入并回车,等待下载完成。下载完成后,大模型已在本地运行,输入文本即可进行对话。
2025-02-16
Ollama是什么?
Ollama 是一个开源框架,具有以下特点和功能: 1. 专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计,简化了部署过程,方便非专业用户管理和运行复杂模型。 2. 是一个轻量级、可扩展的框架,提供简单的 API 来创建、运行和管理模型,还有预构建模型库,降低了使用门槛,适合自然语言处理研究、产品开发以及初学者或非技术人员使用。 3. 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于 macOS、Windows 和 Linux 系统,同时支持 CPU 和 GPU。 4. 提供模型库,用户可从中下载不同的模型,这些模型有不同的参数和大小,以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。 6. 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 7. 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 官方下载地址:https://ollama.com/download 。安装完成后,可通过 ollama list 确认,未下载模型时通常显示为空。可通过 ollama 命令下载模型。
2024-10-09