以下是关于 Ollama 的相关信息:
先去[Ollama官网](https://www.ollama.com/)下载并安装Ollama,然后打开Powershell运行以下命令[heading4]Win安装教程[heading4]Mac安装教程[heading4]使用[content]Win编辑run_win.ps1文件,Mac编辑run_mac.sh文件,将目录中的图片路径和触发词填写,运行即可[heading3]GPT 4V打标工具[content]该工具需要使用GPT 4.0的API,3.5不可用,详情见兔狲大佬视频教程Windows版安装教程[heading3]WD1.4[content]打开WebUI,找到Tagger选项卡,如果没有的话说明没有安装插件,参考[插件安装](https://yyn6skjv3j.feishu.cn/wiki/GICawhF95inhcbkdl72c3vf6nMe)教程安装插件[heading3]BooruDatasetTagManager标签处理工具[content]前往https://github.com/starik222/BooruDatasetTagManager/releases下载软件包,解压缩后双击运行即可
1.支持多种大型语言模型:Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型,这些模型可用于不同的应用场景。2.易于使用:Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型,适用于macOS、Windows和Linux系统,同时支持cpu和gpu。3.模型库:Ollama提供了一个模型库,用户可以从中下载不同的模型。这些模型有不同的参数和大小,以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型:用户可以通过简单的步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。5.API和集成:Ollama还提供了REST API,用于运行和管理模型,以及与其他应用程序的集成选项。6.社区贡献:Ollama社区贡献丰富,包括多种集成插件和界面,如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说,Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架,具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama,我们需要先安装,访问以下链接进行下载安装。https://ollama.com/download/安装完之后,确保ollama后台服务已启动(在mac上启动ollama应用程序即可,在linux上可以通过ollama serve启动)。我们可以通过ollama list进行确认,当我们还没下载模型的时候,正常会显示空:可以通过ollama命令下载模型,目前,我下载了4个模型:几个模型简介如下:
作者:吵爷Google刚刚发布了家用版的小模型Gemma,分别为2b(20亿参数)和7b(70亿参数)版本。相对千亿参数的大模型,这种小模型可能不适合解决特别复杂的任务,但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了,首先提一下Ollama,Ollama是一个开源的大型语言模型服务,可以非常方便地部署最新版本的GPT模型并通过接口使用,支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma,像小型的llama也支持本地部署。环境准备首先进入ollama.com,下载程序并安装(支持windows,linux和macos)查找cmd进入命令提示符,输入ollama-v检查版本,安装完成后版本应该显示0.1.26cls清空屏幕,接下来直接输入ollama run gemma运行模型(默认是2b),首次需要下载,需要等待一段时间,如果想用7b,运行ollama run gemma:7b完成以后就可以直接对话了,2个模型都安装以后,可以重复上面的指令切换。2b的反应速度非常快,但是能够互动的话题有限。7b我也试了下,能跑是能跑(我是3050显卡),但是会有明显的卡顿,输出内容的质量相对会高不少,但无论2b还是7b,对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息/load<model>加载一个已有模型/bye退出