以下是一些类似 Ollama 的本地大模型部署工具:
Google Gemma:Google 发布的家用版小模型,有 2b(20 亿参数)和 7b(70 亿参数)版本。部署环境相比之前有所改善,可按照以下步骤进行部署:首先进入 ollama.com,下载程序并安装(支持 Windows、Linux 和 macOS)。查找 cmd 进入命令提示符,输入“ollama v”检查版本,安装完成后版本应该显示 0.1.26。然后清空屏幕,输入“ollama run gemma”运行模型(默认是 2b),首次需要下载,如需使用 7b 版本,运行“ollama run gemma:7b”。完成后即可直接对话。
Qwen2:0.5b 模型:下载步骤如下:如果是 Windows 电脑,点击 win+R,输入 cmd 点击回车;如果是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。之后复制相关命令行,粘贴进入并回车,等待自动下载完成。
Ollama 本身:Ollama 是一个开源的框架,旨在简化在本地运行大型语言模型(LLM)的过程。它是一个轻量级、可扩展的框架,提供了简单的 API 来创建、运行和管理模型,以及一个预构建模型库,降低了使用门槛,不仅适用于自然语言处理研究和产品开发,还适合初学者或非技术人员使用,特别是希望在本地与大型语言模型交互的用户。通过简单的安装指令和一条命令即可在本地运行大模型。
2024-09-09