布置大模型到本地主要有以下原因:
1. 无需科学上网,也无需支付高昂的 ChatGPT 会员费用。
2. 可以通过 Web UI 实现和大模型进行对话的功能,如 Open WebUI 一般有两种使用方式,包括聊天对话和 RAG 能力(让模型根据文档内容回答问题),这也是构建知识库的基础之一。
3. 能够更加灵活地掌握个人知识库。
但需要注意的是,运行大模型需要很高的机器配置:
1. 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。
2. 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。
3. 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。
个人玩家的大多数机器可能负担不起,最低配置运行速度非常慢。但亲自实操一遍可以加深对大模型构建的知识库底层原理的了解。
2025-01-27