私有化部署大模型的教材

以下是为您提供的私有化部署大模型的相关教材：

张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程

一、部署大语言模型

1. 下载并安装 Ollama
   • 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download
   • 下载完成后，双击打开，点击“Install”
   • 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/
2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）
   • 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。
   • 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。
   • 复制以下命令行，粘贴进入，点击回车。
   • 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）
   • 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。

【SD】向未来而生，关于 SDXL 您要知道事儿

SDXL 的大模型分为两个部分：

1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。
2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。

这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。

想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 1024*1024，进行生成。

基于多模态大模型给现实世界加一本说明书

大模型应用的利弊： 优点：

• 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。
• 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。
• 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS()或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点：
• 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。
• 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。
• 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。
• 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。