Chat with Wiki - Flux 的lora模型训练教程

Answer

以下是 Flux 的 Lora 模型训练教程：

模型准备：
- 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
- 注意：
  - 不使用时模型存放位置随意，只要知晓路径，后续会引用。
  - 训练建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。
下载训练脚本：
- 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
- 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq
训练步骤：
- 进入厚德云-模型训练-数据集：https://portal.houdeyun.cn/sd/dataset
- 步骤一·创建数据集：
  - 在数据集一栏中，点击右上角创建数据集。
  - 输入数据集名称。
  - 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。
  - 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。
- 步骤二·Lora 训练：
  - 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
  - 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
  - 触发词可有可无，取决于数据集是否有触发词。
  - 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  - 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
  - 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
  - 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
低配置方案：
- 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。
- NF4 模型下载：https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git
- GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUI-GGUF 。
- 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。
- 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。
- 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。
- 相关生态发展很快，有 Lora、Controlnet、IP-adpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

Content generated by AI large model, please carefully verify (powered by aily)

References

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

工具教程：Flux

开源社区迅速展开了对低配置方案的优化，NF4来自我们controlnet的作者，GGUF则包含多个版本可以使用[heading4]NF4模型下载[content]https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors放置在ComfyUI/models/checkpoint/中（不像其他Flux模型那样放置在UNET中）NF4配套节点插件git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git[heading4]GGUF模型下载[content]Flux GGUF模型：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包：https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图：值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的，NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。[workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/NUMabE5CcoxYVTxoSQAcpCslnWd?allow_redirect=1)自己改的话就是把上面官方的这个fp8的工作流，只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快，有Lora、Controlnet、IP-adpter相关生态建设非常速度，以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。