Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui

WaytoAGI 网站具有以下功能： 1. 和 AI 知识库对话：您可以在此询问任何关于 AI 的问题。 2. AI 网站：集合了精选的 AI 网站，可按需求找到适合您的工具。 3. AI 提示词：集合了精选的提示词，能复制到 AI 对话网站使用。 4. 知识库精选：将每天知识库的精华内容呈现给大家。 总之，WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联，希望成为您学习 AI 路上的好助手。

以下是为您推荐的自学 AI 训练师的视频： 1. 3 月 26 日｜自由讨论｜离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会：分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接：https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标：训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系，即预测给定上下文（token 序列）后，下一个最有可能出现的 token。 Token 窗口：训练时，模型从数据集中随机抽取固定长度的 token 窗口（例如 8000 个 token）作为输入。 神经网络的输入与输出：输入为 Token 序列（上下文），输出为预测下一个 token 的概率分布，词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新：神经网络初始参数是随机的，预测也是随机的。训练过程通过迭代更新参数，调整预测结果，使其与训练数据中的统计模式相匹配。 损失函数与优化：训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法（如梯度下降）用于调整参数，最小化损失函数，提高预测准确率。 神经网络内部结构：Transformer 包含注意力机制和多层感知器等组件，能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接：无

如果您想自学成为 AI 训练师，以下是一些相关的知识和建议： 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练过程需要较高的计算性能，能够处理海量的数据，并具有一定的通用性，以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习：机器学习是人工智能的一个分支，是实现人工智能的途径之一，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理：自然语言（NLP）认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言，是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式： 1. 参加相关的线上交流会，例如 3 月 26 日的自由讨论活动，其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品，如 Keep（https://keep.com/）、Fiture（https://www.fiture.com/）、Fitness AI（https://www.fitnessai.com/）、Planfit（https://planfit.ai/）等，虽然这些主要是健身领域的应用，但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

要将 AI 训练成自己的东西，可以参考以下方法： 1. 像马斯克提到的，对于公开的推文数据可以合理使用，但不能使用私人的东西进行训练。同时，要注重数据的质量和使用方式，高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中，例如部署 LLama Factory 时，需要添加选中“identity”数据集，将训练轮数改成 15 等，并通过一系列操作进行训练和测试。但需要注意的是，训练大模型是复杂的过程，数据集和训练参数都会影响最终效果，需要反复调试和深入学习实践。 3. 在写作方面，我们可以根据自身需求选择人类驱动为主，利用 AI 进行修改完善，或者先由 AI 生成内容再进行修改以符合自己的风格。

训练一个 AI 可以类比为培养一位职场新人，主要包括以下三个阶段： 1. 规划阶段：明确目标 确定 AI 的具体任务，比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段：实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样，手把手引导 AI 完成任务，并及时验证其输出质量。 3. 优化阶段：持续改进 通过反复测试和调整，不断优化 AI 的性能。 调整工作流程和 Prompt 配置，直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限，比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中，仅依靠单一 Prompt 指令难以稳定执行，现阶段的 AI 更像缺乏独立解决问题能力的职场新人，需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容，不妨自己设定一个任务目标，动手构建一个专属于自己的 AI 。

以下是关于模型训练的基本名词和方法的介绍： 基本名词： 1. 过拟合&欠拟合：过拟合和欠拟合都是不好的现象，需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等，过拟合可减少训练集素材量，欠拟合则增加训练集素材量。 2. 泛化性：泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性，解决办法与过拟合和欠拟合类似，从训练集、正则化、训练参数等方面调整。 3. 正则化：是解决过拟合和欠拟合情况、提高泛化性的手段，给模型加规则和约束，限制优化参数，有效防止过拟合，提高模型适应不同情况的表现和泛化性。 方法： 1. 全面充分采集训练素材：例如在角色训练素材中，应包含各种角度、表情、光线等情况的素材，确保模型具有较好泛化性。 2. 图像预处理：对训练素材进行分辨率调整、裁切操作，并对训练集进行打标签处理。 3. 参数调优：尽量将训练时长控制在半小时左右，过长易导致过拟合，通过调整参数控制时长。 4. 观察学习曲线：通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理：测试训练好的模型，观察过拟合和欠拟合问题，进一步通过调整训练素材和正则化等手段优化。 此外，在模型训练中还需注意： 1. 数据集获取渠道：可通过网上收集、购买、使用无版权问题的如古画等，原则是根据生成图的需求找对应数据集，要清晰、主体元素干净、风格统一。 2. 数据集处理：包括基础处理如裁剪保证清晰和分辨率，更重要的是写标注。 3. 设置模型触发词：可自定义，完整形式可以是一句话，建议以王 flags 模型为主。 4. 统一标注风格与应用场景：例如未来高科技 3D 天然风格，用于互联网首页图像等，并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核：让 GPT 按要求描述，人工审核修改。 6. 模型训练的准备与流程：完成数据集描述后进入训练流程，选择模型训练分类和数据集，创建并上传数据集压缩包，注意数据名与图片命名一致。选择训练模式和参数，新手选用普通基础模式，训练集质量重要，训练参数中总步数与训练集图片数量相关，触发词设定要避免概念混乱。

ComfyUI 工作流主要包括以下内容： FLUX 低显存运行工作流：目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为：先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用，最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成（Flux）的一系列操作，如加载相关模型、处理输入提示词、生成初始噪声和引导等，以及初始图像预览；图像放大和细化（SDXL）的一系列操作，如加载 SDXL 模型、对初始图像进行锐化处理等，还有最终图像预览。 工作流网站： “老牌”workflow 网站 Openart.ai：https://openart.ai/workflows/ 。流量比较高，支持上传、下载、在线生成，免费账户总共有 50 个积分，加入 Discord 可以再加 100 积分，开通最低的每个月 6 美元的套餐后，每个月会有 5000 积分。 ComfyWorkflows 网站：https://comfyworkflows.com/cloud 。支持在线运行工作流，从 workflow 的实际下载量和访问量来看，略少于 openart。 Flowt.ai：https://flowt.ai/community 。 绿幕工作流：包含两个组，即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片，所以要先生成一张素材图，前景是重要的主体素材，背景是纯色（方便识别），选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取（提取码：KxgB），下载拖入 ComfyUI 中自动加载工作流进行学习。

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可想象成集成了 stable diffusion 功能的 substance designer，将 stable diffusion 流程拆分成节点，实现更精准工作流定制和完善的可复现性。 其优势包括： 1. 对显存要求相对较低，启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程，可导出流程并分享，报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势有： 1. 操作门槛高，需要有清晰逻辑。 2. 生态没有 webui 多（但常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：https://github.com/comfyanonymous/ComfyUI 。 安装部署方面： 1. 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动，启动完成即进入基础界面。 2. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型，找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 此外，还可以直接在 Comfy UI 中训练 LoRA 模型。默认情况下，训练结果直接保存在 ComfyUI lora 文件夹中，训练后只需刷新并选择 LoRA 就可以测试。

ComfyUI 漫画工作流包含以下内容： 1. 绿幕工作流：包含两个组，即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片，所以要先生成一张素材图，前景是重要的主体素材，背景为纯色（方便识别），选择绿幕是为了便于抠图。工作流文件链接：https://pan.quark.cn/s/01eae57419ce 提取码：KxgB 2. 动画工作流： 啊朔提供的动画工作流文件，如：

构建 ComfyUI 动画片工作流的步骤如下： 1. 打开 Comfyui 界面后，右键点击界面，找到 Comfyui LLM party 的目录。您可以学习手动连接节点来实现最简单的 AI 女友工作流，也可以将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 2. 从 ollama 的 github 仓库找到对应版本并下载。启动 ollama 后，在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 3. 若 ollama 连接不上，很可能是代理服务器的问题，请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 此外，还有以下相关工作流搭建的信息供您参考： 1. 搭建艺术二维码工作流：打开 ComfyUI 导入相应工作流。工作流所用到的节点包括大模型节点（可选择如 AWPainting、primemixanything、xxmix9realistic v40 等，并提供了相应链接）、关键词节点、Lora 节点、ControlNet 节点（选用 qrcode_monster V2 版本，下载链接：https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 ）、采样器节点（Step 选择高步数，35 50 即可，采样器默认的 euler a/dpmpp 2m sde ）。 2. 搭建 ComfyUI 基础工作流：从零开始搭建时，首先准备加载大模型的节点，在工作区鼠标右键点击，选择 Add Node > 选择 loaders > 选择 Load Checkpoint，并选择对应的模型。然后加载 Conditioning（条件），在工作区鼠标右键点击，选择 Add Node > 选择 Conditioning > 选择 CLIP TEXT Encode，输入正反向提示词。添加采样器时，部分参数设置与 WEB_UI 有所不同，如 seed 值只有固定、随机、每次增加、每次减少这四个选项，采样器和调度器是分开的。

以下是在本地安装 ComfyUI 的详细步骤： 安装方式有两种，分别是安装到本地和安装到云端。本部分主要介绍本地安装方法。 本地安装方法： 1. 命令行安装： 这是普适性最强的方法，安装后二次遇到问题的概率相对较低，但对于不熟悉命令行以及代码的用户来说，可能会有一定的门槛。 ComfyUI 的源码地址在：https://github.com/comfyanonymous/ComfyUI ，安装方法写在了 Readme 中。您也可以按照 Readme 文档进行操作。 如果会 Git 请在 Terminal 运行以下代码： 如果不会用 Git，推荐使用 Github 的客户端（https://desktop.github.com/）拉代码。 下载并安装好 Github Desktop 后，打开该应用。 然后打开 ComfyUI 的 Github 页面（https://github.com/comfyanonymous/ComfyUI），点击右上角的绿色按钮，并点击菜单里的「Open with GitHub Desktop」，此时浏览器会弹出是否要打开 GitHub Desktop，点击「是」。 GitHub Desktop 会让您选择一个保存位置，按需调整，然后点击确定。看到下方特定界面，意味着完成了代码同步。 2. 安装包安装： 这种方法安装比较简单，下载就能用。 ComfyUI 的官方安装包：目前仅支持 Windows 系统，且显卡必须是 Nivida。下载地址是：https://github.com/comfyanonymous/ComfyUI/releases ，只需下载最新的版本，解压就能使用。 安装完成后： 1. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 2. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 3. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 希望以上内容对您有所帮助。

以下是关于学习 ComfyUI 的相关内容： 学习资料网站： ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户，网站为 https://www.comfyuidoc.com/zh/ 。 优设网：有详细的入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容，地址为 https://www.uisdc.com/comfyui3 。 知乎：有用户分享部署教程和使用说明，适合有一定基础并希望进一步了解的用户，地址为 https://zhuanlan.zhihu.com/p/662041596 。 Bilibili：有一系列涵盖从新手入门到精通各个阶段的视频教程，地址为 https://www.bilibili.com/video/BV14r4y1d7r8/ 。 飞书学习群的共学内容：包括王蓉的基础搭建和转绘、唯有葵花向日晴的基础教程、工作流开发和实际应用场景等众多成员分享的基础教程、工作流搭建思路、各版本模型使用的优缺点、报错解决方式、模型训练等方面的内容。 学习 ComfyUI 的原因： 更接近 SD 的底层工作原理。 实现自动化工作流，消灭重复性工作。 作为强大的可视化后端工具，可实现 SD 之外的功能，如调用 api 等。 可根据定制需求开发节点或模块。 例如，有人为解决工作室抠图素材需求，基于相关项目创建了工作流，不仅能用于绿幕素材抠图，还能自动生成定制需求的抠图素材。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。

LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。

LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。

以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置随意，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程，完成后提示是否下载 hunyuan 模型，选择 n 不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，选择上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数。若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择 Lora 和调节参数。

LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。

以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息： 1. XLabsAI 发布了 6 个不同的 Lora，包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等，并提供了相应示例。 2. 文生图模型排序（从高到低）：Imagen 3 真实感满分，指令遵从强；Recraft 真实感强，风格泛化很好，指令遵从较好（会受风格影响）；Midjourney 风格化强，艺术感在线，但会失真，指令遵从较差；快手可图 影视场景能用，风格化较差；Flux.1.1 真实感强，需要搭配 Lora 使用；文生图大模型 V2.1L（美感版） 影视感强，但会有点油腻，细节不够，容易糊脸；Luma 影视感强，但风格单一，糊；美图奇想 5.0 AI 油腻感重；腾讯混元 AI 油腻感重，影视感弱，空间结构不准；SD 3.5 Large 崩。 3. 指定 AI 生图里的文字，有 9 种解决方案，其中 2 种快过时了。包括 Midjourney（v6 版本开始支持文字效果，主要支持英文，中文支持有限）、Ideogram（以图片嵌入文字能力闻名，2.0 模型能力得到进一步加强，支持复杂文本和多种艺术风格，文字与图像能够自然融合，支持英文，中文提示词可自动翻译为英文）、Recraft（V3 开始支持文本渲染能力，是目前唯一能在图像中生成长文本的模型，支持精确的文本位置控制，支持图像编辑功能，支持矢量图生成，支持英文，中文渲染能力较弱）、Flux（FLUX.1 是一款高质量的开源图像生成模型，支持复杂指令，支持文本渲染，支持图像编辑，生成图像的质量很高，主要支持英文）。

在 Flux 炼丹中，炼丹物品的打标步骤如下： 1. 选择一个基础大模型，如“麦橘写实”，并填写一个 lora 的名字。 2. 将照片导入到丹炉，选择适合的分辨率，可勾选“脸部加强训练”，然后点击“预处理”。手动裁剪照片，预处理后会出现脸部和整体的文件夹，且每张照片会自动打好 tag 标签。 3. 可以给整体添加统一的标签，也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容，若想让某些特征成为人物的固定效果，则不填写相关关键词。打标过程需仔细检查每张图片，打标的好坏会影响人物 lora 的泛化性，若想让人物有更多变化，应尽量描述详细。 在打标过程中还需注意以下几点： 1. 注册为开发者，按照流程填写信息，获取 AppID 和密钥，并填入相关位置，开启双语 TAG，检查每幅图的 tag，删除不正确的，新增需要的。 2. 打标要用自然语言，语句精简，选好触发词和打标模型，推荐短标并检查。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

Flux 工作流相关内容如下： 安装及使用：如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流，可使用上面提供的工作流，或者下面官方原版的图片链接，图片导入 ComfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 随机提示词+FLux NF4 模型文生图工作流。 FLUX 的周边生态发展迅速，具体的 Lora 包括 mjv6_lora、动漫 Lora、写实 Lora、迪士尼 Lora、风景_lora、艺术 Lora 。Xlabs Lora 下载：https://huggingface.co/XLabsAI/fluxRealismLora 。另外社区也开始利用训练脚本训练 Lora 了，比如这个，支持 FLUX Lora、ControlNet 的加载，支持文生图、图生图。

以下是 Flux 的 Lora 模型训练教程： 首先，您需要下载相关模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，同时还有 GGUF 配套节点插件及 GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的，右键 16G 那个 train_flux_16GLora 的文件；如果您的显卡是 24G 或更高的，右键 24G 那个 train_flux_24GLora 的文件。（DB 全参微调对硬件要求更高，内存 32G 不行）即使是 train_flux_24GLora 的方式，也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件（图中右边红框的两种任意一种均可，没有可以下载一下）。开头的绿色部分不用动，理论上只改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里，路径填写会更简单；如果不在，要准确找到并复制 flux1dev 底模的文件路径，注意检查双引号的使用，避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里，还有部分路径需要设置。