Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Lora训练

Answer

以下是关于 Lora 训练的详细步骤：

创建数据集：

  1. 进入厚德云-模型训练-数据集（https://portal.houdeyun.cn/sd/dataset）。
  2. 在数据集一栏中，点击右上角创建数据集。
  3. 输入数据集名称。
  4. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片没有打标文件（之后可在 C 站使用自动打标功能），或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。
  5. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。
  6. 上传 zip 以后等待一段时间。
  7. 确认创建数据集。
  8. 返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览到数据集的图片以及对应的标签。

Lora 训练：

  1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
  3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
  5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
  6. 然后等待训练，会显示预览时间和进度条。
  7. 训练完成的会显示出每一轮的预览图。
  8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

此外，还有一些相关的补充内容： Flux 的 Lora 训练准备： 需要下载几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。 注意：

  1. 不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。
  2. 因为是训练，不是跑图，训练的话，模型就用 flux1-dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。

下载脚本和安装虚拟环境：

  1. 下载脚本：
    • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq
  2. 下载完解压，在文件中找到 install-cn-qinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 - 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。

SD 训练一套贴纸 LoRA 模型：

  1. 在 lora 训练器的根目录下，点击【A 强制更新-国内加速】，跑完即可关闭窗口。
  2. 双击【A 启动脚本】，请保持终端一直运行，不要关闭。出现下列代码即为启动成功。
  3. 滚动至最下-点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
Content generated by AI large model, please carefully verify (powered by aily)

References

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享[heading2]安装虚拟环境[content]好，下载完，解压首先在文件中找到install-cn-qinglong.ps1这个文件，右键，选择“使用PowerShell运行”新手的话这里就点击“Y”然后等待那么1-2小时的漫长下载过程~2 hours later...下好了之后最后会提示你是否下载hunyuan模型，选择n不用下载

如何用 SD 训练一套贴纸 LoRA 模型

在lora训练器的根目录下，点击【A强制更新-国内加速】跑完即可关闭窗口[heading3]双击【A启动脚本】[content][heading3]请保持终端一直运行，不要关闭[content]出现下列代码即为启动成功[heading3]SD训练UI-Web启动成功[content]滚动至最下-点击【LoRA训练】或者直接点击左侧菜单【LoRA训练】

Others are asking
layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?
layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。
2025-01-31
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
使用人物Lora生成的图片中有多个人物时，怎么让人物的形象各不相同？
在 Stable Diffusion 中，若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同，可参考以下方法： 1. 在提示词中输入数量词（如 2girls 或 3boys 等），再加上各自的描述提示词。若刷图成功率不高，可配合 openpose 控制，做一个多人骨架，以生成多人物构图。 2. 需使用不同的 Lora 来区分人物，但单纯靠提示词可能行不通。 3. 分区控制思路： Multidiffusion 的做法：启用 Tiled Diifusion，打开分区提示词控制，创建文生图画布。启用不同区域，分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物，但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法（文中未提及，需进一步探索）。 此外，关于 Lora 模型： 1. Lora 可以固定照片的特征，如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮，找到 Lora 选项，可添加下载保存到电脑的 Lora 模型，Lora 可叠加使用，但新手不建议使用太多，且 Lora 之间用英文逗号隔开，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。
2024-09-27
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。
2024-09-13
Lora简单介绍
Lora 全称 LowRank Adaptation Models，即低阶自适应模型，其作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片，比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。 同时，模型微调方面，提供了 LoRA 微调和全量参数微调代码，关于 LoRA 的详细介绍可参考论文“。 此外，还有利用新版 SDXL 生成的如针线娃娃这样的 lora，它可以把一些常见形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。
2024-09-09
这个网站的作用是什么？是通过这个网站更好的使用训练AI吗？
WaytoAGI 网站具有以下功能： 1. 和 AI 知识库对话：您可以在此询问任何关于 AI 的问题。 2. AI 网站：集合了精选的 AI 网站，可按需求找到适合您的工具。 3. AI 提示词：集合了精选的提示词，能复制到 AI 对话网站使用。 4. 知识库精选：将每天知识库的精华内容呈现给大家。 总之，WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联，希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频： 1. 3 月 26 日｜自由讨论｜离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会：分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接：https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标：训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系，即预测给定上下文（token 序列）后，下一个最有可能出现的 token。 Token 窗口：训练时，模型从数据集中随机抽取固定长度的 token 窗口（例如 8000 个 token）作为输入。 神经网络的输入与输出：输入为 Token 序列（上下文），输出为预测下一个 token 的概率分布，词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新：神经网络初始参数是随机的，预测也是随机的。训练过程通过迭代更新参数，调整预测结果，使其与训练数据中的统计模式相匹配。 损失函数与优化：训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法（如梯度下降）用于调整参数，最小化损失函数，提高预测准确率。 神经网络内部结构：Transformer 包含注意力机制和多层感知器等组件，能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接：无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师，以下是一些相关的知识和建议： 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练过程需要较高的计算性能，能够处理海量的数据，并具有一定的通用性，以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习：机器学习是人工智能的一个分支，是实现人工智能的途径之一，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理：自然语言（NLP）认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言，是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式： 1. 参加相关的线上交流会，例如 3 月 26 日的自由讨论活动，其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品，如 Keep（https://keep.com/）、Fiture（https://www.fiture.com/）、Fitness AI（https://www.fitnessai.com/）、Planfit（https://planfit.ai/）等，虽然这些主要是健身领域的应用，但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西？
要将 AI 训练成自己的东西，可以参考以下方法： 1. 像马斯克提到的，对于公开的推文数据可以合理使用，但不能使用私人的东西进行训练。同时，要注重数据的质量和使用方式，高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中，例如部署 LLama Factory 时，需要添加选中“identity”数据集，将训练轮数改成 15 等，并通过一系列操作进行训练和测试。但需要注意的是，训练大模型是复杂的过程，数据集和训练参数都会影响最终效果，需要反复调试和深入学习实践。 3. 在写作方面，我们可以根据自身需求选择人类驱动为主，利用 AI 进行修改完善，或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人，主要包括以下三个阶段： 1. 规划阶段：明确目标 确定 AI 的具体任务，比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段：实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样，手把手引导 AI 完成任务，并及时验证其输出质量。 3. 优化阶段：持续改进 通过反复测试和调整，不断优化 AI 的性能。 调整工作流程和 Prompt 配置，直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限，比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中，仅依靠单一 Prompt 指令难以稳定执行，现阶段的 AI 更像缺乏独立解决问题能力的职场新人，需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容，不妨自己设定一个任务目标，动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍： 基本名词： 1. 过拟合&欠拟合：过拟合和欠拟合都是不好的现象，需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等，过拟合可减少训练集素材量，欠拟合则增加训练集素材量。 2. 泛化性：泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性，解决办法与过拟合和欠拟合类似，从训练集、正则化、训练参数等方面调整。 3. 正则化：是解决过拟合和欠拟合情况、提高泛化性的手段，给模型加规则和约束，限制优化参数，有效防止过拟合，提高模型适应不同情况的表现和泛化性。 方法： 1. 全面充分采集训练素材：例如在角色训练素材中，应包含各种角度、表情、光线等情况的素材，确保模型具有较好泛化性。 2. 图像预处理：对训练素材进行分辨率调整、裁切操作，并对训练集进行打标签处理。 3. 参数调优：尽量将训练时长控制在半小时左右，过长易导致过拟合，通过调整参数控制时长。 4. 观察学习曲线：通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理：测试训练好的模型，观察过拟合和欠拟合问题，进一步通过调整训练素材和正则化等手段优化。 此外，在模型训练中还需注意： 1. 数据集获取渠道：可通过网上收集、购买、使用无版权问题的如古画等，原则是根据生成图的需求找对应数据集，要清晰、主体元素干净、风格统一。 2. 数据集处理：包括基础处理如裁剪保证清晰和分辨率，更重要的是写标注。 3. 设置模型触发词：可自定义，完整形式可以是一句话，建议以王 flags 模型为主。 4. 统一标注风格与应用场景：例如未来高科技 3D 天然风格，用于互联网首页图像等，并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核：让 GPT 按要求描述，人工审核修改。 6. 模型训练的准备与流程：完成数据集描述后进入训练流程，选择模型训练分类和数据集，创建并上传数据集压缩包，注意数据名与图片命名一致。选择训练模式和参数，新手选用普通基础模式，训练集质量重要，训练参数中总步数与训练集图片数量相关，触发词设定要避免概念混乱。
2025-04-09