Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LoRA训练

Answer

LoRA 训练主要包括以下步骤：

  1. 创建数据集：
    • 进入厚德云-模型训练-数据集，点击右上角创建数据集。
    • 输入数据集名称。
    • 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片后续使用自动打标功能，或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。
    • Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。
    • 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览数据集的图片以及对应的标签。
  2. Lora 训练：
    • 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
    • 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
    • 触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
    • 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
    • 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
    • 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。
    • 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

此外，郑敏轩提到的 Flux 的 Lora 训练还需要：

  1. 下载相关模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
  2. 下载脚本：
    • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq
  3. 安装虚拟环境：下载完解压，在文件中找到 install-cn-qinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手点击“Y”，然后等待 1 - 2 小时的漫长下载过程，下好后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。

在 AI 梦一丹一世界（下）2025 年 2 月 8 日副本中提到，参加相关比赛须用摩搭平台和麦橘超然模型作为底膜训练 Lora，提交训练好的 Lora 及用其生成的六张以上高质量、展现完整世界观的作品。作图分三步，一是明确创作主题即锚点，根据 Lora 风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。好看的图片的构成因素包括构图、色彩以及光影，构图包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面），构图要素有主体、陪体、前景、背景、点线面，构图方式有点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。在 AI 绘图中，推荐中景及以上景别，全身景别可能需开 AD 跳以确保作图质量。

Content generated by AI large model, please carefully verify (powered by aily)

References

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享[heading2]安装虚拟环境[content]好，下载完，解压首先在文件中找到install-cn-qinglong.ps1这个文件，右键，选择“使用PowerShell运行”新手的话这里就点击“Y”然后等待那么1-2小时的漫长下载过程~2 hours later...下好了之后最后会提示你是否下载hunyuan模型，选择n不用下载

AI梦：一丹一世界（下） 2025年2月8日 副本

[heading2]总结AI炼丹直播共学课第二节课比赛要求说明：参加由麦乐园和摩达社区发起的AI梦一单一世界比赛，须用摩搭平台和麦橘超然模型作为底膜训练Lora，提交训练好的Lora及用其生成的六张以上高质量、展现完整世界观的作品。作图思路分享：作图分三步，一是明确创作主题即锚点，根据Lora风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。图片构成因素：好看的图片的构成因素包括构图、色彩以及光影。创作有趣作品：通过运用反差制造有冲击力的画面，创作出有叙事感和趣味性的作品。关于构图的介绍与分析构图概念：构图指在框架或空间内元素的摆放位置、形状、物体形状及纹理等，好的构图能引导观看者并创造和谐平衡。构图分类：包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面）。构图要素：有主体、陪体、前景、背景、点线面，合理运用可丰富画面。构图方式：如点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。AI绘图应用：在AI绘图中，推荐中景及以上景别，全身景别可能需开AD跳以确保作图质量。

Others are asking
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。
2025-01-06
LoRA (low rank adapter) 有哪些应用
LoRA（LowRank Adaptation Models，低阶自适应模型）具有以下应用： 1. 在图像生成方面，如 Stable Diffusion 中，通过影响和微调画面，再现人物或物品的特征。可以用特定特征替换大模型中的对应元素，生成不同于底模的图片。 2. 在语言模型中，如 Alpaca 对 LLaMA6B 的微调，在主路参数固定的基础上，在旁路加一个低秩的 shortcut，训练阶段主路固定，只训练旁路，极大降低参数量。初始化时 B 矩阵为 0，达到 zeroconvolution 的效果，推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型，例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化，硬件门槛显存达到 6G 即可开启训练。
2024-09-05
这个网站的作用是什么？是通过这个网站更好的使用训练AI吗？
WaytoAGI 网站具有以下功能： 1. 和 AI 知识库对话：您可以在此询问任何关于 AI 的问题。 2. AI 网站：集合了精选的 AI 网站，可按需求找到适合您的工具。 3. AI 提示词：集合了精选的提示词，能复制到 AI 对话网站使用。 4. 知识库精选：将每天知识库的精华内容呈现给大家。 总之，WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联，希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频： 1. 3 月 26 日｜自由讨论｜离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会：分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接：https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标：训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系，即预测给定上下文（token 序列）后，下一个最有可能出现的 token。 Token 窗口：训练时，模型从数据集中随机抽取固定长度的 token 窗口（例如 8000 个 token）作为输入。 神经网络的输入与输出：输入为 Token 序列（上下文），输出为预测下一个 token 的概率分布，词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新：神经网络初始参数是随机的，预测也是随机的。训练过程通过迭代更新参数，调整预测结果，使其与训练数据中的统计模式相匹配。 损失函数与优化：训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法（如梯度下降）用于调整参数，最小化损失函数，提高预测准确率。 神经网络内部结构：Transformer 包含注意力机制和多层感知器等组件，能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接：无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师，以下是一些相关的知识和建议： 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练过程需要较高的计算性能，能够处理海量的数据，并具有一定的通用性，以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习：机器学习是人工智能的一个分支，是实现人工智能的途径之一，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理：自然语言（NLP）认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言，是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式： 1. 参加相关的线上交流会，例如 3 月 26 日的自由讨论活动，其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品，如 Keep（https://keep.com/）、Fiture（https://www.fiture.com/）、Fitness AI（https://www.fitnessai.com/）、Planfit（https://planfit.ai/）等，虽然这些主要是健身领域的应用，但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西？
要将 AI 训练成自己的东西，可以参考以下方法： 1. 像马斯克提到的，对于公开的推文数据可以合理使用，但不能使用私人的东西进行训练。同时，要注重数据的质量和使用方式，高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中，例如部署 LLama Factory 时，需要添加选中“identity”数据集，将训练轮数改成 15 等，并通过一系列操作进行训练和测试。但需要注意的是，训练大模型是复杂的过程，数据集和训练参数都会影响最终效果，需要反复调试和深入学习实践。 3. 在写作方面，我们可以根据自身需求选择人类驱动为主，利用 AI 进行修改完善，或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人，主要包括以下三个阶段： 1. 规划阶段：明确目标 确定 AI 的具体任务，比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段：实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样，手把手引导 AI 完成任务，并及时验证其输出质量。 3. 优化阶段：持续改进 通过反复测试和调整，不断优化 AI 的性能。 调整工作流程和 Prompt 配置，直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限，比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中，仅依靠单一 Prompt 指令难以稳定执行，现阶段的 AI 更像缺乏独立解决问题能力的职场新人，需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容，不妨自己设定一个任务目标，动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍： 基本名词： 1. 过拟合&欠拟合：过拟合和欠拟合都是不好的现象，需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等，过拟合可减少训练集素材量，欠拟合则增加训练集素材量。 2. 泛化性：泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性，解决办法与过拟合和欠拟合类似，从训练集、正则化、训练参数等方面调整。 3. 正则化：是解决过拟合和欠拟合情况、提高泛化性的手段，给模型加规则和约束，限制优化参数，有效防止过拟合，提高模型适应不同情况的表现和泛化性。 方法： 1. 全面充分采集训练素材：例如在角色训练素材中，应包含各种角度、表情、光线等情况的素材，确保模型具有较好泛化性。 2. 图像预处理：对训练素材进行分辨率调整、裁切操作，并对训练集进行打标签处理。 3. 参数调优：尽量将训练时长控制在半小时左右，过长易导致过拟合，通过调整参数控制时长。 4. 观察学习曲线：通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理：测试训练好的模型，观察过拟合和欠拟合问题，进一步通过调整训练素材和正则化等手段优化。 此外，在模型训练中还需注意： 1. 数据集获取渠道：可通过网上收集、购买、使用无版权问题的如古画等，原则是根据生成图的需求找对应数据集，要清晰、主体元素干净、风格统一。 2. 数据集处理：包括基础处理如裁剪保证清晰和分辨率，更重要的是写标注。 3. 设置模型触发词：可自定义，完整形式可以是一句话，建议以王 flags 模型为主。 4. 统一标注风格与应用场景：例如未来高科技 3D 天然风格，用于互联网首页图像等，并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核：让 GPT 按要求描述，人工审核修改。 6. 模型训练的准备与流程：完成数据集描述后进入训练流程，选择模型训练分类和数据集，创建并上传数据集压缩包，注意数据名与图片命名一致。选择训练模式和参数，新手选用普通基础模式，训练集质量重要，训练参数中总步数与训练集图片数量相关，触发词设定要避免概念混乱。
2025-04-09