Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

lora

Answer

LoRA 相关信息如下：

  • 模型微调：
    • 微调脚本：
    • 加载微调模型：
      • LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过PEFT加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。
      • 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。
  • 在 SD 中的应用：
    • 儿童绘本风格插画：可以生成儿童绘本风格插画，起作用的主要是“KIDS ILLUSTRATION”风格 lora，可搭配不同大模型使用，如官方案例中的超拟真大模型“Realistic Vision”。
    • Fooocus 介绍：LoRA 模型默认放在 Fooocus_win64_1-1-10\Fooocus\models\loras。Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装时需下载三个模型，如 SDXL 基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors 等。若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），修改 Fooocus_win64_1-1-10\Fooocus\modules\path.py 文件中的路径，配置好后点击 run.bat 文件启动。
Content generated by AI large model, please carefully verify (powered by aily)

References

模型微调

LoRA微调脚本见：[train/sft/finetune_lora.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/requirements.txt)，关于LoRA微调的具体实现代码见[train/sft/finetune_clm_lora.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm_lora.py)，单机多卡的微调可以通过修改脚本中的--include localhost:0来实现。[heading6]全量参数微调[content]全量参数微调脚本见：[train/sft/finetune.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune.sh)，关于全量参数微调的具体实现代码见[train/sft/finetune_clm.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm.py)。[heading5]Step4:加载微调模型[heading6]LoRA微调[content]基于LoRA微调的模型参数见：基于Llama2的中文微调模型，LoRA参数需要和基础模型参数结合使用。通过[PEFT](https://github.com/huggingface/peft)加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。[heading6]全量参数微调[content]对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。

【SD】儿童绘本风格插画

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-07-02 20:00原文网址：https://mp.weixin.qq.com/s/yf30ZBJPWG1Zzla9M1PnFw今天给大家推荐一个大模型和lora的组合运用，可以生成一些儿童绘本风格的插画。起作用的主要是这个风格lora——“KIDS ILLUSTRATION”，画风非常可爱治愈，可以搭配不同的大模型使用。官方案例使用的是超拟真大模型“Realistic Vision”。我们来测试一下吧，既然是儿童绘本，我们就选择一个大家都熟悉的《小王子》的故事吧。关键词描述：在一个荒凉的星球上，一个小男孩和一只狐狸，玫瑰花，星空。使用latent couple插件（[【Stable Diffusion】手涂蒙版定位插件Latent Couple](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486812&idx=1&sn=cbfff40072e25d54605f686c7733b8c0&chksm=9fbecda8a8c944be887648e28695df76810d7bf15a83588aa85ede35232c105c5d727c272ca6&scene=21#wechat_redirect)）来确定小王子和狐狸的位置关系，并对小王子的服装做一个细致的描述——“黄头发，绿衣服，红围巾”。多刷一些图，最终筛选出来一张，动物的部分总是画得不太好，不过画风还是蛮喜欢的。同样的参考词，我们再换几个大模型看看。比如我们常用的2.5D模型“ReV Animated”，直接生成。

【SD】SD的大哥Fooocus重磅问世，三步成图傻瓜式操作

LoRA模型默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型，一个base，一个Refiner，和一个LoRA。如果单独安装，这里需要下载三个模型：SDXL基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包，也可以共用模型（大模型和LoRA），可以这里找到path.py文件：Fooocus_win64_1-1-10\Fooocus\modules\path.py，用text记事本打开，修改路径为秋叶包模型对应的路径：大模型路径，比如：sd-webui\models\Stable-diffusion\SDXLLoRA模型路径：比如sd-webui\models\lora都配置好之后，点击run.bat文件启动。

Others are asking
Lora训练
以下是关于 Lora 训练的详细步骤： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片没有打标文件（之后可在 C 站使用自动打标功能），或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 然后等待训练，会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，还有一些相关的补充内容： Flux 的 Lora 训练准备： 需要下载几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 1. 不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。 2. 因为是训练，不是跑图，训练的话，模型就用 flux1dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境： 1. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 2. 下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型： 1. 在 lora 训练器的根目录下，点击【A 强制更新国内加速】，跑完即可关闭窗口。 2. 双击【A 启动脚本】，请保持终端一直运行，不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置随意，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程，完成后提示是否下载 hunyuan 模型，选择 n 不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，选择上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数。若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择 Lora 和调节参数。
2025-03-15
lora模型
LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。
2025-03-09