直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

flux lora训练指南

回答

以下是关于 Flux 的 Lora 模型训练的指南：

准备工作： 需要下载以下模型：

  • t5xxl_fp16.safetensors
  • clip_l.safetensors
  • ae.safetensors
  • flux1-dev.safetensors

注意事项：

  1. 不使用的话，模型放置位置不限，但要清楚其“路径”，后续会引用到。
  2. 训练建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。

下载脚本：

  • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
  • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq

修改脚本路径和参数： 如果显卡是 16G，右键 16G 的 train_flux_16GLora 文件；如果显卡是 24G 或更高，右键 24G 的 train_flux_24GLora 文件。（DB 全参微调对硬件要求高，内存 32G 可能不行。即使是 train_flux_24GLora 方式，也建议内存高于 32G 以避免意外。） 右键用代码编辑器打开文件，理论上只需修改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹，路径填写更简单；若不在，需准确复制各模型的路径，注意检查格式，避免多双引号、漏双引号或路径错误。

数据集准备：

  1. 进入厚德云 - 模型训练 - 数据集：https://portal.houdeyun.cn/sd/dataset
  2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以包含图片+标签 txt，也可以只有图片（之后可在 c 站使用自动打标功能），也可一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间，确认创建数据集，返回到上一个页面，等待上传成功后可点击详情检查，能预览到数据集的图片以及对应的标签。

Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，点击右侧箭头选择上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速，点击开始训练，会显示所需消耗的算力，然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击会自动跳转到使用此 lora 生图的界面，点击下方的下载按钮则会自动下载到本地。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享

郑敏轩 ：Flux的Lora模型训练

接下来，如果你的显卡是16G的，右键16G那个train_flux_16GLora的文件，如果你的显卡是24G或更高的，右键24G那个train_flux_24GLora的文件，（DB全参微调会对硬件要求更高一些，内存32G是不行的）不过即使是train_flux_24GLora的方式，也建议内存尽量想办法高于32G，避免意外情况的发生。刚没说完，右键用代码编辑器方式打开（图中右边红框的两种任意一种均可，没有可以下载一下）首先我们开头的绿色部分不用动理论上只改红色部分：底模路径、VAE路径、数据集路径，还有下面的clip路径和T5xxl路径：文章开头的4件套，如果你在一个文件夹里，更简单一些，不用分辨，路径填上去就行。如果不在一起，首先找到你的flux1-dev底模的文件，把他的路径复制过来，注意复制过来后还是一套双引号，有同学会多双引号或者漏双引号，以及路径错误，都会导致后面训练无法进行。注意检查，慎重。然后是ae的那个是VAE路径这里注意训练集的路径！是到train截止！里面虽然还有一层文件夹，但是到此为止！往下，在SD3训练相关参数那里，咱们4件套不是还有2位吗？路径在这里（g那个不用管，是SD3里面的）再次提醒检查格式，别漏了，错了这是最简单的少量修改方式，可以直接看下一段：数据集准备。建议随着深入以及经验丰富后再修改关于其他参数，温馨提醒修改其他深入参数的话自己最好最好备份管理。蓝色部分可改可不改，是备注名称。

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

其他人在问
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
我现在是学了一段时间的comfyui+flux，接下来准备学Python开发comfyui节点、对接模型，这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型，这个方向是可行的。以下是一些相关的知识和要点供您参考： 工作流方面： 工作流节点可直接拖动单个节点到任意位置，也可按住 Control 键并用鼠标左键滑框选中多个节点，再按 Shift 键一起拖动。 选中节点后右键新建组，可修改组名、颜色等，组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式，如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组，也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面： 噪声强度由种子调节，种子固定噪声分布方式，噪声与 CLIP 无关，增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异：1.5 以 tag 为主，XL 论文称以自然语言为主，但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图，可能有修复方案，需自行查询。图像生成结果为空，可能是 VAE 编码器与大模型未连接，调整连接后问题解决。 安装方面： 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括：（Comfyui evn python.exe）python m pip install rrequirements.txt 或点击 install_req.bat，注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹，如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题，使用新版的节点需要禁用或者删除之前的 PuLID 节点，不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面，注意用新版的。 如果使用 PuLID，还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置随意，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程，完成后提示是否下载 hunyuan 模型，选择 n 不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，选择上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数。若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中，flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用，需要将相关模型放在对应的目录下。具体来说，t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下，clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下，ae.safetensors 放在 ComfyUI/models/vae/ 目录下，flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉，根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”，暂时无法明确具体的问题原因。可能是模型文件格式不被识别，或者文件路径存在错误等。建议您检查文件的完整性和正确性，确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息： 1. XLabsAI 发布了 6 个不同的 Lora，包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等，并提供了相应示例。 2. 文生图模型排序（从高到低）：Imagen 3 真实感满分，指令遵从强；Recraft 真实感强，风格泛化很好，指令遵从较好（会受风格影响）；Midjourney 风格化强，艺术感在线，但会失真，指令遵从较差；快手可图 影视场景能用，风格化较差；Flux.1.1 真实感强，需要搭配 Lora 使用；文生图大模型 V2.1L（美感版） 影视感强，但会有点油腻，细节不够，容易糊脸；Luma 影视感强，但风格单一，糊；美图奇想 5.0 AI 油腻感重；腾讯混元 AI 油腻感重，影视感弱，空间结构不准；SD 3.5 Large 崩。 3. 指定 AI 生图里的文字，有 9 种解决方案，其中 2 种快过时了。包括 Midjourney（v6 版本开始支持文字效果，主要支持英文，中文支持有限）、Ideogram（以图片嵌入文字能力闻名，2.0 模型能力得到进一步加强，支持复杂文本和多种艺术风格，文字与图像能够自然融合，支持英文，中文提示词可自动翻译为英文）、Recraft（V3 开始支持文本渲染能力，是目前唯一能在图像中生成长文本的模型，支持精确的文本位置控制，支持图像编辑功能，支持矢量图生成，支持英文，中文渲染能力较弱）、Flux（FLUX.1 是一款高质量的开源图像生成模型，支持复杂指令，支持文本渲染，支持图像编辑，生成图像的质量很高，主要支持英文）。
2025-03-07
Lora训练
以下是关于 Lora 训练的详细步骤： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片没有打标文件（之后可在 C 站使用自动打标功能），或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 然后等待训练，会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，还有一些相关的补充内容： Flux 的 Lora 训练准备： 需要下载几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 1. 不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。 2. 因为是训练，不是跑图，训练的话，模型就用 flux1dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境： 1. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 2. 下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型： 1. 在 lora 训练器的根目录下，点击【A 强制更新国内加速】，跑完即可关闭窗口。 2. 双击【A 启动脚本】，请保持终端一直运行，不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，在 Comfyui AnimateDiff 项目中，有一个关键的 lora 对图像模型进行了微调，lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt，lora 的强度越高，画面越稳定，但需在合理范围。 在 100 基础训练大模型的 Lora 生图中，模型上的数字代表模型强度，可在 0.61.0 之间调节，默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词，可选择基于提示词一次性生成几张图，选择生成图片的尺寸（横板、竖版、正方形）。采样器和调度器新手小白可默认，迭代步数可在 2030 之间调整，CFG 可在 3.57.5 之间调整，随机种子1 代表随机生成图。所有设置完成后，点击开始生成，生成的图会显示在右侧。若某次生成结果不错，想要微调或高分辨率修复，可点开图，下滑复制随机种子，粘贴到随机种子处，下次生成的图会与此次结果近似。若确认合适的种子和参数，想要高清放大，点开高清修复，选择放大倍数，新手小白可默认算法，迭代步数建议在 2030 之间，重回幅度在 0.30.7 之间调整。
2025-03-22
lora模型
LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。
2025-03-09
我是一个新手，请给我一些AI文本工具的操作指南
以下是为您提供的一些 AI 文本工具的操作指南： AI 内容检测工具 1. 功能：提供免费的 AI 内容检测工具，可识别文本是否由 AI 生成。 使用方法：将文本粘贴到在线工具中，点击检测按钮，系统会提供分析结果。 2. GPTZero 功能：专门设计用于检测由 GPT3 生成的内容，适用于教育和出版行业。 使用方法：上传文档或输入文本，系统会分析并提供报告，显示文本是否由 GPT3 生成。 3. Content at Scale 功能：提供 AI 内容检测功能，帮助识别文本是否由 AI 生成。 使用方法：将文本粘贴到在线检测工具中，系统会分析并提供结果。 TecCreative 创意工具箱 1. AI 字幕 操作指引：点击上传视频——开始生成——字幕解析完成——下载 SRT 字幕。 注意：支持 MP4 文件类型，大小上限为 50M。 2. 文生图 操作指引：输入文本描述（关键词或场景描述等）——选择模型（注意 FLUX 模型不可商用）——开始生成——下载。 3. AI 翻译 操作指引：输入原始文本——选择翻译的目标语言——开始生成。 4. TikTok 风格数字人 操作指引：输入口播文案——选择数字人角色——点击开始生成。 视频默认输出语言和输入文案语言保持一致，默认尺寸为 9:16 竖版。 5. 多场景数字人口播配音 操作指引：输入口播文案——选择数字人角色和场景——选择输出类型——点击开始生成。 视频默认输出语言和输入文案语言保持一致。 AI 文章排版工具 1. Grammarly 不仅是语法和拼写检查工具，还提供排版功能，可改进文档整体风格和流畅性。 2. QuillBot AI 驱动的写作和排版工具，可改进文本清晰度和流畅性，保持原意。 3. Latex 虽不是纯粹的 AI 工具，但广泛用于学术论文排版，使用标记语言描述文档格式，有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc 文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。 5. Wordtune AI 写作助手，可重新表述和改进文本，使其更清晰专业，保持原始意图。 6. Overleaf 在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。 选择合适的 AI 文章排版工具取决于您的具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex 和 Overleaf 受欢迎，因其提供强大排版功能和广泛学术支持。对于一般文章和商业文档，Grammarly 和 PandaDoc 等工具可能更适用。
2025-04-11
trae的使用指南
以下是 Trae 的使用指南： 一、Trae 简介 Trae 是字节跳动推出的智能编程助手，提供基于 Agent 的 AI 自动编程能力，使用自然语言对话就能实现代码编写。 二、Trae 的功能 1. 提供传统的 IDE 功能，包括代码编写、项目管理、插件管理、源代码管理等。 2. 智能问答：在编写代码时，可随时与 AI 助手对话，获得代码解释、注释和错误修复等帮助。 3. 实时代码建议：AI 助手能理解当前代码并在编辑器中实时提供建议，提升编程效率。 4. 代码片段生成：通过自然语言描述需求，生成相应代码片段，甚至能编写项目级或跨文件的代码。 5. 从 0 到 1 开发项目：告诉 AI 助手想开发的程序，它将提供相关代码或自动创建所需文件。 三、下载 Trae 官网下载地址：https://www.trae.ai/download ，支持 Mac 系统、Windows 系统，未来支持 Linux 系统。 四、使用方法 1. 安装：下载完成后按照界面提示一步步安装。 2. 登录：安装完成后点击右侧登录按钮，程序会自动打开网页提示登录，无账号需先注册。登录完可能会出现“App Unavailable”，此时需要开启科学上网。 3. 网页登录成功后可关闭科学上网，再点击中间大按钮，自动进入 Trae 客户端。 五、模式选择 1. Chat 模式：根据描述进行代码生成、解释、分析问题或解决问题。 2. Builder 模式：可让 Trae 帮助从 0 开发一个完整的项目，对代码文件的任何更改都会自动保存。 六、使用案例 1. 生成一个贪吃蛇游戏 打开 Builder 模式，输入“使用 web 技术栈生成一个贪吃蛇游戏”，排队完成后，Trae 开始思考和代码编写，期间需手动接入进行文件审查，点击“全部接受”。 代码生成完成后，Trae 自动运行命令启动页面，点击运行，在 Webview 中可看到实现的游戏效果，试玩基本无 Bug。 Trae 会进行工作总结，说明已实现的功能，如游戏包含的特性、主要功能和游戏界面等。 2. 生成一个任务清单应用 在输入框中输入：使用 Web 技术开发一个任务清单应用。 3. 根据 UI 设计图自动生成项目代码 从站酷上找一张设计图，输入提示：使用 html 技术实现如图大屏页面。 七、总结 从实际体验来看，Trae 表现可圈可点。 1. 高效代码生成能力：能在几分钟内生成完整框架，代码结构清晰且功能齐全，甚至能自动处理依赖项和运行命令。 2. 多技术栈支持：对 Web 技术掌握远超预期，生成的代码可直接运行且无明显语法错误。 3. 动态调整潜力：能根据用户反馈快速调整样式，自适应布局的实现展现了 AI 的迭代能力。
2025-04-09
入门指南
以下是强化学习的入门指南： 1. 基础知识补充：如果没有相关基础且概率论和线性代数知识遗忘较多，可以学习相关课程，周末一天可完成；若对机器学习无基础，可先看吴恩达课程，再以李宏毅课程补充，单纯入门强化学习只需看前几节讲完神经网络的部分，此视频课程约需 25 小时。 2. 动手实践：跟着《动手学深度学习 https://hrl.boyuai.com/》学习并写代码，入门看前五章，约 10 小时。 3. 深入学习基础知识点：观看 B 站王树森的深度学习课程的前几节，约 5 小时。 4. 项目实践：可以看《动手学强化学习》，看到 DQN 部分，约十几小时。同时，文中还提到行动只有向左或向右两个，模型构建简单，DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用两层网络结构；需要一个缓存区存放从环境中采样的数据；有训练函数，批量从缓存区获取数据，使用 DQN 算法进行训练；还有主循环函数，在每个 episode 中选择动作（使用 εgreedy 策略），执行动作并将结果存储在 replay buffer 中，训练完使用保存好的 model.pth 参数即可实际使用。 文章作者为腾讯互动娱乐工程师 luozhiyun，原文地址：https://mp.weixin.qq.com/s/pOO0llKRKL1HKG8uz_Nm0A，感谢群友.com 的推荐。在学习前先明确目的，本文以搞懂 DQN 算法作为入门目标。像 https://github.com/ty4z2008/Qix/blob/master/dl.md 这类链接中有很多资料，但需筛选。
2025-03-22
能否提供一份关于在本网站的学习指南
以下是为您提供的在本网站的学习指南： 1. ComfyUI 相关学习资料： ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户，网址：https://www.comfyuidoc.com/zh/ 。 优设网：有详细的 ComfyUI 入门教程，适合初学者，网址：https://www.uisdc.com/comfyui3 。 知乎：有用户分享 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户，网址：https://zhuanlan.zhihu.com/p/662041596 。 Bilibili：提供一系列从新手入门到精通的 ComfyUI 视频教程，网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 。 2. 《2020 年国家人工智能倡议法案》相关内容：包含向相关委员会提交报告、开展研究等规定。 3. MIT 为孩子开设的免费 AI 课： 课程来自全球人工智能专业排名第一的麻省理工 MIT，名为 Day of AI，面向 8 18 岁孩子，来自 110 多个国家的 50 万名学生都在使用。 该课程完全免费，但资源面向家长、老师群体，大孩子可自学，小孩子可能需要家长辅助。 课程包含在 MIT 的 RAISE 项目中。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-03-17
入门指南
2025-03-13
请起草一份小白学习AI辅助修图的入门到精通的教程，提供学习大纲，包括从基本玩法到高级卡bug玩法，常见红海赛道，常见问题，注意事项，常见误区，避坑指南等等
以下是为您提供的小白学习 AI 辅助修图从入门到精通的教程大纲： 一、基础知识与基本玩法 1. 了解 AI 辅助修图的概念和基本原理。 2. 熟悉常见的 AI 修图工具和软件。 二、常见问题与注意事项 1. 风格局限性：如全是二次元风格，缺少适合特定需求的风格。 2. 图像叙事性不足：画出来的多为美少女看镜头，缺乏叙事内容。 3. 素材局限性：已有素材单一，图生图可行性低，训练泛化性差。 三、常见误区与避坑指南 1. 避免盲目依赖初始的 Embedding、CKPT 等方法，不断尝试和改进。 2. 注意训练集中人物朝向固定等问题，采取相应处理措施，如镜像处理。 四、从入门到精通的进阶玩法 1. 掌握不同的训练方法，如 Lora 等，以获得更理想的效果。 2. 学会引导 AI 画出具有前景后景区分明显的图像，如制作引导图。 五、高级卡 bug 玩法 探索一些非常规但有效的技巧和方法，以突破常规限制，实现更出色的修图效果。但需注意，此部分玩法可能存在一定风险和不确定性。 六、常见红海赛道 分析当前 AI 辅助修图在不同领域的竞争激烈程度和应用热点。 在学习过程中，还需了解以下 AI 相关的技术原理和概念： 1. 生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词： AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习，监督学习有标签，无监督学习无标签，强化学习从反馈中学习。 深度学习参照人脑神经网络，神经网络可用于多种学习方式。 生成式 AI 可生成多种内容形式。 LLM 为大语言模型，不同模型有不同擅长的任务。 3. 技术里程碑：2017 年 6 月谷歌团队发表的《Attention is All You Need》提出了 Transformer 模型。
2025-03-05
这个网站的作用是什么？是通过这个网站更好的使用训练AI吗？
WaytoAGI 网站具有以下功能： 1. 和 AI 知识库对话：您可以在此询问任何关于 AI 的问题。 2. AI 网站：集合了精选的 AI 网站，可按需求找到适合您的工具。 3. AI 提示词：集合了精选的提示词，能复制到 AI 对话网站使用。 4. 知识库精选：将每天知识库的精华内容呈现给大家。 总之，WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联，希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频： 1. 3 月 26 日｜自由讨论｜离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会：分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接：https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标：训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系，即预测给定上下文（token 序列）后，下一个最有可能出现的 token。 Token 窗口：训练时，模型从数据集中随机抽取固定长度的 token 窗口（例如 8000 个 token）作为输入。 神经网络的输入与输出：输入为 Token 序列（上下文），输出为预测下一个 token 的概率分布，词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新：神经网络初始参数是随机的，预测也是随机的。训练过程通过迭代更新参数，调整预测结果，使其与训练数据中的统计模式相匹配。 损失函数与优化：训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法（如梯度下降）用于调整参数，最小化损失函数，提高预测准确率。 神经网络内部结构：Transformer 包含注意力机制和多层感知器等组件，能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接：无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师，以下是一些相关的知识和建议： 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练过程需要较高的计算性能，能够处理海量的数据，并具有一定的通用性，以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习：机器学习是人工智能的一个分支，是实现人工智能的途径之一，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理：自然语言（NLP）认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言，是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式： 1. 参加相关的线上交流会，例如 3 月 26 日的自由讨论活动，其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品，如 Keep（https://keep.com/）、Fiture（https://www.fiture.com/）、Fitness AI（https://www.fitnessai.com/）、Planfit（https://planfit.ai/）等，虽然这些主要是健身领域的应用，但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西？
要将 AI 训练成自己的东西，可以参考以下方法： 1. 像马斯克提到的，对于公开的推文数据可以合理使用，但不能使用私人的东西进行训练。同时，要注重数据的质量和使用方式，高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中，例如部署 LLama Factory 时，需要添加选中“identity”数据集，将训练轮数改成 15 等，并通过一系列操作进行训练和测试。但需要注意的是，训练大模型是复杂的过程，数据集和训练参数都会影响最终效果，需要反复调试和深入学习实践。 3. 在写作方面，我们可以根据自身需求选择人类驱动为主，利用 AI 进行修改完善，或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人，主要包括以下三个阶段： 1. 规划阶段：明确目标 确定 AI 的具体任务，比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段：实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样，手把手引导 AI 完成任务，并及时验证其输出质量。 3. 优化阶段：持续改进 通过反复测试和调整，不断优化 AI 的性能。 调整工作流程和 Prompt 配置，直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限，比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中，仅依靠单一 Prompt 指令难以稳定执行，现阶段的 AI 更像缺乏独立解决问题能力的职场新人，需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容，不妨自己设定一个任务目标，动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍： 基本名词： 1. 过拟合&欠拟合：过拟合和欠拟合都是不好的现象，需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等，过拟合可减少训练集素材量，欠拟合则增加训练集素材量。 2. 泛化性：泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性，解决办法与过拟合和欠拟合类似，从训练集、正则化、训练参数等方面调整。 3. 正则化：是解决过拟合和欠拟合情况、提高泛化性的手段，给模型加规则和约束，限制优化参数，有效防止过拟合，提高模型适应不同情况的表现和泛化性。 方法： 1. 全面充分采集训练素材：例如在角色训练素材中，应包含各种角度、表情、光线等情况的素材，确保模型具有较好泛化性。 2. 图像预处理：对训练素材进行分辨率调整、裁切操作，并对训练集进行打标签处理。 3. 参数调优：尽量将训练时长控制在半小时左右，过长易导致过拟合，通过调整参数控制时长。 4. 观察学习曲线：通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理：测试训练好的模型，观察过拟合和欠拟合问题，进一步通过调整训练素材和正则化等手段优化。 此外，在模型训练中还需注意： 1. 数据集获取渠道：可通过网上收集、购买、使用无版权问题的如古画等，原则是根据生成图的需求找对应数据集，要清晰、主体元素干净、风格统一。 2. 数据集处理：包括基础处理如裁剪保证清晰和分辨率，更重要的是写标注。 3. 设置模型触发词：可自定义，完整形式可以是一句话，建议以王 flags 模型为主。 4. 统一标注风格与应用场景：例如未来高科技 3D 天然风格，用于互联网首页图像等，并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核：让 GPT 按要求描述，人工审核修改。 6. 模型训练的准备与流程：完成数据集描述后进入训练流程，选择模型训练分类和数据集，创建并上传数据集压缩包，注意数据名与图片命名一致。选择训练模式和参数，新手选用普通基础模式，训练集质量重要，训练参数中总步数与训练集图片数量相关，触发词设定要避免概念混乱。
2025-04-09