Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Flux炼丹,炼丹物品如何打标

Answer

在 Flux 炼丹中,炼丹物品的打标步骤如下:

  1. 选择一个基础大模型,如“麦橘写实”,并填写一个 lora 的名字。
  2. 将照片导入到丹炉,选择适合的分辨率,可勾选“脸部加强训练”,然后点击“预处理”。手动裁剪照片,预处理后会出现脸部和整体的文件夹,且每张照片会自动打好 tag 标签。
  3. 可以给整体添加统一的标签,也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容,若想让某些特征成为人物的固定效果,则不填写相关关键词。打标过程需仔细检查每张图片,打标的好坏会影响人物 lora 的泛化性,若想让人物有更多变化,应尽量描述详细。

在打标过程中还需注意以下几点:

  1. 注册为开发者,按照流程填写信息,获取 AppID 和密钥,并填入相关位置,开启双语 TAG,检查每幅图的 tag,删除不正确的,新增需要的。
  2. 打标要用自然语言,语句精简,选好触发词和打标模型,推荐短标并检查。
Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

接下来会有注册为开发者的选项,大家可以注册个人开发者,按照流程填写即可。注册好之后,进入开发者信息,就可以看到AppID和密钥了。将信息填入,开启双语TAG,可以看到下面的tag就变成双语的了。接下来就是检查每幅图的tag,看看描述词是否和人物匹配,删除不正确的,新增一些你需要的。检查完没有问题之后,就可以点击“开始训练”,炼制我们的第一枚丹了。

AI梦:一丹一世界(上) 2025年2月7日

[heading2]智慧章節本章节主要介绍Flux模型打标及训练相关内容。打标要用自然语言,语句精简,选好触发词和打标模型,推荐短标并检查。训练后模型在个人主页下载。测单以Forge为例,讲了参数设置、Lora改名等,还提及Lora权重、拟合判断,以及训练素材、人像素材数量和模型筛选标准。[01:45:26](https://waytoagi.feishu.cn/minutes/obcnla1pg28w36cej6ocjf3v?t=6326000)模型选择要点:避免过欠拟合,需大量测试筛选本章节从个人审美角度讲模型选择,要看图片拟合程度,过拟合画面会崩坏,欠拟合则像示例图的3号模型应直接淘汰。还提到模型泛化性问题,不同轮数模型学习程度不同,如十五号模型在人像和动植物方面表现好,但建筑方面差,因此需大量测试、筛选、测评。[01:47:23](https://waytoagi.feishu.cn/minutes/obcnla1pg28w36cej6ocjf3v?t=6443000)摩搭在线生图及Lora模型筛选、炼丹参数等使用经验分享本章节主要讲解炼丹及筛选素材集。介绍了摩搭在线生图方法,分享炼丹参数,建议先用素材原词测权重判断模型是否拟合,再用怪词测泛化性,根据人像肢体完整程度等筛选。提到20轮是摩搭训练模型的临界点,还说明了素材尺寸,解答了关于过拟合等疑问及分享素材准备流程。

Others are asking
炼丹需要了解的参数
炼丹需要了解的参数主要包括以下方面: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 对图片的理解越好,但图片精细度越高,学习步数也要越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮即为一次循环,循环次数指将这个过程重复的遍数。一般数值在 10 20 之间,次数并非越多越好,过多可能导致过拟合,即训练结果过于僵化。 3. 训练总步数:通过图片张数×学习步数×循环次数计算得出。例如 5 张图片,学习步数 50,循环次数 10,训练总步数为 2500 步。
2025-02-21
炼丹
炼丹是指在 Lora 模型训练中的一系列过程,主要包括以下步骤: 1. 训练过程:每训练 50 步,右下角会生成一张图查看效果,训练完毕后会有一个 loss 值,数值在 0.07 0.09 之间为最优。 2. 模型查看:训练完成后点击模型文件夹查看炼丹成果,可修改丹的后缀名。 3. 跑图测试:炼丹完成后需放入 SD 中进行跑图测试。 4. 打标:选择基础大模型,如“麦橘写实”,填写 lora 名字,将照片导入丹炉,选择分辨率,可勾选“脸部加强训练”并点击“预处理”,手动裁剪,为脸部和整体文件夹中的照片打好 tag 标签,注意描述的详细程度会影响人物 lora 的泛化性。 5. 参数调整:大部分参数固定,主要参数按人物参数配置,后期根据生成结果调整。 6. 炼丹:如 18 张脸部图片、20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1 。 7. 测试:将丹放入 SD 的 lora 文件夹,启动 SD 后在 lora 选项卡中刷新查看,通过 XYZ 脚本测试不同 lora 在不同权重下的效果,用肉眼对比寻找最像的,再更换提示词查看效果。
2025-02-12
lora炼丹活动
以下是关于 Lora 炼丹活动的相关信息: 魔多·LoRA 模型创作大赛正在进行中。基于 SD1.5、SDXL、FLUX.1 底模创作 LoRA 模型,有中国神话、武侠风云、写实人像、灵动萌兽、银幕穿梭机、盲盒幻想六个赛题方向可供选择。 10 月 17 日晚 8 点有免费的 0 基础炼丹课程,由忠忠(设计类模型 Top1,Canva、平安科技、华为、腾讯等领先互联网公司培训讲师)授课。会议主题为教你 0 基础炼丹,会议时间为 20:00 22:00,会议 ID 为 370 697 604,会议链接为 https://vc.feishu.cn/j/370697604 。 此外,还有关于人像 lora 炼制的详细步骤: 1. 打标:选一个基础大模型,如“麦橘写实”,填一个 lora 的名字。将照片导入丹炉,选择适合的分辨率,可勾选“脸部加强训练”,然后点击“预处理”。手动裁剪照片,预处理后会出现脸部和整体的文件夹,且每张照片自动打好 tag 标签。可给整体添加统一标签或单独修改每张的标签,注意描述的详细程度会影响人物 lora 的泛化性。 2. 参数调整:前面环节重要,此环节可佛系,大部分参数固定,主要参数按人物参数配置,后期根据生成结果调整。 3. 炼丹:18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1,训练总步数为 19000,训练时长为 45 分钟,loss 值为 0.0769。但具体好坏需通过测试判断。 活动详情地址:
2025-02-07
什么是炼丹
在AI图像设计领域,"炼丹"这个术语被用来形象地描述一些复杂且需要大量实验的模型训练和优化过程。具体来说,它可能涉及以下几个方面: 1. 模型训练:在图像识别、分类、生成等任务中,需要训练深度学习模型以从大量图像数据中学习特征和模式。 2. 参数调整:调整模型的超参数(如学习率、网络层数、神经元数量等)以优化性能,这个过程可能需要大量的实验和试错。 3. 数据增强:为了提高模型的泛化能力,需要通过数据增强技术(如旋转、缩放、裁剪等)来增加训练数据的多样性。 4. 特征工程:在图像处理中,选择合适的特征是关键。这可能涉及到复杂的特征提取和选择过程。 5. 风格迁移:在图像风格迁移任务中,需要训练模型将一种图像的风格应用到另一种图像上,这通常需要精细的参数调整和多次迭代。 6. 图像生成:在生成对抗网络(GAN)等生成模型中,训练过程需要精心设计网络结构和损失函数,以达到逼真的图像生成效果。 7. 损失函数设计:设计合适的损失函数以指导模型训练,使其能够更好地学习图像的特征和结构。 8. 网络架构设计:尝试不同的网络架构(如卷积神经网络、循环神经网络等)来解决特定的图像处理任务。 9. 实验迭代:在图像设计中,通常需要多次实验和迭代来优化模型,这个过程可能非常耗时且需要耐心。 10. 结果验证:验证模型在不同数据集上的性能,确保其泛化能力和鲁棒性。 11. 自动化工具:使用自动化机器学习(AutoML)工具来辅助模型选择和参数调整,减少"炼丹"的工作量。 在AI图像设计领域,"炼丹"强调的是模型训练和优化过程中的复杂性和不确定性,以及需要投入大量时间和精力来达到理想的效果。随着技术的进步,研究人员正在探索更高效的方法来简化这一过程。
2024-07-16
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
Flux工作流
Flux 工作流相关内容如下: 安装及使用:如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多。ae.safetensors 和 flux1dev.safetensors 的下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流,可使用上面提供的工作流,或者下面官方原版的图片链接,图片导入 ComfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。 随机提示词+FLux NF4 模型文生图工作流。 FLUX 的周边生态发展迅速,具体的 Lora 包括 mjv6_lora、动漫 Lora、写实 Lora、迪士尼 Lora、风景_lora、艺术 Lora 。Xlabs Lora 下载:https://huggingface.co/XLabsAI/fluxRealismLora 。另外社区也开始利用训练脚本训练 Lora 了,比如这个,支持 FLUX Lora、ControlNet 的加载,支持文生图、图生图。
2024-09-13
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 首先,您需要下载相关模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,同时还有 GGUF 配套节点插件及 GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的,右键 16G 那个 train_flux_16GLora 的文件;如果您的显卡是 24G 或更高的,右键 24G 那个 train_flux_24GLora 的文件。(DB 全参微调对硬件要求更高,内存 32G 不行)即使是 train_flux_24GLora 的方式,也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件(图中右边红框的两种任意一种均可,没有可以下载一下)。开头的绿色部分不用动,理论上只改红色部分:底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里,路径填写会更简单;如果不在,要准确找到并复制 flux1dev 底模的文件路径,注意检查双引号的使用,避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里,还有部分路径需要设置。
2024-09-05
excel表格导出的用户的对话记录,来进行自定义标签并打标,有哪些好用的现成方案或者工具
目前在 Excel 表格导出的用户对话记录进行自定义标签并打标方面,以下是一些常见且好用的工具和方案: 1. Microsoft Excel 本身:可以利用其数据筛选、排序和函数功能来辅助标签和打标。 2. Google Sheets:具有类似 Excel 的功能,且在线协作方便。 3. R 语言:通过编程实现复杂的数据分析和标签处理。 4. Python 及相关库,如 Pandas:能够灵活处理数据和进行标签操作。 但具体选择哪种方案或工具,取决于您的具体需求、技术水平和使用习惯。
2025-04-07
在ai图像训练打标时,怎么让部分标签权重更大
在 AI 图像训练打标时,让部分标签权重更大的方法如下: 1. 在 Stable Diffusion 中,手动补充的特殊 tag 放在第一位,因为 tags 标签有顺序,最开始的 tag 权重最大,越靠后的 tag 权重越小。 2. 在 BooruDatasetTagManager 中采用方法二: 删除部分特征标签,如 All tags 中不该出现的错误识别的自动标签,Image tags 中作为特定角色的自带特征的标签,并将特征与 LoRA 做绑定。 完成所有优化删除后,点击左上角菜单 File>Save all changes 保存当前的设置。 此外,在 Stable Diffusion 训练数据集制作中还需注意: 1. 调用 Waifu Diffusion v1.4 模型需要安装特定版本(2.10.0)的 Tensorflow 库,在命令行输入相应命令完成版本检查与安装适配。 2. 进入到 SDTrain/finetune/路径下,运行相应代码获得 tag 自动标注,其中主要参数包括: batch_size:每次传入 Waifu Diffusion v1.4 模型进行前向处理的数据数量。 model_dir:加载的本地 Waifu Diffusion v1.4 模型路径。 remove_underscore:开启后将输出 tag 关键词中的下划线替换为空格。 general_threshold:设置常规 tag 关键词的筛选置信度。 character_threshold:设置特定人物特征 tag 关键词的筛选置信度。 caption_extension:设置 tag 关键词标签的扩展名。 max_data_loader_n_workers:设置大于等于 2,加速数据处理。
2025-03-15
文本打标工具
以下是关于文本打标工具的相关信息: OpenAI API 可应用于多种自然语言、代码或图像任务,提供不同能力级别的模型,可微调自定义模型,适用于内容生成、语义搜索和分类等领域。模型通过将文本分解为标记(Token)来理解和处理,Token 可以是单词或字符块,在给定的 API 请求中处理的 Token 数量取决于输入和输出长度,可查看分词器工具了解更多。 对于某些文本打标任务,如根据问题的主要主题为文本打标签,有相应的指示和选项,如根据问题围绕的对象选择不同的标签类别。 在语音合成中,标注是常见问题,一般利用文本前端产生基线的音素序列和音素时长,再由人类参与检查,包括音素层级、单词层级、句子层级等方面,标注人员可采用 Praat 进行可视化标注和检查,不同场景的标注可能有细微变化。
2025-02-18
你可以帮我识别图形并打标吗
以下是为您提供的关于图形识别和打标的相关信息: 有一些工具和资源可以帮助进行图形打标,例如: 图像打标助手:上传任意一张或多张图片,打标助手就会自动识别图像内容,并返回适用于 AI 模型训练标注的图像描述。 基于 GPT4Vision 做的免费批量打标工具:支持一次性给 100 张图像打标、批量下载标注文件、批量增加/删除前缀、手动改标注。但需添加自己的 OpenAI API Key。 关于图形认知题: 图形认知题是一种教育活动或测试,旨在帮助孩子们识别、区分和理解不同的图形和图案,常用于儿童早期教育,促进视觉和认知发展。 其特点包括图形识别、颜色识别、大小和比较、排序和分类、图形与现实世界的关联、空间关系、图形的绘制与再现等。 创作时可以结合手工方式,让家长和孩子在互动中完成。 还可以让 GPT 根据场景生成五个场景中常见的事物,以制作完整的图片。
2024-10-22
有没有替换物品的ai
以下是为您找到的与替换物品相关的 AI 内容: Inpaint Anything 提出了一种新的图像修复方法,支持“Replace Anything”功能,用户可以选择保留点击选定的对象并将剩余的背景替换为新生成的场景。 Stability AI 推出的基于 Discord 的媒体生成和编辑工具中,有通过搜索提示识别对象并替换的功能,例如把猫换成狗。
2025-03-19
. 了解射频识别技术的基本原理及常见应用。 2. 能够利用射频识别技术开展实践,了解物与物 之间近距离通信的过程。 第7课 电子标签我揭秘 7.1 乘坐火车时,人们只需拿身份证在检票机上刷一下,便能顺利通过检票 闸机,进出火车站。在这个过程中,正是 RFID 技术在发挥作用。 揭秘射频识别技术 本课将关注以下问题: 1. RFID 系统的工作流程是怎样的? RFID 是一种物品标识和自动识别技术,本质上是一种无线通信技术, 无须与被识别物品直接接触。RFID 系统由电子标签和读卡器组成(图 7
射频识别(RFID)技术是一种物品标识和自动识别的无线通信技术,无需与被识别物品直接接触。RFID 系统由电子标签和读卡器组成。 其基本原理是:读卡器发射特定频率的无线电波,当电子标签进入有效工作区域时,产生感应电流,从而获得能量被激活,并向读卡器发送自身编码等信息,读卡器接收并解码后,将信息传送给后台系统进行处理。 常见应用包括:乘坐火车时的身份证检票,物流领域的货物追踪管理,图书馆的图书借还管理,超市的商品结算等。 在利用射频识别技术开展实践时,能够了解物与物之间近距离通信的过程。例如在物流中,货物上的电子标签与读卡器之间通过无线电波进行信息交互,实现对货物的实时监控和管理。 RFID 系统的工作流程大致为:读卡器发射无线电波,激活电子标签,电子标签向读卡器发送信息,读卡器接收并解码信息后传送给后台系统。
2024-10-21