Flux工作流

在 Flux 炼丹中，炼丹物品的打标步骤如下： 1. 选择一个基础大模型，如“麦橘写实”，并填写一个 lora 的名字。 2. 将照片导入到丹炉，选择适合的分辨率，可勾选“脸部加强训练”，然后点击“预处理”。手动裁剪照片，预处理后会出现脸部和整体的文件夹，且每张照片会自动打好 tag 标签。 3. 可以给整体添加统一的标签，也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容，若想让某些特征成为人物的固定效果，则不填写相关关键词。打标过程需仔细检查每张图片，打标的好坏会影响人物 lora 的泛化性，若想让人物有更多变化，应尽量描述详细。 在打标过程中还需注意以下几点： 1. 注册为开发者，按照流程填写信息，获取 AppID 和密钥，并填入相关位置，开启双语 TAG，检查每幅图的 tag，删除不正确的，新增需要的。 2. 打标要用自然语言，语句精简，选好触发词和打标模型，推荐短标并检查。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

以下是关于 Flux 的 lora 模型训练的相关信息： Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时，工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速，有 Lora、Controlnet、IPadpter 相关生态建设，字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。

以下是 Flux 的 Lora 模型训练教程： 首先，您需要下载相关模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，同时还有 GGUF 配套节点插件及 GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的，右键 16G 那个 train_flux_16GLora 的文件；如果您的显卡是 24G 或更高的，右键 24G 那个 train_flux_24GLora 的文件。（DB 全参微调对硬件要求更高，内存 32G 不行）即使是 train_flux_24GLora 的方式，也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件（图中右边红框的两种任意一种均可，没有可以下载一下）。开头的绿色部分不用动，理论上只改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里，路径填写会更简单；如果不在，要准确找到并复制 flux1dev 底模的文件路径，注意检查双引号的使用，避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里，还有部分路径需要设置。

以下是为您整理的相关内容： 《促进创新的人工智能监管方法》：包含了关于通用人工智能价值链、相关案例研究以及对人工智能监管框架的探讨等内容。 陶力文律师关于律师写好提示词用好 AI 的方法：包括初始化的欢迎语、遵循的规则、获取案例洞察报告和目标群体、输出纲要和写作方案、根据用户反馈调整等流程。 开幕式主持稿：涉及基地代表发言的时间、主题、物料配合和人员配合等信息。 但这些素材似乎与为中国移动准备市委书记致辞稿所需的素材关联不大。一般来说，为撰写市委书记在中国移动人工智能生态大会上的致辞稿，中国移动可能需要准备以下素材： 1. 本次大会的详细介绍，包括主题、目标、议程安排等。 2. 中国移动在人工智能领域的发展成果、战略规划和未来愿景。 3. 中国移动人工智能生态的构建情况，如合作伙伴、合作项目等。 4. 本次大会在第八届数字峰会中的地位和作用。 5. 相关行业的人工智能发展现状和趋势。 6. 福州市在人工智能领域的发展情况和与中国移动合作的展望。

如果您已经学习了如何编写 prompt ，接下来可以学习以下内容： 1. 理解 Token 限制：形成“当前消耗了多少 Token”的自然体感，把握有效记忆长度，避免在超过限制时得到失忆的回答。同时，编写 Prompt 时要珍惜 Token ，秉承奥卡姆剃刀原理，精简表达，尤其是在连续多轮对话中。 熟练使用中英文切换，若 Prompt 太长可用英文设定并要求中文输出，节省 Token 用于更多对话。 了解自带方法论的英文短语或句子，如“Chain of thought”。 2. 学习精准控制生成式人工智能：重点学习提示词技术，编写更清晰、精确的指令，引导 AI 工具产生所需结果。 探索构建智能体（AI Agents），将工作单元切割开，赋予其特定角色和任务，协同工作提高效率。 在实际应用中遵循准则，如彻底变“懒人”、能动嘴不动手、能让 AI 做的就不自己动手、构建自己的智能体、根据结果反馈调整智能体、定期审视工作流程看哪些部分可用更多 AI 。 3. 若想进一步提升： 学习搭建专业知识库、构建系统知识体系，用于驱动工作和个人爱好创作。 注重个人能力提升，尤其是学习能力和创造能力。 您还可以结合自身生活或工作场景，想一个能简单自动化的场景，如自动给班级孩子起昵称、排版运营文案、安排减脂餐、列学习计划、设计调研问卷等。选一个好上手的提示词框架开启第一次有效编写，比如从基础的“情境:”开始。

学习 AI 在工作中使用以提高工作效率，不一定需要从技术原理开始学习。以下是一些相关的案例和建议： 案例一：GPT4VAct 是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。其应用场景在于以后互联网项目产品的原型设计自动化生成，能使生成效果更符合用户使用习惯，同时优化广告位的出现位置、时机和频率。它基于 AI 学习模型，通过视觉理解技术识别网页元素，能执行点击和输入字符操作等，但目前存在一些功能尚未支持，如处理视觉信息程度有限、不支持输入特殊键码等。 案例二：对于教师来说，有专门的 AI 减负指南。例如“AI 基础工作坊用 AI 刷新你的工作流”，从理解以 GPT 为代表的 AI 工作原理开始，了解其优势短板，学习写好提示词以获得高质量内容，并基于一线教师工作场景分享优秀提示词与 AI 工具，帮助解决日常工作中的常见问题，提高工作效率。 建议：您可以根据自身工作的具体需求和特点，有针对性地选择学习方向。如果您只是想快速应用 AI 提高工作效率，可以先从了解常见的 AI 工具和应用场景入手，掌握基本的操作和提示词编写技巧。但如果您希望更深入地理解和优化 AI 在工作中的应用，了解技术原理会有一定帮助。

ComfyUI 工作流主要包括以下内容： FLUX 低显存运行工作流：目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为：先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用，最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成（Flux）的一系列操作，如加载相关模型、处理输入提示词、生成初始噪声和引导等，以及初始图像预览；图像放大和细化（SDXL）的一系列操作，如加载 SDXL 模型、对初始图像进行锐化处理等，还有最终图像预览。 工作流网站： “老牌”workflow 网站 Openart.ai：https://openart.ai/workflows/ 。流量比较高，支持上传、下载、在线生成，免费账户总共有 50 个积分，加入 Discord 可以再加 100 积分，开通最低的每个月 6 美元的套餐后，每个月会有 5000 积分。 ComfyWorkflows 网站：https://comfyworkflows.com/cloud 。支持在线运行工作流，从 workflow 的实际下载量和访问量来看，略少于 openart。 Flowt.ai：https://flowt.ai/community 。 绿幕工作流：包含两个组，即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片，所以要先生成一张素材图，前景是重要的主体素材，背景是纯色（方便识别），选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取（提取码：KxgB），下载拖入 ComfyUI 中自动加载工作流进行学习。

以下是一个关于自动化出视频工作流的详细介绍： 优势： 全自动化处理，解放双手。 40 秒快速出片，效率提升。 成本低廉，每条仅需 0.0x 元。 输出质量稳定专业。 DeepseekR1 保证文案质量。 还能改进，例如可以加入配套 BGM，让视频更有感染力；增加更丰富的画面内容和转场效果；使用免费节点替代付费插件，进一步降低成本；优化模板样式，支持更多展示形式；增加自动化程度，支持批量处理。 工作流程： 1. 可以在扣子商店体验，建议自己搭建。 2. 工作流调试完成后，加入到智能体中，可以选择工作流绑定卡片数据，智能体则通过卡片回复。 3. 选择发布渠道，重点如飞书多维表格，填写上架信息（为了快速审核，选择仅自己可用），确认发布等待审核，审核通过后即可在多维表格中使用。 4. 创建飞书多维表格，添加相关字段，配置选择“自动更新”，输入相关字段后，“文案视频自动化”字段捷径会自动调用工作流，生成视频。 5. 表单分享，实现“填写表单，自动创建文案短视频”的效果。 6. 全自动视频合成使用多视频融合插件，一键导出成品。但需注意节点产生的视频是异步生成，可能无法马上展现，需耐心等待几秒。 如果您还有其他疑问或需要进一步的帮助，请随时联系。

以下是将模型的输出存入到多维表中的步骤： 1. 逐步搭建 AI 智能体： 搭建整理入库工作流。 设置大模型节点提取稍后读元数据，使用 MiniMax 6.5s 245k，设置最大回复长度至 50000，以确保能完整解析长内容网页。 进行日期转时间戳，后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳，需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式，飞书多维表格插件目前（2024 年 08 月）只支持带有转义符的 string，以 Array<Object>格式输入，所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件，只需要设置{{app_token}}与{{records}}参数，将元数据写入飞书表格。 2. 搭建 Coze 工作流： 打开 Coze 的主页，登录后，在【工作空间】创建一个智能体。 在编排页面，给智能体编辑好人设，可先写一个简单的，然后点右上角自动优化，系统会自动补全更精细的描述。点击工作流的+，创建一个工作流。 大模型节点把 input 给到 DeepSeek，让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时，两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时，如果需要 input 可被 DeepSeek 调用，需要用{{input}}作为参数引入，不然大模型不知道自己需要生成和这个 input 相关的结果。编排完，点击【试运行】，调试至满意后点击发布。