以下是关于文生图 lora 微调的详细内容：
定主题：明确您需要生成的图片的主题、风格和要表达的信息。
选择基础模型 Checkpoint：根据主题选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。
选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上优秀帖子中使用的 lora。
ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。
局部重绘：下篇再教。
设置 VAE：无脑选择 840000 即可。
Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语间用英文半角逗号隔开。
负向提示词 Negative Prompt：同样用英文写要避免的内容，单词和短语组合，用英文半角逗号隔开。
采样算法：一般选 DPM++ 2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。
采样次数：选 DPM++ 2M Karras 时，采样次数通常在 30 40 之间。
尺寸：根据个人喜好和需求选择。
以下是一个简笔水彩风格插画的示例：
使用大模型“Flat 2D Animerge”，适合生成卡通动漫图片，官方建议 CFG 值在 5 或 6（使用动态阈值修复可拉到 11）。搭配两个 lora，“Chinese painting style”可增加中国画水彩风格效果，权重设为 0.4；“Crayon drawing”可添加简单线条和小孩子笔触，权重设为 0.8。将图片丢到标签器中反推关键词，发送到“文生图”。在正向提示词末尾添加这两个 lora，尺寸按参考图设置，重绘幅度开 0.5 让 AI 更自由发挥，若想更接近原图可降低数值。将图放入 ControlNet 中，选择 tile 模型，权重为 0.5，控制模式选择“更注重提示词”。
2024-10-05