comfy UI 如何保持人物一致性

PuLID是一种新的技术，用于在文本生成图像时自定义图像中的人物或物体的身份（ID），不需要进行复杂的调整。它结合了两个不同的模型分支（Lightning T2I分支和标准扩散模型），引入了两种损失（对比对齐损失和精确ID损失），以确保在保持原始模型效果的同时，高精度地自定义ID。简单来说，PuLID可以让你在生成图像时更精确地定制人物或物体的身份，将特定ID(例如人脸)嵌入到预训练的文本到图像模型中,而不会破坏模型的原始能力。这允许生成特定人物的图像,同时仍然能够使用文本提示修改属性、样式、背景等1.模型分支：Lightning T2I分支：这是一个快速、高效的文本到图像生成模型。标准扩散模型：这是一个常见的、生成高质量图像的模型。PuLID把这两个模型结合起来，利用它们各自的优势。1.两种损失：对比对齐损失：这个损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。精确ID损失：这个损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标ID一致。通过结合这两个模型分支和引入这两种损失，PuLID可以在生成图像时更准确地自定义身份，并且生成的图像在插入ID前后保持一致性。项目地址https://github.com/ToTheBeginning/PuLIDinstant ID脸部特征抓取得比pulid好，放在最后一步重绘,先pulid，再instantIDhttps://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy工作流与模型地址https://pan.quark.cn/s/2a4cd9bb3a6b说明文档https://xiaobot.net/post/6544b1e8-1d90-4373-94cf-0249d14c73c8

[heading2]总结关于Lora串联和图像放大模型的讨论Lora串联：多个Lora串联时左右顺序不影响结果，可复制并点对点连接。CLIP层调整：CLIP层-1和-2的效果不同，加Lora时某些Lora可能更适合-2。Lora作用：Lora可用于生成底模无法画出的内容，是一种经济实用的模型微调方式。打断渲染跑图：在运行中点击取消可打断正在渲染跑的图。图像放大模型：通过up scale image using model节点放大图像，可选择放大模型，用resize节点调整尺寸，再用编码器和采样器处理。采样原因：放大模型直接放大的图像效果不佳，需再次采样增加细节。关于飞桨使用中节点添加及相关问题的讨论添加飞桨缺失节点的方法：可以将工作流拖入查看标红节点，通过管理器安装缺失节点，也可从GitHub获取节点包放入文件管理系统。图像放大方式的效果差异：通过专门训练的放大模型放大图像效果更好，直接像素放大效果不佳。采样器和调度器参数设置：建议参考模型作者推荐的参数，并结合自己的调试来寻找最佳参数，推荐了o2a、DMP佳佳2M采样器和normal、cars调度器。Web UI模型管理的备注问题：目前未找到较好的给模型加备注的节点，靠改模型文件夹名字备注。人物一致性控制：控制人物在多场景、多个姿势下的一致性有很多方法，课程后期会介绍。多张图输出的显示问题：一次产出多张图在预览窗口目前不能并排显示。Lora的刷新：将Lora丢到文件夹后，多点几次刷新即可，Web UI中Lora库有刷新按钮。进阶学习途径：提到一些全球交流频道，如Confii生态大会相关频道。

节点插件PuLID ComfyUI https://github.com/cubiq/PuLID_ComfyUImodel:使用预训练的基础文本到图像扩散模型，如Stable Diffusion。pulid:加载的PuLID模型权重，定义ID信息如何插入基础模型。eva_clip:用于从ID参考图像中编码面部特征的Eva-CLIP模型。face_analysis:使用InsightFace模型识别和裁剪ID参考图像中的面部。image:提供的参考图像用于插入特定ID。method:选择ID插入方法，如"fidelity"（优先保真度）、"style"（保留生成风格）和"neutral"（平衡两者）。weight:控制ID插入强度，范围为0到5。start_at和end_at:控制在去噪步骤的哪个阶段开始和停止应用PuLID ID插入。attn_mask:此选项用于提供灰度掩码图像，以控制ID自定义的应用位置，但并不是必需输入，而是可选输入。Advanced Node:提供了高级节点，可以通过调整fidelity滑块和projection选项进行更精细的生成调优。比如，ortho_v2和fidelity:8等价于标准节点的fidelity方法，而projection ortho和fidelity:16等价于style方法。