comy UI FLUX 低显存

ComfyUI FLUX 低显存运行的相关内容如下：

• 工作流：
  • 目的是让 FLUX 模型能在较低的显存情况下运行。
  • 分阶段处理思路：
    • 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。
    • 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。
    • 使用 SD 放大提升图片质量。
  • 工作流的流程：
    • 初始图像生成（Flux）：
      • UNETLoader：加载 flux1-dev.sft 模型。
      • DualCLIPLoader：加载 t5xxl 和 clip_l 模型。
      • VAELoader：加载 flux-ae.sft。
      • CLIPTextEncode：处理输入提示词。
      • BasicGuider 和 RandomNoise：生成初始噪声和引导。
      • SamplerCustomAdvanced：使用 Flux 模型生成初始图像。
      • VAEDecode：解码生成的潜在图像。
      • 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。
    • 图像放大和细化（SDXL）：
      • CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。
      • UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。
      • VAELoader：加载 sdxl_vae.safetensors。
      • ImageSharpen：对初始图像进行锐化处理。
      • UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。
      • 最终图像预览：PreviewImage 显示最终放大和细化后的图像。
• FLUX 模型的选择：
  • 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。
  • 记得把 weight dtype 也设置为 fp8，降低对显存的使用。
• 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。

ComfyUI 简介：

• 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。
• 优势：
  • 对显存要求相对较低，启动速度快，出图速度快。
  • 具有更高的生成自由度。
  • 可以和 webui 共享环境和模型。
  • 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。
  • 生成的图片拖进后会还原整个工作流程，模型也会选择好。
• 劣势：
  • 操作门槛高，需要有清晰的逻辑。
  • 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。
• 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI