ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI。
它们的关系是:ComfyUI 可以和 WebUI 共享环境和模型。
区别主要包括以下方面:
ComfyUI是一个基于节点流程式的stable diffusion AI绘图工具WebUI,你可以把它想象成集成了stable diffusion功能的substance designer,通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。[heading2]优劣势[content]优势:1.对显存要求相对较低,启动速度快,出图速度快;2.具有更高的生成自由度;3.可以和webui共享环境和模型;4.可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候也能清晰的发现错误出在哪一步;5.生成的图片拖进后会还原整个工作流程,模型也会选择好。劣势:1.操作门槛高,需要有清晰的逻辑;2.生态没有webui多(常用的都有),也有一些针对Comfyui开发的有趣插件。[heading2]官方链接[content]从github上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI[heading2]截图示例[heading2]延伸阅读:[content]内容由AI大模型生成,请仔细甄别。
[heading2]智能章节[38:39](https://waytoagi.feishu.cn/minutes/obcn5l7wdcyo59522t87j2z7?t=2319000)关于CLIP和VAE在图像模型中的作用及相关要点本章节介绍了CLIP由open AI提出,能缓解数据集标注贵和模型训练的局限性。CLIP是文本与视觉的桥梁,用于理解图像。还提到VAE是图像编码器,能将图像压缩到浅空间,使用时注意版本不能混用,有的模型已包含VAE。[43:10](https://waytoagi.feishu.cn/minutes/obcn5l7wdcyo59522t87j2z7?t=2590000)VAE编码器、解码器与模型工作流及采样器介绍本章节主要介绍了VAE中的编码器和解码器,编码器将像素空间图像转为浅空间图像,解码器则相反。还提到模型主体unit处理浅空间图片,采样器通过分层采样还原图片,采样器控制采样方式,调度器控制噪声变化水平,按作者推荐设置即可。[48:31](https://waytoagi.feishu.cn/minutes/obcn5l7wdcyo59522t87j2z7?t=2911000)Confio i与Web UI在种子处理和提示词权重处理上的差异本章节主要讲了种子的作用是产生初始随机噪声,无种子无法还原产出图片。CONFIO i通过GPU计算种子噪声,Web UI通过CPU,处理方式不同会致图像不同。还提到对提示词权重的处理也不一样。
comfyui相比webui:comfyui配置更低;系统资源占用更少;出图速度更快;最低可在小于3G的GPU上运行。甚至没有GPU,光用CPU也可以运行,缺点是速度极慢。SDXL出来后提高了运行配置:最低需要8GB显存+32GB运行内存,12GB流畅运行,推荐16GB以上。运行内存最低32GB,越高越好,最低配会经常爆显存。玩SD-webui和comfyui建议使用6GB以上的显存的NVIDIA显卡,也就是N卡,内存在16G以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在SSD(固态硬盘)上,这样速度更快。我之前的电脑2060N系8G显存,16g内存。把webui和模型装在2t固态硬盘上,打开速度极快,出图速度也还可以,4张512x768的图不到一分钟就可出来。如果你的电脑能顺畅清晰地玩3A游戏,那玩webui和comfyui也没问题。配置上不封顶,根据自己的需求和预算来即可。以我为例,新需求:做AIGC视频+建模渲染+炼丹(lora)预算2W。起先用2060生图,后发现做AIGC视频比较费时间,且还有做建模渲染的需求。后来向朋友请教,搞了一套次顶配的组装机,加上一个护眼的4K显示器共2W出头。