Flux 的 Lora 包括 mjv6_lora、动漫 Lora、写实 Lora、迪士尼 Lora、风景_lora、艺术 Lora 等。Xlabs 已发布基于 Flux 的 Controlnet 模型和 Lora 模型的训练脚本,还发布了多个 Lora,例如火遍推特的图片所使用的写实 Lora。具体可参考以下链接:
链接:https://x.com/javilop/status/1821814987737735344前段时间由于SD3的问题,开源的图片生态发展一度停滞,值得关注的新项目和模型几乎没有。FLUX上周发布后这个态势被快速改变了,由于其优秀的图片质量,高昂的训练成本并没有阻止开源社区。而且由于在其偏向真实的美学调教风格,也使生成的发布会写实图片在推上的热度爆发使得FLUX模型快速出圈。再加上Runway把那张AI生成的照片变成视频让更多人对现在图像和视频模型的发展进度有了更多的了解。目前Xlabs已经发布了基于FLUX的Controlnet模型和Lora模型的训练脚本。https://github.com/XLabs-AI/x-flux他们还顺便发布了一个FLUX的Canny Controlnet模型,另外这里还有Instant ID作者的新组织InstantX训练的一个Canny模型也可以试试。https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny-alphaXlabs也跟Lora训练脚本一起发布了他们的多个Lora,其中这个火遍推特的图片就是用那个写实Lora做的。https://huggingface.co/XLabs-AI/flux-RealismLora具体的Lora包括mjv6_lora、动漫Lora、写实Lora、迪士尼Lora、风景_lora、艺术Lora。Xlabs Lora下载:https://huggingface.co/XLabs-Al/flux-RealismLora
1.首页-模型广场:发布了其他大手子炼成的模型。如你所见,收藏和运行数(被其他用户来生图的次数)较多的模型都在首页前排,点击后可以看模型的详细信息,将模型加入模型库可用于今后生图时的快速调用。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.Checkpoint:生图必需的基础模型,任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。这个也是可以加入模型库的。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.CLIP跳过层:可以用于在生成图片之后控制、调整构图变化,一般设成2就行了,早期不用花太多精力在这里。
1.首页-模型\帖子\排行榜:发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签,有些模型的标签后面还有第二个XL的标签,这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.基础模型:生图必需的,英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。