Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

在COMFYUI中使用FLUX大模型时,怎么才能让多次生成的人物一致

Answer

在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下:

  • 控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。
  • 对于多张图输出的显示问题,一次产出多张图在预览窗口目前不能并排显示。
  • Lora 的刷新:将 Lora 丢到文件夹后,多点几次刷新即可,Web UI 中 Lora 库有刷新按钮。

另外,在 Midjourney 中,人物一致性已上线,其操作如下:

  • DavidH 介绍:Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image.
  • 具体操作:Type --cref URL after your prompt with a URL to an image of a character. You can use --cw to modify reference 'strength' from 100 to 0. strength 100 (--cw 100) is default and uses the face, hair, and clothes. At strength 0 (--cw 0) it'll just focus on face (good for changing outfits / hair etc).
  • 适用范围:This feature works best when using characters made from Midjourney images. It's not designed for real people / photos (and will likely distort them as regular image prompts do). Cref works similarly to regular image prompts except it 'focuses' on the character traits. The precision of this technique is limited, it won't copy exact dimples / freckles / or tshirt logos. Cref works for both Niji and normal MJ models and also can be combined with --sref Advanced Features. You can use more than one URL to blend the information / characters from multiple images like this --cref URL1 URL2 (this is similar to multiple image or style prompts).
  • 网页端操作:How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories.

在 ComfyUI 中处理模型连接和提示词相关问题,如让两个模型同时起作用的操作:

  • 加入一个新节点,右键点击 - 【新建节点】 - 【实用工具】 - 【Primitive 元节点】。
  • 在文本节点上单击右键,选择【转换文本为输入】,此时文本节点上就多了一个文本的连接点。
  • 将元节点与文本节点相连接,元节点就变成了正向提示词的输入框。同理,可以将负向提示词框也用元节点代替。
  • 再复制出一套正负提示词节点,一套给 base 模型,一套给 refiner 模型。然后,base 模型的那一套输出给第一个采样器节点,refiner 模型的那一套输出给第二个采样器节点。
Content generated by AI large model, please carefully verify (powered by aily)

References

8月13日ComfyUI共学

人物一致性控制:控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。多张图输出的显示问题:一次产出多张图在预览窗口目前不能并排显示。Lora的刷新:将Lora丢到文件夹后,多点几次刷新即可,Web UI中Lora库有刷新按钮。进阶学习途径:提到一些全球交流频道,如Confii生态大会相关频道。关于图像生成与工作流相关问题的讨论Discord使用问题:Discord已荒废很久,对于相关操作存在疑问。图像输出显示问题:探讨了图像输出是否并排显示,可能因误点单张显示导致,叉掉即可恢复并排。图像放大采样问题:放大后模糊需再次编码,放入采样器重新采样。模型训练与应用:训练自己人像可用于生成脸部头像,图像生成后可加载出视频。节点功能及学习方式:节点功能通过实践和需求寻找尝试,而非死记硬背,可参考优秀工作流和节点开发者的成果,如open art网站上的工作流。关于AI绘图提示词及工作流学习的安排

【ComfyUI】使用ComfyUI玩SDXL的正确打开方式

添加噪波:disable。这里关闭,因为是继承上一个采样器,所以不需要再添加噪声。运行后操作:fixed。相当于锁定随机种子的意思。步数:30。迭代的总步数,和之前保持一致。开始降噪步数:20。传递过来之后,是从第20步开始的。结束降噪步数:30。这个数字也可以保持默认,反正就是运行到结束。返回噪波:disable。不用返回了,到这一步已经结束了。但是,现在问题来了。如果我将refiner的模型连上提示词的话,第一个base模型的链接就会断开,怎么样才能让两个模型同时起作用呢?我们来加入一个新节点,右键点击-【新建节点】-【实用工具】-【Primitive元节点】。这个节点很有意思,它连接谁,就会变成谁的属性。在文本节点上单击右键,选择【转换文本为输入】。此时,文本节点上就多了一个文本的连接点。将元节点与文本节点相连接,这时元节点就变成了正向提示词的输入框。同理,可以将负向提示词框也用元节点代替。再复制出一套正负提示词节点,一套给base模型,一套给refiner模型。然后,base模型的那一套输出给第一个采样器节点,refiner模型的那一套输出给第二个采样器节点。

Midjourney 人物一致性已上线

官方说明和操作:DavidH:Hey @everyone @here we're testing a new"Character Reference"feature today This is similar to the"Style Reference"feature,except instead of matching a reference style it tries to make the character match a"Character Reference"image.How it worksType --cref URL after your prompt with a URL to an image of a characterYou can use --cw to modify reference 'strength' from 100 to 0strength 100(--cw 100)is default and uses the face,hair,and clothesAt strength 0(--cw 0)it'll just focus on face(good for changing outfits / hair etc)What it's meant forThis feature works best when using characters made from Midjourney images.It's not designed for real people / photos(and will likely distort them as regular image prompts do)Cref works similarly to regular image prompts except it 'focuses' on the character traitsThe precision of this technique is limited,it won't copy exact dimples / freckles / or tshirt logos.Cref works for both Niji and normal MJ models and also can be combined with --sref Advanced FeaturesYou can use more than one URL to blend the information /characters from multiple images like this --cref URL1 URL2(this is similar to multiple image or style prompts)How does it work on the web alpha?Drag or paste an image into the imagine bar,it now has three icons.selecting these sets whether it is an image prompt,a style reference,or a character reference.Shift+select an option to use an image for multiple categories Remember,while MJ V6 is in alpha this and other features may change suddenly,but V6 official beta is coming soon.We'd love everyone's thoughts in ⁠ideas-and-features We hope you enjoy this early release and hope it helps you play with building stories and worlds

Others are asking
comfyui工作流
ComfyUI 工作流主要包括以下内容: FLUX 低显存运行工作流:目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为:先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用,最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成(Flux)的一系列操作,如加载相关模型、处理输入提示词、生成初始噪声和引导等,以及初始图像预览;图像放大和细化(SDXL)的一系列操作,如加载 SDXL 模型、对初始图像进行锐化处理等,还有最终图像预览。 工作流网站: “老牌”workflow 网站 Openart.ai:https://openart.ai/workflows/ 。流量比较高,支持上传、下载、在线生成,免费账户总共有 50 个积分,加入 Discord 可以再加 100 积分,开通最低的每个月 6 美元的套餐后,每个月会有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud 。支持在线运行工作流,从 workflow 的实际下载量和访问量来看,略少于 openart。 Flowt.ai:https://flowt.ai/community 。 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景是纯色(方便识别),选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取(提取码:KxgB),下载拖入 ComfyUI 中自动加载工作流进行学习。
2025-04-14
ComfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,类似于集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现了更精准的工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。
2025-04-14
comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,将 stable diffusion 流程拆分成节点,实现更精准工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型,找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。默认情况下,训练结果直接保存在 ComfyUI lora 文件夹中,训练后只需刷新并选择 LoRA 就可以测试。
2025-04-13
comfyui漫画工作流
ComfyUI 漫画工作流包含以下内容: 1. 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景为纯色(方便识别),选择绿幕是为了便于抠图。工作流文件链接:https://pan.quark.cn/s/01eae57419ce 提取码:KxgB 2. 动画工作流: 啊朔提供的动画工作流文件,如:
2025-04-13
comfyui动画片工作流怎么构建
构建 ComfyUI 动画片工作流的步骤如下: 1. 打开 Comfyui 界面后,右键点击界面,找到 Comfyui LLM party 的目录。您可以学习手动连接节点来实现最简单的 AI 女友工作流,也可以将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 2. 从 ollama 的 github 仓库找到对应版本并下载。启动 ollama 后,在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 3. 若 ollama 连接不上,很可能是代理服务器的问题,请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 此外,还有以下相关工作流搭建的信息供您参考: 1. 搭建艺术二维码工作流:打开 ComfyUI 导入相应工作流。工作流所用到的节点包括大模型节点(可选择如 AWPainting、primemixanything、xxmix9realistic v40 等,并提供了相应链接)、关键词节点、Lora 节点、ControlNet 节点(选用 qrcode_monster V2 版本,下载链接:https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 )、采样器节点(Step 选择高步数,35 50 即可,采样器默认的 euler a/dpmpp 2m sde )。 2. 搭建 ComfyUI 基础工作流:从零开始搭建时,首先准备加载大模型的节点,在工作区鼠标右键点击,选择 Add Node > 选择 loaders > 选择 Load Checkpoint,并选择对应的模型。然后加载 Conditioning(条件),在工作区鼠标右键点击,选择 Add Node > 选择 Conditioning > 选择 CLIP TEXT Encode,输入正反向提示词。添加采样器时,部分参数设置与 WEB_UI 有所不同,如 seed 值只有固定、随机、每次增加、每次减少这四个选项,采样器和调度器是分开的。
2025-04-13
comfyui如何本地安装
以下是在本地安装 ComfyUI 的详细步骤: 安装方式有两种,分别是安装到本地和安装到云端。本部分主要介绍本地安装方法。 本地安装方法: 1. 命令行安装: 这是普适性最强的方法,安装后二次遇到问题的概率相对较低,但对于不熟悉命令行以及代码的用户来说,可能会有一定的门槛。 ComfyUI 的源码地址在:https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中。您也可以按照 Readme 文档进行操作。 如果会 Git 请在 Terminal 运行以下代码: 如果不会用 Git,推荐使用 Github 的客户端(https://desktop.github.com/)拉代码。 下载并安装好 Github Desktop 后,打开该应用。 然后打开 ComfyUI 的 Github 页面(https://github.com/comfyanonymous/ComfyUI),点击右上角的绿色按钮,并点击菜单里的「Open with GitHub Desktop」,此时浏览器会弹出是否要打开 GitHub Desktop,点击「是」。 GitHub Desktop 会让您选择一个保存位置,按需调整,然后点击确定。看到下方特定界面,意味着完成了代码同步。 2. 安装包安装: 这种方法安装比较简单,下载就能用。 ComfyUI 的官方安装包:目前仅支持 Windows 系统,且显卡必须是 Nivida。下载地址是:https://github.com/comfyanonymous/ComfyUI/releases ,只需下载最新的版本,解压就能使用。 安装完成后: 1. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 2. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 3. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 希望以上内容对您有所帮助。
2025-04-10
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法: 1. 模型的下载: 如果因为环境问题,可以在网盘中下载。 siglipso400mpatch14384(视觉模型):siglip 由 Google 开发的视觉特征提取模型,负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip,在地址栏输入 CMD 回车,打开命令行,输入下面的命令拉取模型(也可以在网盘里下载)。 image_adapter.pt(适配器):连接视觉模型和语言模型,优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征,使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载,放到 models 的 Joy_caption 文件夹里,如果该文件夹不存在,就新建一个。 MetaLlama3.18Bbnb4bit(语言模型):大型语言模型,负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM,地址栏输入 CMD 回车,在命令行里面输入下面命令。 2. 下载地址: ae.safetensors 和 flux1dev.safetensors 下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接,方便部分同学下载: flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载: 最后我们再下载 dev 的工作流: 。或者下面官方原版的图片链接,图片导入 comfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
我现在是学了一段时间的comfyui+flux,接下来准备学Python开发comfyui节点、对接模型,这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型,这个方向是可行的。以下是一些相关的知识和要点供您参考: 工作流方面: 工作流节点可直接拖动单个节点到任意位置,也可按住 Control 键并用鼠标左键滑框选中多个节点,再按 Shift 键一起拖动。 选中节点后右键新建组,可修改组名、颜色等,组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式,如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组,也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面: 噪声强度由种子调节,种子固定噪声分布方式,噪声与 CLIP 无关,增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异:1.5 以 tag 为主,XL 论文称以自然语言为主,但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图,可能有修复方案,需自行查询。图像生成结果为空,可能是 VAE 编码器与大模型未连接,调整连接后问题解决。 安装方面: 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括:(Comfyui evn python.exe)python m pip install rrequirements.txt 或点击 install_req.bat,注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹,如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题,使用新版的节点需要禁用或者删除之前的 PuLID 节点,不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面,注意用新版的。 如果使用 PuLID,还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中,flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用,需要将相关模型放在对应的目录下。具体来说,t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下,clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下,ae.safetensors 放在 ComfyUI/models/vae/ 目录下,flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
生成提示词的提示词
以下是关于生成提示词的相关内容: 生成提示词的思路和方法: 可以根据效果好的图片中的高频提示词去反推效果,结合不同字体效果的描述,打包到一组提示词中。提示词给到 AI 后,AI 会根据给定文字的文义,判断适合的情绪风格,然后给出适合情绪的字体和风格描述、情感氛围等,加上一些质量/品质词,形成输出提示词结构。为了让 AI 更能描述清晰风格,可以先给定多种参照举例。 具体操作步骤: 打开 AI 工具的对话框,将相关提示词完整复制粘贴到对话框。推荐使用 ChatGPT 4o。 当 AI 回复后,发送您想要设计的文字。可以仅发送想要的文字,也可以发送图片(适合有多模态的 AI)让 AI 识别和反推。 将 AI 回复的提示词部分的内容复制到即梦 AI。 对生成提示词的一些观点: 提示词生成提示词并非必要,不一定能生成最好的 Prompt 框架,修改过程可能耗时且不一定能修改好,不如花钱找人写。 一句话生成完整符合需求的 Prompt 非常困难,只能大概给出框架和构思,需要更低成本地调整需求和修改 Prompt。 不同生图工具生成提示词的特点: 即使是简短的描述,生成的提示词也非常细节、专业。 会解析需求,找出核心要点和潜在的诠释点,并给出不同的提示词方案。 提示词构建更多在于增强,而不是发散,生成的内容更符合期望。 同时生成中、英双版本,国内外工具通用无压力。 14 款 AI 生图工具实测对比: 本次实测用到的工具包括国内版的即梦 3.0(https://jimeng.jianying.com/aitool/home)、WHEE(https://www.whee.com)、豆包(https://www.doubao.com/chat)、可灵(https://app.klingai.com/cn/texttoimage/new)、通义万相(https://tongyi.aliyun.com/wanxiang/creation)、星流(https://www.xingliu.art)、LibiblibAI(https://www.liblib.art),以及国外版的相关工具。
2025-04-20
有没有能根据描述,生成对应的word模板的ai
目前有一些可以根据描述生成特定内容的 AI 应用和方法。例如: 在法律领域,您可以提供【案情描述】,按照给定的法律意见书模板生成法律意见书。例如针对商业贿赂等刑事案件,模拟不同辩护策略下的量刑结果,对比并推荐最佳辩护策略,或者为商业合同纠纷案件设计诉讼策略等。 在 AI 视频生成方面,有结构化的提示词模板,包括镜头语言(景别、运动、节奏等)、主体强化(动态描述、反常组合等)、细节层次(近景、中景、远景等)、背景氛围(超现实天气、空间异常等),以及增强电影感的技巧(加入时间变化、强调物理规则、设计视觉焦点转移等)。 一泽 Eze 提出的样例驱动的渐进式引导法,可利用 AI 高效设计提示词生成预期内容。先评估样例,与 AI 对话让其理解需求,提炼初始模板,通过多轮反馈直至达到预期,再用例测试看 AI 是否真正理解。 但需要注意的是,不同的场景和需求可能需要对提示词和模板进行针对性的调整和优化,以获得更符合期望的 word 模板。
2025-04-18
如何自动生成文案
以下是几种自动生成文案的方法: 1. 基于其它博主开源的视频生成工作流进行优化: 功能:通过表单输入主题观点,提交后自动创建文案短视频,创建完成后推送视频链接到飞书消息。 涉及工具:Coze 平台(工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成)、飞书(消息)、飞书多维表格(字段捷径、自动化流程)。 大体路径:通过 coze 创建智能体,创建工作流,使用 DeepSeek R1 根据用户观点创建文案,再创建视频;发布 coze 智能体到飞书多维表格;在多维表格中使用字段捷径,引用该智能体;在多维表格中创建自动化流程,推送消息给指定飞书用户。 2. 生成有趣的《图文短句》: 实现原理: 先看工作流:包括第一个大模型生成标题、通过“代码节点”从多个标题中获取其中一个(可略过)、通过选出的标题生成简介、通过简介生成和标题生成文案、将文案进行归纳总结、将归纳总结后的文案描述传递给图像流。 再看图像流:包括提示词优化、典型的文生图。 最终的 Bot 制作以及预览和调试。 3. 腾讯运营使用 ChatGPT 生成文案: 步骤:通过 ChatGPT 生成文案,将这些文案复制到支持 AI 文字转视频的工具内,从而实现短视频的自动生成。市面上一些手机剪辑软件也支持文字转视频,系统匹配的素材不符合要求时可以手动替换。例如腾讯智影的数字人播报功能、手机版剪映的图文成片功能。这类 AI 视频制作工具让普罗大众生产视频变得更轻松上手。
2025-04-15
如何通过输入一些观点,生成精彩的口播文案
以下是通过输入观点生成精彩口播文案的方法: 1. 基于其它博主开源的视频生成工作流进行功能优化,实现视频全自动创建。 效果展示:可查看。 功能:通过表单输入主题观点,提交后自动创建文案短视频,并将创建完成的视频链接推送至飞书消息。 涉及工具:Coze平台(工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成)、飞书(消息)、飞书多维表格(字段捷径、自动化流程)。 大体路径: 通过 coze 创建智能体,创建工作流,使用 DeepSeek R1 根据用户观点创建文案,再创建视频。 发布 coze 智能体到飞书多维表格。 在多维表格中使用字段捷径,引用该智能体。 在多维表格中创建自动化流程,推送消息给指定飞书用户。 2. 智能体发布到飞书多维表格: 工作流调试完成后,加入到智能体中,可以选择工作流绑定卡片数据,智能体则通过卡片回复。 选择发布渠道,重点是飞书多维表格,填写上架信息(为快速审核,选择仅自己可用),等待审核通过后即可在多维表格中使用。 3. 多维表格的字段捷径使用: 创建飞书多维表格,添加相关字段,配置后使用字段捷径功能,使用自己创建的 Coze 智能体。 表单分享,实现填写表单自动创建文案短视频的效果。 4. 自动化推送:点击多维表格右上角的“自动化”,创建所需的自动化流程。 另外,伊登的最新 Deepseek+coze 实现新闻播报自动化工作流如下: 第一步是内容获取,只需输入新闻链接,系统自动提取核心内容。开始节点入参包括新闻链接和视频合成插件 api_key,添加网页图片链接提取插件,获取网页里的图片,以 1ai.net 的资讯为例,添加图片链接提取节点,提取新闻主图,调整图片格式,利用链接读取节点提取文字内容,使用大模型节点重写新闻成为口播稿子,可使用 Deepseek R1 模型生成有吸引力的口播内容,若想加上自己的特征,可在提示词里添加个性化台词。
2025-04-15
小红书图文批量生成
以下是关于小红书图文批量生成的详细内容: 流量密码!小红书万赞英语视频用扣子一键批量生产,这是一个保姆级教程,小白都能看得懂。 原理分析: 决定搞之后,思考生成这种视频的底层逻辑,进行逆推。这种视频由多张带文字图片和音频合成,带文字图片由文字和图片生成,文字和图片都可由 AI 生成,音频由文字生成,文字来源于图片,也就是说,关键是把图片和文字搞出来。 逻辑理清后,先找好看的模版,未找到好看的视频模版,最后看到一个卡片模版,先把图片搞出来,才有资格继续思考如何把图片变成视频,搞不出来的话,大不了不发视频,先发图片,反正图片在小红书也很火。 拆模版: 要抄这种图片,搞过扣子的第一反应可能是用画板节点 1:1 去撸一个,但扣子的画板节点很难用,Pass 掉。用 PS 不行,太死板不灵活,html 网页代码可以,非常灵活。经过 2 个多小时和 AI 的 battle,用 html 代码把图片搞出来了。这里不讲代码怎么写,直接抄就行。要抄,首先要学会拆,不管用什么方式批量生成这样的图片,都必须搞清楚里面有哪些是可以变化的参数,也就是【变量】,如主题、主题英文、阶段、单词数、图片、正文、翻译、普通单词、重点单词等。 想方法: 大概知道批量生成这样的图片需要搞清楚哪些参数,图片用 html 代码搞出来了。但问题是视频怎么搞,这种视频由多张不同的【带文字的图片】生成,比如读到哪句,哪句就高亮起来,图片也可以随着读到的句子变更。最后,视频就是用这样的图片一张张拼起来的。
2025-04-14
ai如何什么生成表格
AI 生成表格通常可以通过以下技术实现: 1. 利用变分自编码器(VAEs)和序列到序列模型(Seq2Seq)等技术生成表格文件、表格公式,并清理、创建、转换和分析表格中的文本数据,例如表格结构设计、数据分析表、表格自动化等。 2. 借助一些办公软件中的 AI 插件,如飞书中的相关插件,先通过 AI 理解图片中的内容并填充到表格列中,然后利用自带插件总结生成相关指令。 此外,在多模态数据生成中,结构化数据生成包括表格生成,多模态合成数据从大类来看有非结构化数据(图片、视频、语音等)和结构化数据(表格等)两大类。非结构化数据生成包括文本生成、图像生成、音频和语音生成、视频生成、3D 生成、合成数据生成等。
2025-04-14