Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI图片制作视频如何保持人脸一致性的工具

Answer

以下是一些关于在 AI 图片制作视频中保持人脸一致性的工具和方法:

  1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。
  2. PixVerse:其“角色(Character)”新功能能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的真实人脸图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在 AI 生成视频中轻松切换场景,同时保持同一角色身份。
  3. Midjourney:在有了 Midjourney 的新功能 Cref 以后,可在一定程度上保持人物一致性。先跑一张主角的定妆照,然后在需要出现主角人物的地方,扔进去 Cref 以保持发型、人脸、衣服。但 Midjourney 对亚洲人脸的一致性效果,尤其是亚洲老人的一致性效果较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以能不用则不用。

需要注意的是,目前对于场景一致性,基本上还没有任何有效的解决办法。

Content generated by AI large model, please carefully verify (powered by aily)

References

娜乌斯嘉AIGC商业片制作 2024年11月1日 - 智能纪要

[heading2]总结关于电影制作中AI应用的交流电影镜头辅助工作:娜娜酱辅助电影出镜头,部分签了保密协议,如穿梭、泰坦尼克号类似的镜头,且不知影片是网大还是院线。AI工具与技术应用:使用AI跑动画,用Topaz放大720P至4K,输出60帧以避免大屏幕播放卡顿。传统影视面临冲击:传统影视因影视寒冬和AIGC冲击而缩水,广告导演费被砍,相关人员意识到危机并寻求加入。课程回顾与准备:回顾上次课程,准备开始新的课程,提到最初制作影片需要规划好文案脚本,并推荐了相关工具。AI工具在视频创作中的应用辅助写提示词工具:如Luna、季梦、可玲等可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。出图工具及使用:U传是可用的出图工具,新注册有免费生成额度,季梦每天给60积分,可玲也给积分,可用于日常使用,创作片子可能需买会员。保持人物一致性:在U传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。视频生成设置:季梦若为1.2版本,选慢速或适中的标准模式,效果更好;可玲用1.5,选择高品质生成。下载视频及插件:可下载生成的视频,季梦无水印,可灵有无水印选项;推荐Chrome浏览器的auto journey和猫抓等插件。

PixVerse 新功能Character 确保角色一致

本文档可编辑欢迎大家测试后在文档中贴上自己的视频~“角色(Character)”新功能,能实现AI生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在AI生成视频中轻松切换场景,同时保持同一角色身份。该功能目前只支持真实人脸,暂不支持动物或其他风格照片。网址https://app.pixverse.ai/目前可以免费使用上传照片,就可以得到这个人物一致性的视频[heading3][heading3]操作说明[heading3]在主页面点击选择“Character”。[heading3]点击“Create Character”。[heading3]在此界面通过点击或拖动的方式上传图片,命名您创建的Character,最后点击“Create Cha[content]提示:最好使用包含真实人脸的单人图片效果最佳,脸部大小需要超过200×200px,面部无遮挡[heading3]Character添加完毕后,等待20秒左右,在看到“Success”提示后,点击“Create”进[content]若未等到“Success”提示便进入创作界面,会找不到创建的Character,此时需等待10~30秒,待Character创建完成即可。[heading3]点击“Character”。

卡兹克:我们花了10天时间,给CCTV6做了一部AI短片 - 5000字全流程复盘拆解

在图片生成上,我们依然用的是Midjourney,原因依然单纯的很简单:我要的电影感和审美,只有Midjourney可以做出来。很多人问,画面的电影感到底怎么做出来,为什么我的图总是一股子AI感。其实挺简单的,画面的电影感无非就是几个点:画幅,审美、色调、构图、光影、景深等等。我最喜欢用的画幅比例就是,21:9。画幅的比例是会影响生图的构图和光影的,21:9,是出电影感最好的比例。同时在Prompt里,也可以加电影的专用摄影机,比如RED Helium 8K等等。而我们的整体Prompt风格后缀:________.Shot on Sony Venice 2,muted color tones,green and dark gray,award-winning composition,cinematic scene--ar 21:9而在人物一致性上,在有了Midjourney的新功能Cref以后,其实就非常简单了。我们直接先跑了一张主角的定妆照。然后在需要出现主角人物的地方,扔进去Cref。保持发型、人脸、衣服。坦率的讲,Midjourney对亚洲人脸的Cref一致性,要比对欧美的人脸的一致性效果差太多太多了,年轻人还好点,亚洲老人简直惨不忍睹。而且Cref的效果,在画面的审美和构图上,其实是有一定的破坏性的,所以在原则上,是能不用Cref就不用Cref,比如只有背影的时候,写个短发男人黑卫衣就完事了。这是人物一致性,而场景一致性,目前基本上还没有任何解决办法,纯粹随缘。roll的大差不差也就那样了。

Others are asking
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中,AI 面临着巨大挑战,如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法,利用价值网络评估棋面优劣,策略网络选择最佳落子,且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练,达到蒙特卡洛树搜索水平,并将其与蒙特卡洛树搜索有机结合,取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步,也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外,神经网络在处理未知规则方面具有优势,虽然传统方法在处理象棋问题上可行,但对于围棋则困难重重,而神经网络专门应对此类未知规则情况。关于这部分内容,推荐阅读《这就是 ChatGPT》一书,其作者备受推崇,美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
人脸识别软件
以下是为您整合的关于人脸识别软件的相关信息: 在“【已结束】AI 创客松 参与同学自我介绍和分类”中,Dylan 擅长人脸识别算法和动作捕捉产品。 在“SmartBotX 模块化桌面机器人——说明文档”中,桌面客户端提供面部识别或跟踪功能的展示,可能用于安全监控、用户识别或交互式体验。 在“14、LayerStyle 副本”中,使用 YoloV8 模型可以检测人脸、手部 box 区域或者人物分割,支持输出所选择数量的通道。同时,Mediapipe 模型可以检测人脸五官,分割左右眉、眼睛、嘴唇和牙齿。
2025-04-12
本地人脸识别工具
以下为一些本地人脸识别工具的相关信息: PersonMaskUltra:为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。具有超高的边缘细节,模型代码来自。节点选项包括:face(脸部识别)、hair(头发识别)、body(身体皮肤识别)、clothes(衣服识别)、accessories(配饰识别)、background(背景识别)、confidence(识别阈值)、detail_range(边缘细节范围)、black_point(边缘黑色采样阈值)、white_point(边缘黑色采样阈值)、process_detail(设为 False 将跳过边缘处理以节省运行时间)。还有 V2 升级版 PersonMaskUltraV2,增加了 VITMatte 边缘处理方法,在 PersonMaskUltra 的基础上改变了 detail_method(边缘处理方法)、detail_erode(遮罩边缘向内侵蚀范围)、detail_dilate(遮罩边缘向外扩张范围)。 YoloV8Detect:使用 YoloV8 模型检测人脸、手部 box 区域,或者人物分割。支持输出所选择数量的通道。需在下载模型文件并放到 ComfyUI/models/yolo 文件夹。节点选项包括:yolo_model(yolo 模型选择)、mask_merge(选择合并的遮罩)。输出包括 mask(输出的遮罩)、yolo_plot_image(yolo 识别结果预览图)、yolo_masks(yolo 识别出来的所有遮罩)。 MediapipeFacialSegment:使用 Mediapipe 模型检测人脸五官,分割左右眉、眼睛、嘴唇和牙齿。节点选项包括:left_eye(左眼识别开关)、left_eyebrow(左眉识别开关)、right_eye(右眼识别开关)、right_eyebrow(右眉识别开关)、lips(嘴唇识别开关)、tooth(牙齿识别开关)。 此外,关于 AI 换脸,有开源免费的解决方案 facefusion: 本机解决方案:需要 python 环境及安装多个依赖软件,对编程知识有一定要求,且运行推理计算速度依赖 GPU,本地计算机若无 GPU 或 GPU 显存较小,执行速度缓慢,不推荐本地化安装。 云服务解决方案:可利用云厂商如阿里云的 PAI 和 AutoDL 已提供的大模型运行环境和计算能力,需产生一定费用。以 AutoDL 为例,注册后在算力市场中选择可接受价格的算力服务器,建议选取 GPU 配置更高的算力设备。通过在算法社区查找 facefusion 镜像,选择合适的镜像启动 GPU 服务器。
2025-04-12
人脸识别
以下是关于人脸识别的相关信息: SmartBotX 模块化桌面机器人的桌面客户端提供面部识别或跟踪功能的展示,可能用于安全监控、用户识别或交互式体验。 设计:AIGC 世代的设计新范式 ver 东华.pdf 中提到了人脸识别相关技术,如 MTCNN、Centerface、LUVLi Face Alignment 等人脸检测和人脸对齐技术,以及 InsightFace 等人脸识别技术。 LayerStyle 副本中的 PersonMaskUltra 节点具有脸部、头发、身体皮肤、衣服、配饰和背景等的识别功能,还包括识别阈值、边缘细节范围、黑色和白色采样阈值等节点选项。PersonMaskUltraV2 是其升级版,增加了 VITMatte 边缘处理方法,并对边缘处理做了相关改变。
2025-04-12
我需要找到一个方法来把我爷爷迷迷糊糊的老照片上的样子生成样貌特征完全一致的数字人脸,如何可以实现?
以下是一种可能实现将您爷爷老照片生成数字人脸的方法: 1. 利用剪映软件: 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费且适合的数字人形象,比如“婉婉青春”。 软件会播放数字人的声音,您可判断是否需要,点击右下角“添加数字人”,将其添加到当前视频中。剪映会根据提供的内容生成对应音视频并添加到轨道中。 左下角会提示渲染完成时间,之后可点击预览按钮查看效果。 为让视频更美观,可增加背景图片。删除先前导入的文本内容,点击左上角“媒体”菜单并“导入”本地图片,将其添加到视频轨道上(会覆盖数字人)。 拖动背景图的角将其放大到适合尺寸,将数字人拖动到合适位置。 点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。 完成后点击右上角“导出”按钮导出视频备用。 2. 若希望数字人脸换成特定的面孔,可能需要使用其他工具进行换脸。 3. 对于老照片的处理,还可以启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够的情况下放大图片。 对于复杂的老照片,可先在 ps 里进行角度调整和照片裁切,然后上色。若直接上色效果不佳,可放弃人物服装颜色指定,只给场景方向,让 AI 自行决定。 可加入第二个 controlnet 来控制颜色,使用 t2ia_color 模型,给出简单的关键词,如“蓝天、绿树、灰石砖”。最后经过脸部修复和放大得到最终效果。
2025-03-06
两张照片还原人脸,用什么AI工具
以下是一些可用于两张照片还原人脸的 AI 工具和方法: 1. Stable Diffusion: 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够时放大图片。 利用 GFPGAN 算法将人脸变清晰,可参考文章。 将图片发送到图生图中,打开 stableSR 脚本放大两倍,切换到 sd2.1 模型进行修复,vae 选择 vqgan,提示词可不写。 2. Midjourney(MJ):加上简单的相机参数、写实风格,使用 MJ v 6.0 绘图,可调整图片比例。 3. InsightFaceSwap: 输入“/saveid”,idname 可随意填写,上传原图。 换脸操作输入“/swapid”,id 填写之前设置的名称,上传分割好的图。 选择效果较好的图片,注意插件每日免费使用次数。 此外,还会用到 PS 进行图片的角度调整、裁切、裁剪、拼接等操作。
2025-02-21
怎么替换视频或图片中的人脸
以下是替换视频或图片中人脸的几种方法: 方法一:使用 SD 中的 Roop 插件 1. 安装 Roop 插件,安装时间较长需耐心等待。安装好后打开 SD 文件目录下的特定文件夹,在地址栏输入“cmd”并回车。 2. 在打开的 dos 界面中粘贴“python m pip install insightface==0.7.3 user”代码自动安装 insightface。若此阶段出错,建议下载最新的秋叶 4.2 整合包(6 月 23 号更新),在云盘后台回复【SD】可下载。 3. 安装完成后重新打开启动器,后台会继续下载模型,全程需科学上网。 4. 选用真实系模型“realisticVisionV20”,得到照片。 5. 启用 ROOP 插件,选择要替换的人物照片,面部修复选择“GFPGAN”,根据需求设置右边的参数。 6. 点击生成,若人脸像素偏低模糊,可将图发送到“图生图”,开较小重绘幅度,使用 controlnet 中的 tile 模型进行重绘。 方法:使用 TecCreative 工具 1. 对于图片换脸,仅需上传原始图片和换脸图片,然后点击开始生成。注意图片大小上限 5M,支持 JPG、PNG 格式。 2. 对于视频换脸,上传原始视频和换脸图片后点击生成。 方法:使用快捷工具中的 facefusion 1. 点击快捷工具中顶部的“JupyterLab”打开工具,通过终端启动 facefusion。 2. 点击顶部的“+”号选项卡,新打开一个终端窗口。 3. 在终端区域启动终端选项卡,输入 3 条命令: 输入“ls”并按回车查看文件列表。 输入“cd facefusion”并按回车进入程序目录。 输入“python./run.py executionproviders cuda cpu”启动程序。 4. 当出现提示信息说明启动成功。 5. 打开 facefusion 软件,返回实例列表,点击自定义服务按钮,通过新的浏览器窗口访问 facefusion 的 UI 界面。 6. 在软件界面上传准备好的图片、视频,在右侧查看预览效果,点击开始按钮执行换脸处理。处理完成后在输出位置下载处理后的视频。 特别提醒,此类插件需谨慎使用,切勿触犯法律。如果想要 Roop 插件,可以添加公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,另外,科学上网很重要。
2025-02-01
人物一致性
Midjourney 的角色一致性功能: 功能介绍:类似于“风格参考”功能,尝试使人物与“人物参考”图像相匹配。 使用方法:在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面,否则会报错。可以使用`cw`来修改参考“强度”,从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 实际效果:例如以甜茶或小公主的图片为案例,不同的强度参数下,发型、衣服等会有相应变化。 相关优势:能节省工期,提升生产管线的可控性。 其他应用:利用 MJ 重绘功能,在重绘提示词里输入`cref cw`保证角色一致性。对于生成图中的黑边,可框住黑边部分重绘输入关键词“background”去除,保证背景一致。 体验网址:MJ 的网页版体验较好,网址为 https://alpha.midjourney.com/
2025-03-29
星流ai人物一致性
以下是关于星流 AI 人物一致性的相关内容: 在实现角色一致性方面,有以下几种方法和示例: 1. 可以通过特定的 prompt 格式来实现,公式为:发型+年龄性别+衣物颜色+环境+其他(动作、镜头等)。例如: 特写一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,面部被烛光照亮,表情惊讶,环境昏暗明暗对比强烈。 特写一个棕色卷发,身穿棕褐色上衣的小男孩,侧对镜头,微微仰头走在一片暗绿色的森林中,面部被手中提着的油灯照亮,环境昏暗明暗对比强烈。 一个棕色卷发,身穿棕褐色上衣的小男孩侧对镜头,看着面前桌上的蜡烛,环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,在一个梦幻感的暖色调房间里,全身贯注地拼装面前的积木玩具。 2. Midjourney 推出了角色一致性功能,同步支持 MJ V6 和 Niji V6。跟之前的风格一致性sref 命名基本一致,为cref。cref 背后参数cw 的值可以从 0 设到 100,cw 100 会参考原图的脸部、头发和衣服,但相应的会非常不吃 Prompt;cw 0 时,就只会参考脸部,大概约等于一个换脸。 3. PixVerse 有“角色(Character)”新功能,能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在 AI 生成视频中轻松切换场景,同时保持同一角色身份。该功能目前只支持真实人脸,暂不支持动物或其他风格照片。操作说明:在主页面点击选择“Character”,点击“Create Character”,在此界面通过点击或拖动的方式上传图片,命名您创建的 Character,最后点击“Create Cha”。提示:最好使用包含真实人脸的单人图片效果最佳,脸部大小需要超过 200×200px,面部无遮挡。Character 添加完毕后,等待 20 秒左右,在看到“Success”提示后,点击“Create”进。若未等到“Success”提示便进入创作界面,会找不到创建的 Character,此时需等待 10 30 秒,待 Character 创建完成即可。 相关网址: 1. 2. 3. Midjourney 网页版:https://alpha.midjourney.com/ 4. PixVerse:https://app.pixverse.ai/ (目前可以免费使用)
2025-03-18
人物一致性
Midjourney 的角色一致性功能: 此功能是官方推出的重要功能,可使生成的人物与参考图像相匹配。 使用方法:在提示词后输入 `cref URL` 并附上人物图像的 URL。需注意一定要在提示词后面,否则会报错。 可使用 `cw` 来修改参考强度,从 0 到 100。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性,可利用 MJ 重绘功能,在重绘提示词里输入 `cref cw` 。 若有黑边问题,可将黑边部分框住,重绘输入关键词 `background` 去除黑边保证背景一致。 体验 MJ 网页版效果较好,网址:https://alpha.midjourney.com/
2025-03-18
comfy ui 九宫格生图保持人物一致性的原理
Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术,具体如下: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,它结合了两个不同的模型分支(Lightning T2I 分支和标准扩散模型),引入了两种损失(对比对齐损失和精确 ID 损失)。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐,使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征(比如人物的脸部特征)与目标 ID 一致。 此外,在保持人物一致性方面,还有一些操作步骤: 生成图像(提示词加入分割描述,让一张图生成多张同空间小图)。 通过目标图像不断的重复生成,获取更多一致性的角色图像,下载分类(按照视角不同分类)。 上传图像,调用 prefer option set 命令,先写命令名称(一个视角操作一次),再放入该视角的照片(4 5 张)。 放开角色限制生成图像,在确认好的图像上进行局部重绘,框选头部,在原来的命令下加入—快捷命令名称,确认生成即可。 同时,Eva CLIP 也是相关的技术: Eva CLIP 是一种基于对比学习的视觉文本模型,将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构:使用对比学习方法,将图像和文本嵌入到一个共享的空间,通过最大化匹配图像和文本对的相似度,同时最小化不匹配对的相似度,学习到图像和文本之间的关联。 强大的特征提取能力:编码器擅长提取图像中的细节特征,并将其转换为有意义的嵌入向量,用于下游任务。 多模态应用:能够处理图像和文本两种模态,广泛应用于多模态任务中,如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用,如卷积神经网络(CNN)用于图像特征提取,Transformer 网络用于处理文本描述。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: instant ID 脸部特征抓取得比 pulid 好,放在最后一步重绘,先 pulid,再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例:
2025-03-17
comfy UI 如何保持人物一致性
要在 ComfyUI 中保持人物一致性,可以通过以下方式实现: 1. PuLID 技术: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支,并引入了对比对齐损失和精确 ID 损失两种损失,以确保在保持原始模型效果的同时,高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型,标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份,将特定 ID(例如人脸)嵌入到预训练的文本到图像模型中,而不会破坏模型的原始能力。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: 百度网盘:https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好,可放在最后一步重绘,先 PuLID,再 instantID。 2. 节点设置: 节点插件 PuLID ComfyUI:https://github.com/cubiq/PuLID_ComfyUI model:使用预训练的基础文本到图像扩散模型,如 Stable Diffusion。 pulid:加载的 PuLID 模型权重,定义 ID 信息如何插入基础模型。 eva_clip:用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis:使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image:提供的参考图像用于插入特定 ID。 method:选择 ID 插入方法,如“fidelity”(优先保真度)、“style”(保留生成风格)和“neutral”(平衡两者)。 weight:控制 ID 插入强度,范围为 0 到 5。 start_at 和 end_at:控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask:此选项用于提供灰度掩码图像,以控制 ID 自定义的应用位置,但并不是必需输入,而是可选输入。 Advanced Node:提供了高级节点,可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如,ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法,而 projection ortho 和 fidelity:16 等价于 style 方法。 此外,在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法,课程后期会介绍。
2025-03-17
人物一致性
Midjourney 的角色一致性功能: 此功能类似于“风格参考”,但尝试使人物与“人物参考”图像相匹配。 使用方法:在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面,否则会报错。 可以使用`cw`来修改参考“强度”,从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性,可利用 MJ 重绘功能,在重绘提示词里输入`cref cw`。 若有黑边问题,可将黑边部分框住,重绘输入关键词“background”去除黑边,保证背景一致。 体验 MJ 网页版效果更佳,网址:https://alpha.midjourney.com/
2025-03-13
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
需要做一个自动化出视频的工作流
以下是一个关于自动化出视频工作流的详细介绍: 优势: 全自动化处理,解放双手。 40 秒快速出片,效率提升。 成本低廉,每条仅需 0.0x 元。 输出质量稳定专业。 DeepseekR1 保证文案质量。 还能改进,例如可以加入配套 BGM,让视频更有感染力;增加更丰富的画面内容和转场效果;使用免费节点替代付费插件,进一步降低成本;优化模板样式,支持更多展示形式;增加自动化程度,支持批量处理。 工作流程: 1. 可以在扣子商店体验,建议自己搭建。 2. 工作流调试完成后,加入到智能体中,可以选择工作流绑定卡片数据,智能体则通过卡片回复。 3. 选择发布渠道,重点如飞书多维表格,填写上架信息(为了快速审核,选择仅自己可用),确认发布等待审核,审核通过后即可在多维表格中使用。 4. 创建飞书多维表格,添加相关字段,配置选择“自动更新”,输入相关字段后,“文案视频自动化”字段捷径会自动调用工作流,生成视频。 5. 表单分享,实现“填写表单,自动创建文案短视频”的效果。 6. 全自动视频合成使用多视频融合插件,一键导出成品。但需注意节点产生的视频是异步生成,可能无法马上展现,需耐心等待几秒。 如果您还有其他疑问或需要进一步的帮助,请随时联系。
2025-04-14