以下是关于视频换脸技术的相关内容:
使用 facefusion 进行视频换脸:
Tec-Creative 中的视频换脸: 自动识别视频中的人脸,并将其替换为选择的脸部,实现在视频中快速、精确地替换人物的脸部。操作指引为:上传原始视频——上传换脸图片——点击生成。
使用插件 ADetailer 进行视频换脸: 首先要明白插件的原理是识别面部并对面部进行扩散。打开 Adetailer,选择关于脸部修复的模型,在对应的正向提示词中添加面部修饰词,也可以加 lora。在检测一栏基本上维持默认不变,在蒙版处理维持默认不变。在重绘选项卡中有很多可操作的参数,需要关注的参数包括:
点击快捷工具中顶部的:JupyterLab,打开这个工具。这个工具提供了执行python程序的说明和控制服务器的终端使用。我们需要通过终端来启动facefusioin。此处是唯一需要一点技术能力的地方。点击顶部的+号选项卡,我们新打开一个终端窗口:点击终端区域,启动一个终端的选项卡:在打开的终端窗口中,输入3条命令做3件事情:1.查看文件列表。输入ls并按回车,显示当前位置所在目录下的文件列表。2.进入facefusion目录,输入cd facefusion并按回车,进入程序目录3.启动facefusion。输入:p4.ython./run.py --execution-providers cuda cpu启动程序注意:后面的参数--execution-providers cuda cpu非常重要,如果不加cuda,则默认不使用GPU能力,推理将非常慢。当出现这个提示信息时,说明启动成功:4.2.3打开facefusion软件打开facefusion软件,需要返回实例列表,点击自定义服务按钮,会打开一个新的浏览器窗口。这样,我们才能够通过web浏览器来访问facefusion提供的UI界面:在facefusion软件界面上(见上图),上传准备好的图片,视频后,在右侧可以看到预览效果。点击下方的开始按钮,执行换脸处理。执行完成后,在输出的位置,会出现处理后的视频,输出窗口的右上角有一个下载按钮,点击它你可以导出变量后的视频到本地。最后来看看效果:通过剪映制作的数字人视频:1.变脸前的视频:
[heading1]创意工具箱[heading2]数字人口播配音[content]只需输入口播文案,选择期望生成的数字人形象及目标语言,即可生成数字人口播视频,让视频制作变得轻松高效!操作指引输入口播文案——选择目标语言——选择数字人角色——选择输出类型——点击开始生成[heading2]图片换脸[content]仅需上传原始图片和换脸图片,即可一键实现素材换脸,极大提高素材生成效率!操作指引上传原始图片——上传换脸图片——点击开始生成*图片大小上限5M,支持JPG、PNG格式[heading2]视频换脸[content]自动识别视频中的人脸,并将其替换为选择的脸部,实现在视频中快速、精确地替换人物的脸部!操作指引上传原始视频——上传换脸图片——点击生成[heading2]音频合成数字人[content]只需上传音频文件,即可基于音频合成对应的数字人视频,工具支持使用100+数字人模板,一键解决无素材冷启问题!操作指引:上传音频文件——选择数字人角色——选择输出类型——点击开始生成*注意:音频文件支持MP3和WAV格式,文件大小上限5M[heading2]AI配音[content]多语种(包含菲律宾语、印地语、马来语等小语种)智能配音,同时支持区分男声和女声,高效解决素材出海语言障碍问题!操作指引:输入需配音文案——选择音色——点击立即生成注意:输入的配音文案需和选择音色语种保持一致[heading2]AI字幕[content]智能识别视频语言并生成对应字幕,满足海外多国投放场景需求。操作指引:点击上传视频——开始生成——字幕解析完成——下载SRT字幕注意:支持MP4文件类型,大小上限为50M。
这个插件相信大家都用过,一般我们都觉得她是一个修复脸的插件,其实这个插件换脸也是很好用的。首先我们要明白这个插件的原理是什么,很简单就是识别面部对面部进行扩散这么说大家就明白了吧,它里面也是可以增加controlnet去控制的所以说这就是为什么导致重绘后的脸和原视频还是有点相似的原因。话不多说直接上教程打开我们的Adetailer,这里我们选择模型是关于脸部修复的。选择最常用的模型,在对应的正向提示词中添加一些面部的修饰词,当然这里也可以加lora的。找一个好看的脸部lora加进去。这里随便找了一个具体你想要其他的lora你可以在lib上面搜索对应的脸部模型在检测这一栏基本上维持默认不变就行了如果你觉得效果不好适当的拉高一下阈值。在蒙版处理维持默认不变就可以了。再到下面的重绘选项卡中我们可以做的操作就很多了这里就是对脸部重绘制参数的调整和应用,说一下我们需要关注的参数。1.重绘使用的模型和重绘使用的VAE以及重绘制使用的采样方式。大模型决定你想要让脸重绘成什么风格的。2次元还是2.5D,还是写实类似于换脸。2.再来说一下局部重绘制强度,因为我们在最外面的cn对图像进行了控制所以这里就是拉的越大对面部的修改就会越多。我推荐0.5左右就可以了,当然这个你可以自己进行尝试。3.这里再说一下这里面这个controlnet,其实和我们外面用的是一样的也是增加控制的。选择你觉得最适合的,如果你用的tile模型要适当调整权重或者调整引导于结束的步数下面是一组对照图发现了么?就针对脸部进行了重绘制和改变而且整体五官的位置和原图保持一致。不同大模型带来的效果也不一致。