以下是关于 SD 生成视频的创新点:
在Sora发布之后,似乎在这之前的所有视频生成模型都已黯淡无光,难以与之争锋!然而Stable Video Diffusion作为开源项目,我们可以在自己的机器上自由创作而无需充值,这也是其独特优势!从技术角度看,SVD生成的视频画质非常清晰,帧与帧之前的过渡也非常的自然,无论是背景闪烁的问题,还是人物一致性的保持都能够得到妥善解决!尽管目前只能生成最多4秒的视频,与Sora生成的60s视频差距很远,但是SVD还在不断迭代,相信其终将再次强大!!!同时,我们会持续关注SVD技术及前沿视频生成技术,尝试多种不同的部署微调方式,介绍更多视频生成的技术模型,更多精彩内容会在后续文章中放出,敬请期待!!!
现在基本所有的SD生成视频都存在稳定性和闪烁的问题,只是有的多有得少。上周发布的这个方案看起来很大程度解决了这个问题。关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧,并应用分层交叉帧约束来强制形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。最重要的是与现有的图像扩散技术兼容,使框架能够利用它们,例如使用LoRA自定义特定主题,并使用ControlNet引入额外的空间引导。过几天应该会开源可以到时候关注一下。
Nenly同学的视频教程来了:【“牛逼”的教程来了!一次学会AI二维码+艺术字+光影光效+创意Logo生成,绝对是B站最详细的Stable Diffusion特效设计流程教学!AI绘画进阶应用-哔哩哔哩】https://b23.tv/c33gTIQ还有个群友根据下面的教程自己做了个视频教程非常详细1.将中文字做成白底黑字,存成图片样式2.使用文生图的方式,使用大模型真实系,作者用的realisticVisionV20_v20.safetensors[e6415c4892]ControlNet预设置3.输入关键词,如奶油的英文单词,Cream + Cake(加强质感),反关键词:Easynegative(负能量),反复刷机,得到满意的效果即可。4.同理可输出C4D模型,可自由贴图材质效果,3d,blender,oc rendering5.如果希望有景深效果,也可以打开depth(增加阴影和质感)6.打开高清修复,分辨率联系1024以上,步数:29-60本来想方一个b站视频,但是没有按照上面的实测,等看完之后再推荐当然https://firefly.adobe.com/也可以,但是sd感觉可操控性更强,尤其是中文字体