以下是关于 AI 视频的相关内容:
来来的 AI 视频短片工作流:
概念设定:MJ
剧本+分镜:ChatGPT
AI 出图:MJ、SD、D3
AI 视频:Runway、pika、PixVerse、Morph Studio
对白+旁白:11labs、睿声
音效+音乐:SUNO、UDIO、AUDIOGEN
视频高清化:Topaz Video
字幕+剪辑:CapCut、剪映
完整文档:
直播回放:
Bay 的 AI 视频生成(上):
长期以来,人们对 AI 视频技术应用的认知停留在各种“换脸”和视频特效上。
随着 AI 图像领域的技术发展,AI 视频技术逐渐取得突破。
从交互方式来看,当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。
一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术,无需进行多阶段处理即可生成视频,如基于 GAN、VAE、Transformer 的方法。
微软 NUWAXL:通过逐步生成视频关键帧,形成视频的“粗略”故事情节,然后通过局部扩散模型(Local Diffusion)递归地填充附近帧之间的内容。
Bay 的 AI 视频生成(下):
若从生成方式分类,AI 视频生成包含:
文生视频、图生视频(Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation)
视频生视频:又分逐帧生成(SD+Mov2Mov)、关键帧+补帧(SD+Ebsynth、Rerender A Video)、动态捕捉(Deep motion、Move AI、Wonder Dynamics)、视频修复(Topaz Video AI)
AI Avatar+语音生成:Synthesia、HeyGen AI、DID
长视频生短视频:Opus Clip
脚本生成+视频匹配:Invideo AI
剧情生成:Showrunner AI
若从产品阶段和可用维度分类,将按照相关维度进行产品介绍。
2025-01-05