AI 视频具有广泛的应用场景,主要包括以下几个方面:
近半年来,AI 视频除传统的文生视频、图生视频能力迭代外,主要技术发展还围绕着以下方向:
从交互方式来看,当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术,无需进行多阶段处理即可生成视频,如基于 GAN、VAE、Transformer 的方法。
[title]AI视频生成(上)|技术发展概况和应用场景思考[heading2]2.1现阶段应用场景在盘点完全部产品后,我感受到AI视频产品目前面向的主要受众群体有:(1)专业创作者(艺术家、影视人等):AI生成能够为作品赋予独特风格和想象力,为创作者提供灵感,配合高超的剪辑技巧和叙事能力,便可以制作出超乎想象的效果。低成本动捕更是能够大幅降低后期制作的门槛和成本,自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑,为后期制作增加更多空间。目前该应用主要集中在音乐MV、短篇电影、动漫等方向。一些AI视频平台也积极寻求创意合作,为创作者提供免费支持。@valleeduhamel使用现有的素材、Gen-1和大量合成创作了新电影《After Light》的过程分享Ammaar Reshi的团队使用Stable WarpFusion + Davinci Resolve制作完整的动漫剧情,制作过程分享(2)自媒体、非专业创作者:这部分人群通常有着非常具体且明确的视频剪辑痛点。a.比如科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。一些产品(Invideo AI、Pictory)已经在发力脚本生成分镜、视频,帮助创作者降低视频素材制作门槛。Gamma AI已经实现了文章高效转PPT的能力,若能结合Synthesia、HeyGen AI、D-ID等产品的Avatar、语音生成能力也可快速转化为视频内容。b.不同平台适合不同内容形式,创作者想要将同一个素材在不同平台分发就意味着制作成本的升高。而OpusClip提供的长视频转短视频致力于解决这一痛点。(3)企业客户:对于没有足够视频制作资金的小企业、非盈利机构来说,AI视频生成可以为其大幅缩减成本。
这半年来,除传统的文生视频、图生视频能力迭代外,当前的主要技术发展还围绕着通过转绘改变画风、视频内人物识别和替换方向。1.在服务头部创作者方面,各家产品未来会逐渐转向编辑器能力增强,强化视频细节可控性,并逐渐将剪辑、音效生成匹配等后期制作任务智能化,逐步转变当前AI创作者跨N个产品完成创作的现状。2.影视后期方向,未来可以将动捕演员的表演直接转化为虚拟角色,大大提高特效制作效率。3.专业领域,创作者未来可以快速通过草图分镜验证效果。例如动画制作产品Fable在今年4月试水了Prism Beta功能。用户可以制作简单的几何图形串联的动画逐帧渲染实现更丰富的动画效果。但目前效果还不够成熟。4.随着实时生成能力的进一步提升,生成成本的下降,AI实验性艺术在博物馆、展览等互动应用将会增多。5.在C端大众消费侧,看好AI视频在小说、网文阅读、短情景剧等内容消费方向发挥潜力;另外人物识别和替换也可以衍生电商平台虚拟试衣间能力。6.Viggle、DomoAI的产品中的模板套用能力若以更低成本开放在短视频产品中,可能会带来短视频平台效果模板新的爆发周期。
长期以来,人们对AI视频技术应用的认知停留在各种“换脸”和视频特效上。随着AI图像领域的技术发展,AI视频技术也逐渐取得了突破。本节内容结合Claude、Perplexity查询、项目论文整理而成。[heading2]1.1生成方法[content]从交互方式来看,当前AI视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术,无需进行多阶段处理即可生成视频,如基于GAN、VAE、Transformer的方法。微软NUWA-XL:通过逐步生成视频关键帧,形成视频的“粗略”故事情节,然后通过局部扩散模型(Local Diffusion)递归地填充附近帧之间的内容