以下是一些大规模进行文生图然后图生视频的方案：
[70a62ec534f771ef89775107e0c90102.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/H9Dhb3TcqovJsZxGDGVc3F0Unld?allow_redirect=1)我相信这是一篇针对大朋友、小朋友都通俗易懂的视频剧本构思到视频落地的全流程拆解教程。基于大语言模型和绘图模型的前提，有了一次和小伙伴们探索文生图到图生视频的创作实践。废话不多说，直接上保姆级干货教程！保证你能够轻松学会！针对于现有的AI生成能力，央视推出了多组AI视频短片，为此我们也决定生成一个符合时代主旋律的AI小视频。经过脑暴阶段，有了一带一路背景下丝绸之路这个角度的创作故事。创作方向也可以借助大语言模型生成主题方向的灵感，下面提供部分列举方向可做参考：通过对AI工具的了解和视频的构成，我们发现当下有许多能够进行视频生成的工具，于是进行了部分视频生成工具的测试。最终选择了大语言模型chatgpt、kimi进行剧本分镜设定，文生图midjourney生成视觉画面，图生视频选择即梦dreamina制作动态画面，suno音乐编曲，ondoku主角台词配音，视频剪辑使用的是剪映。视频中的小部分的音效也在网上进行了无版权下载，当然剪映里也有大量的音效可以使用。时长确立：制作一个1分钟左右的AI生成画面，加上闭幕不超过2分钟。风格确立：大致定义为中国风，当然即便风格定义成中国风也有不同的风格展示，我们采用同一提示词，进行了风格测试对比。
视频的大部分片段用runway（https://app.runwayml.com/）制作，少数的片段用的是即梦（https://jimeng.jianying.com/ai-tool/home）的动效画板和首尾帧。[heading2]1、常规方法[content]以汽车内饰这一片段为例，登录runway账户后，在首页的左侧点击“Text/Imagine to Video”，中文即是“文生视频/图生视频”。点击2处将汽车内饰的图片上传到runway中。其中1处可以更改生成图片所用到的大模型版本，数字越大代表模型越强。目前只有Gen-2每天有免费额度。3处用于输入提示词。4处可以修改生成的视频时长为5s或10s，时长越长，生成的效果可能越不稳定。5处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是，即摄像机围绕垂直轴顺时针旋转，常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话，每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢？可以参照：[运镜方式大全](https://ixi8511rtw.feishu.cn/base/ExNrbPnghaEFo8sCJN2cgEMPnnf?from=from_copylink)。runway对于这些专有的运镜方式理解的很好。其他的提示词可以不填，先看看效果，如果效果不好，再补充简短的提示词重新生成视频。很多时候提示词过多，生成的视频就很怪异，像吃了毒蘑菇后看到的幻觉一样。改变提示词，改变生成时长，多抽卡几次，毕竟runway会员可以无限抽卡。
|排序（从高到低）|模型|特点（优缺）||-|-|-||1|pd 2.0 pro|即梦生成的画面有点颗粒感，p2.0模型还是很能打的，很适合做一些二次元动漫特效，。理解能力更强，更适合连续运镜，||2|luma 1.6|画面质量挺好，但是太贵了，真的太贵了。||3|可灵1.6高品质|YYDS！||4|海螺-01-live|文生视频比图生视频更有创意，图生也还可以，但是有时候大幅度动作下手部会出现模糊的情况，整体素质不错，就是太贵了||5|runway|我的快乐老家，画面质量不算差，适合做一些超现实主义的特效、经特殊就容镜头的||6|智谱2.0|做的一些画面特效听出圈的，适合整过，但是整体镜头素质还差点，好处就是便宜，量大，管饱，还能给视频加音效。||7|vidu1.5|二维平面动画的快乐老家，适合做特效类镜头，单镜头也很惊艳，大范围运镜首尾帧yyds!就是太贵了！！！！！。||8|seaweed 2.0 pro|s2.0适合动态相对小的，更适合环绕旋转运镜动作小的||9|pixverse v3高品质|pincerse的首尾帧还是非常能打的，就是画面美学风格还有待提升的空间。||10|sora|不好用，文生视频挺强的，但是最需要的图生视频抽象镜头太多，半成品都算不上，避雷避雷避雷，浪费时间。|[p.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/WBMJb6ahLoHFezxlZHPcRfkynJc?allow_redirect=1)