以下是学习和北邦一样的图片生成动画视频的方法：
图片搞定之后，我们就可以拖到runway里面去图生4s视频了。（runway是收费的，大家也可以找一下有没有免费的，可以去闲鱼或者淘宝买号）进入runway官网首页，点击start with image然后直接将图片拖进来动画幅度尽量用3,5有时候会乱跑啥都不用改，直接点击生成即可注意：不需要等进度条转完，可以直接继续往里放图片，可以同步执行直接点删除，然后重新上传下面的图即可（最多可以放几个我没数，大家可以自行测试）重复步骤即可生成所有视频
剧本中的两位主人公，共3个形象，分别是年轻船员：开朗积极、充满好奇；老船长：经验丰富、坚韧不拔，以及老船长年轻时候的形象。通过性格特征和时代背景，描绘人物的提示词、上传角色参考图--cref，最后将角色背景扣除以便于进行角色加背景的融合生成时进行垫图操作。以老船长年轻形象为例，生成了全身、半身、侧身多角度人物图。根据剧本创作，场景主要概括为三个场景部分，分别是海上、沙漠、市集。提示词从剧本中的画面描述进行提取。生成过程均采用文生图模式，画面风格选择前准备好的风格图进行垫图。上传角色图、场景背景进行参考生成，使得人物和场的融合度更高。通过以上阶段，我们的台词、剧本、风格、人物形象、画面场景就都确立好啦。小插曲：感谢团队小伙伴积极投入在本次创作中，分工明确，协同并进，最终产出一份较为满意的作品。当然最最最可爱且重要的是：留下关注、收藏、认知看完文章的你~现在画面静态图片有了，那么接下来该让图片动起来了吧......使用即梦进行图生视频，只需上传图片至视频生成模块，提示词简单描绘画面中的动态内容即可。能生成时长为3秒钟的画面。运镜类型可根剧本中的镜头描绘设置，主要设置以随机运镜为主。生成速度根据我们的视频节奏，选择了慢速。生成效果：下方这类由图片+简单提示词生成出的3秒时长的短视频。
用几张图片生成一个视频，重要的是，了解IPAdapter，Animatediff，controlNet的用法和这三个之间怎么通过蒙蔽遮罩灵活的搭配生成视频。这是整体的工作流，接下来了，按照不同的模块说明下他们分别的作用。[heading3]模型[content]模型加载用到两个lora，一个是Animatediff v3_sd15_mm运动模型需要的v3_sd15_adapter，关于lora的强度,这个强度越高,画面就越稳定,但是需要在合理的范围，另一个more_details这个lora是给画面添加更多的细节。模型和工作流会放在网盘里。[heading3]参数设置[content]这里我们上传4张图片，并且使用image batch复制图像来制作批次。为什么需要做这一步操作呢？这是为了在使用IPAdapter时候，每一帧都可以参考上传的图片，让风格迁移更像。上传的这个蒙版视频是为了在帧与帧之间做遮罩过渡，添加一个动态的效果。[heading3]IPAdapter[content]IPAdapter来做图像的风格迁移，对应四张图片。使用遮罩来控制每张图片显示的帧数，需要注意的是从第0帧开始计算，一张图片16帧，加上中间过渡的8帧，所以，我们在创建遮罩时候，就需要做如下的设置，需要显示的帧设置为1，隐藏的为0以此类推。这样我们就把4张图片融合成了一个96帧的序列，并且使用遮罩控制每一帧显示出来的画面。