以下是关于如何书写文生视频提示词达到连贯效果并且指导运镜的方法:
PixelDance V1.4支持在prompt里写入运镜控制,推荐尝试用自然语言描述出你想要的镜头变化:|输入参数|生成视频||-|-||prompt:镜头环绕口红拍摄<br>基础参数:相机不固定,16:9,10s|[pd42.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RRFibKLIPoOHl3xPqWUcU9kvndd?allow_redirect=1)<br>环绕运镜||prompt:黑白风格,镜头环绕着戴墨镜的女人拍摄,从她侧面移动到正面,最后聚焦于女人的面部特写<br>基础参数:相机不固定,16:9,10s|[pd22.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/PPJ2bdOjAovX4yxPGq7clb4nnQh?allow_redirect=1)<br>用自然语言引导镜头轨迹||prompt:雨后模糊的玻璃逐渐聚焦,一个男人举着伞,带着一只金毛犬路过。<br>基础参数:相机不固定,16:9,5s|[PixelDance_7418795231258085391.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/TjVxbjJpPo7UxXxhb7TcKFhsnpb?allow_redirect=1)<br>用自然语言引导变焦|
For more complex video projects,you may want Firefly to incorporate specific plot elements or characters.Providing background or context helps Firefly generate a coherent and engaging sequence.For example,you can pick still frames from clips you are using in Premiere Pro and use those stills to direct new action from existing characters or actors.Using uploaded still frames or images can create character continuity between generations to help you tell a longer,more detailed narrative.对于更复杂的视频项目,您可能希望Firefly加入特定的情节元素或角色。提供背景或上下文有助于Firefly生成连贯且引人入胜的序列。例如,您可以从Premiere Pro中使用的剪辑中选取静止帧,并使用这些静止帧来指导现有角色或角色的新动作。使用上传的静止帧或图像可以在几代人之间建立角色连续性,从而帮助您讲述更长、更详细的叙述。[heading2]Use camera angles and movements使用摄像机角度和移动[content]Firefly can often simulate real-world camera work,so help it out by being specific to what angles or movements you want the camera to make for a very personal touch.Firefly通常可以模拟真实世界的摄像机工作,因此请具体说明您希望摄像机的角度或移动,以获得非常个人化的触感。Here are some common camera directions:以下是一些常见的相机方向:Close-up特写Wide shot广角镜头Pan/Zoom/Track平移/缩放/跟踪Shot From Above从天而降Shot From Below从下方拍摄
视频的大部分片段用runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/ai-tool/home)的动效画板和首尾帧。[heading2]1、常规方法[content]以汽车内饰这一片段为例,登录runway账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击2处将汽车内饰的图片上传到runway中。其中1处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有Gen-2每天有免费额度。3处用于输入提示词。4处可以修改生成的视频时长为5s或10s,时长越长,生成的效果可能越不稳定。5处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:[运镜方式大全](https://ixi8511rtw.feishu.cn/base/ExNrbPnghaEFo8sCJN2cgEMPnnf?from=from_copylink)。runway对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟runway会员可以无限抽卡。