sora优势

技术。Sora的核心是一个预训练的扩散变换器[4]。变换器模型已被证明对许多自然语言任务具有可扩展性和有效性。与GPT-4等强大的大型语言模型（LLMs）类似，Sora能够解析文本并理解复杂的用户指令。为了使视频生成在计算上高效，Sora使用时空潜在补丁作为其构建块。具体来说，Sora将原始输入视频压缩成一个时空潜在表示。然后，从压缩视频中提取一系列时空潜在补丁，以封装短时间间隔内的视觉外观和运动动态。这些补丁，类似于语言模型中的单词标记，为Sora提供了用于构建视频的详细视觉短语。Sora的文本到视频生成是通过扩散变换器模型执行的。从一个充满视觉噪声的帧开始，模型迭代地去除噪声并根据提供的文本提示引入特定细节。本质上，生成的视频通过多步精炼过程出现，每一步都使视频更加符合期望的内容和质量。Sora的亮点。Sora的能力在各个方面都有深远的影响：•提高模拟能力：将Sora进行大规模训练归功于其模拟物理世界各个方面的显著能力。尽管缺乏显式的3D建模，Sora展现了具有动态相机运动和长距离连贯性的3D一致性，包括对象持久性和模拟与世界的简单互动。此外，Sora有趣地模拟了像Minecraft这样的数字环境，由基本策略控制，同时保持视觉保真度。这些涌现能力表明，扩大视频模型的规模在创建模拟物理和数字世界复杂性的AI模型方面是有效的。•促进创造力：想象通过文本概述一个概念，无论是一个简单的对象还是一个完整的场景，并在几秒钟内看到一个现实的或高度风格化的视频被渲染出来。Sora使设计过程加速，加快了探索和精炼想法的速度，从而显著提高了艺术家、电影制作人和设计师的创造力。

Sora的一个区别特征是其能够在原始尺寸上训练、理解和生成视频及图像，如图5所示。传统方法通常会调整视频的大小、裁剪或调整宽高比，以适应一个统一标准——通常是以固定低分辨率的正方形帧的短片段[27][28][29]。这些样本通常在更宽的时间跨度上生成，并依赖于分别训练的帧插入和分辨率渲染模型作为最后一步，这在视频中造成了不一致性。利用扩散变换器架构[4]（见3.2.4节），Sora是第一个拥抱视觉数据多样性的模型，并且可以在从宽屏1920x1080p视频到竖屏1080x1920p视频以及之间的任何格式上采样，而不会损害它们的原始尺寸。图5：Sora可以生成从1920x1080p到1080x1920p及其间任何尺寸或分辨率的图像。图6：Sora（右）与一个修改版的模型（左）之间的比较，后者将视频裁剪成正方形——这是模型训练中的一种常见做法——凸显了优势。在原始尺寸上训练数据显著改善了生成视频的构图和框架。经验发现，通过保持原始宽高比，Sora实现了更自然和连贯的视觉叙事。如图6所示，Sora与一个在统一裁剪的正方形视频上训练的模型之间的比较展示了明显的优势。Sora生成的视频展示了更好的框架，确保场景中完全捕捉到了主体，与正方形裁剪导致的有时被截断的视图相反。

自从2022年11月ChatGPT发布以来，人工智能技术的出现标志着一个重大的转变，重塑了交互方式，并深入融入日常生活和行业的各个方面[1,2]。基于这一势头，OpenAI在2024年2月发布了Sora，一个文本到视频的生成式AI模型，能够根据文本提示生成现实或想象场景的视频。与之前的视频生成模型相比，Sora的特点是能够在遵循用户文本指令的同时，生成长达1分钟的高质量视频[3]。Sora的进步体现了长期以来人工智能研究任务的实质，即赋予AI系统（或AI代理）理解和与运动中的物理世界互动的能力。这涉及到开发不仅能解释复杂用户指令，而且能将这种理解应用于通过动态和富有上下文的模拟解决现实世界问题的AI模型。图2：Sora在文本到视频生成中的示例。文本指令被给予OpenAI Sora模型，它根据指令生成三个视频。Sora展示了准确解释和执行复杂人类指令的显著能力，如图2所示。该模型能生成包含多个执行特定动作的角色以及复杂背景的详细场景。研究人员将Sora的熟练程度归因于不仅处理用户生成的文本提示，而且还能辨别场景内元素之间复杂的相互作用。Sora最引人注目的方面之一是其生成长达一分钟的视频的能力，同时保持高视觉质量和引人入胜的视觉连贯性。与只能生成短视频片段的早期模型不同，Sora的一分钟长视频创作具有进展感和从第一帧到最后一帧的视觉一致性之旅。此外，Sora的进步在于其生成具有细腻运动和互动描绘的扩展视频序列的能力，克服了早期视频生成模型所特有的短片段和简单视觉呈现的限制。这一能力代表了AI驱动创意工具向前的一大步，允许用户将文本叙述转换为丰富的视觉故事。总的来说，这些进步展示了Sora作为世界模拟器的潜力，为描绘场景的物理和上下文动态提供了细腻的见解。[3]。