DiT 架构相比 SDXL 架构具有以下优势：
LDM的扩散模型使用了U-net这一网络结构，但这个结构会是最佳的吗？参考其他领域或者任务的经验，比如去年火了一整年的大语言模型、多模态大模型绝大部分用的都是Transformer结构，相比于U-net，Transformer结构的Scaling能力（模型参数量越大，性能越强）更受大家认可。因此，DiT其实就是把LDM中的U-net替换成了Transformer，并在Vision Transformer模块的基础上做了略微的修改使得在图片生成过程能够接受一些额外的信息，比如时间步t，标签y。
Sora的背后没有物理引擎，有的是DiT架构的Diffusion Transformer，大家能看到的对场景模拟的真实性，是Transformer在大数据量的情况下的强大刻画能力的体现，和大语言模型涌现出逻辑推理等能力是类似的现象。对比来看，可以理解成Sora就在Stable Diffusion()这样的文生图模型之外，加了一个时间维度。而Patches这样的降维方法，已经是业内比较成熟的方法。视频因为是运动的，讲故事能力更强，所以观感上让我们很震撼，但从机器来看，既然每一个像素就有几维向量，再加一个时间复杂度维度，并不是那么本质的变化。当然，虽然方法类似，数据还是高维了很多，很多问题要解决，而且实现起来工程难度是非常大的。
为了提升文生图模型的语义理解能力，Imagen首先提出了使用T5作为文本编码器，并指出了scaling文本编码器比scaling生图UNet带来的提升要显著得多。自此，新的文生图模型纷纷优化文本编码器的能力，有的引入更大更强的T5-XXL（如Imagen、Pixart），有的将多个CLIP或T5的特征结合起来（如SDXL、SD3）作为文本条件。然而，现有的开源模型在中文生图方面的能力还比较一般。直到最近腾讯开源出的Hunyuan-DiT，才有了一个比较可用的中文生图模型。Hunyuan-DiT使用了双语的CLIP模型加多语言的T5模型来作为文本编码器。但是由于多语言T5的训练预料中中文占比太少（只有2%），而CLIP又受限于本身训练目标，细粒度的文本理解能力较差。因此，目前开源界中文、细粒度文生图模型的文本编码器仍存在较大的优化空间。