Stable Diffusion 是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。
文生图任务是将一段文本输入模型,经过一定迭代次数生成符合描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩图片。
图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘输入图片使其更符合描述,如在沙滩图片上添加“海盗船”。
输入的文本信息需通过 CLIP Text Encoder 模型这一“桥梁”转换为机器数学信息,该模型将文本信息编码生成 Text Embeddings 特征矩阵用于控制图像生成。
初始 Latent Feature 经过图像解码器重建是纯噪声图片,而经过 SD 的“图像优化模块”处理后再重建是包含丰富内容的有效图片。UNet 网络+Schedule 算法的迭代去噪过程的每一步结果用图像解码器重建,可直观感受从纯噪声到有效图片的全过程。
以下是 Stable Diffusion 模型工作的完整流程总结及前向推理流程图。
此外,关于 Stable Diffusion 还有系列资源,包括从 0 到 1 读懂其核心基础原理、训练全过程,核心网络结构解析,搭建使用模型进行 AI 绘画的多种方式,经典应用场景,以及上手训练自己的 AI 绘画模型等内容。
2024-12-17