Stable Diffusion 教程

Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。

以下是关于 Stable Video Diffusion 开发的相关信息： SVD 介绍： 简介：Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的视频生成式大模型，用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。它支持多种功能，用户可调整多种参数，但对硬件要求较高，支持的图片尺寸较小，应用场景受限。 模型版本：开源了两种图生视频的模型，一种能生成 14 帧的 SVD，另一种是可以生成 25 帧的 SVDXL，发布时通过外部评估超越了人类偏好研究中领先的封闭模型。 主要贡献：提出系统的数据管理工作流程，将大量未经管理的视频集合转变为高质量数据集；训练出性能优于现有模型的文本到视频和图像到视频模型；通过特定领域实验探索模型中运动和 3D 理解的强先验，预训练的视频扩散模型可转变为强大的多视图生成器，有助于克服 3D 领域数据稀缺问题。 部署实战避坑指南： 直接使用百度网盘里准备好的资源，可规避 90%的坑。 若一直报显存溢出问题，可调低帧数或增加 novram 启动参数。 云部署实战中，基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt，需放到指定路径下。 总结： Sora 发布后，此前的视频生成模型相形见绌，但 Stable Video Diffusion 作为开源项目可在自己机器上自由创作无需充值。SVD 生成的视频画质清晰，帧与帧过渡自然，能解决背景闪烁和人物一致性问题，虽目前最多生成 4 秒视频，与 Sora 的 60 秒差距大，但在不断迭代。我们会持续关注其技术及前沿视频生成技术，尝试不同部署微调方式，介绍更多技术模型，更多精彩内容后续放出。 同时，您还可以加入「AIGCmagic 社区」群聊交流讨论，涉及 AI 视频、AI 绘画、Sora 技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个方向，可私信或添加微信号：【m_aigc2022】，备注不同方向邀请入群。

Stable Diffusion（简称 SD）不是由 Runway 和 Google 联合开发的，而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。 Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。 围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前，这些模型在法律方面也面临挑战，例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的，这可能会引发法律问题。

Stable Diffusion 是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。在文生图任务中，将一段文本输入到模型中，经过一定迭代次数输出符合文本描述的图片；图生图任务则在输入文本基础上再输入一张图片，模型根据文本提示对输入图片进行重绘。输入的文本信息通过 CLIP Text Encoder 模型编码生成与文本信息对应的 Text Embeddings 特征矩阵，用于控制图像生成。源代码库为 github.com/StabilityAI/stablediffusion ，当前版本为 2.1 稳定版（2022.12.7），其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行。

Stable Diffusion 是由初创公司 Stability AI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行，当前版本为 2.1 稳定版（2022.12.7），源代码库为 github.com/StabilityAI/stablediffusion 。

以下为您提供一些 Stable Diffusion 的学习教程： 1. 超详细的 Stable Diffusion 教程： 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门，而非深入研究原理，通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎： 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理，如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构，包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程： 「AI 绘画」软件比较与 stable diffusion 的优势： 「AI 绘画」零基础学会 Stable Diffusion： 「AI 绘画」革命性技术突破： 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论： 「入门 1」5 分钟搞定 Stable Diffusion 环境配置，消灭奇怪的报错： 「入门 2」stable diffusion 安装教程，有手就会不折腾： 「入门 3」你的电脑是否跑得动 stable diffusion？： 「入门 4」stable diffusion 插件如何下载和安装？：

以下是关于 DeepSeek 的官方教程相关信息： 火山方舟 DeepSeek 申请免费额度教程，包含多种 API 使用方式，如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA，通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens，畅享 671B DeepSeek R1，活动截止至北京时间 20250218 23:59:59。同时，火山方舟大模型服务平台的模型服务计费文档有更新，DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐，如让模型创作诗歌、生成宣传标语、提示库（https://apidocs.deepseek.com/zhcn/promptlibrary）、代码解释、内容分类、角色扮演（自定义人设）、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中，有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容，还附上了飞书多维表格、Coze 的接入使用方法等。此外，还有关于 DeepSeek 关键 9 篇论文及创新点的讲解，以及 DeepSeek 官方发布的 R1 模型推荐设置。

以下是关于 MCP 教程的相关内容： 资源链接： 什么是 MCP 以及为什么要用它： Model Context Protocol（模型上下文协议），简称 MCP，是由 Anthropic 公司提出的一个开放标准，旨在解决 AI 模型与外部数据源和工具之间的连接问题。 MCP 就像是 AI 世界的“USBC 接口”，它提供了一种标准化的方式，让 AI 应用能够轻松连接到各种数据源和工具，不需要为每个新连接重新开发接口。 MCP 解决的主要问题包括： 碎片化集成：以前每个 AI 应用都需要单独开发与各种数据源的连接。 重复工作：不同团队重复构建相似的集成方案。 “N 乘 M 问题”：当有 N 个 AI 客户端需要连接 M 个数据源时，可能需要 N×M 个自定义集成。 希望这篇教程能帮助您了解 MCP 的基础知识，并开始构建自己的 MCP 服务器！随着实践的深入，您会发现 MCP 为 AI 应用与数据源及工具的集成提供了简单而强大的解决方案。 本篇内容由 Genspark 制作 https://www.genspark.ai/autopilotagent_viewer?id=c10e49b3228d4f65be347ab34777aaf8

以下是为您提供的 Coze 教程相关信息： 一泽 Eze 的教程：可能是全网最好的 Coze 教程之一，一次性带您入门 Coze 工作流。即使是非技术出身的爱好者也能上手跟学，一站式学会 AI Agent 从设计到落地的全流程方法论。阅读指南：长文预警，请视情况收藏保存。核心看点包括通过实际案例逐步演示用 Coze 工作流构建能稳定按模板要求生成结构化内容的 AI Agent、开源 AI Agent 的设计到落地的全过程思路、10+项常用的 Coze 工作流的配置细节、常见问题与解决方法。适合人群为玩过 AI 对话产品的一般用户，以及对 AI 应用开发平台（如 Coze、Dify）和 AI Agent 工作流配置感兴趣的爱好者。注：本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中，附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容，以供前置或拓展学习。 其他相关基础教程： 大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库 （https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb） 大聪明：保姆级教程：Coze 打工你躺平 （https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb） 安仔：Coze 全方位入门剖析免费打造自己的 AI Agent （https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb） 基础教程：Coze“图像流”抢先体验 （https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf） YoYo：Coze 图像流小技巧：探索视觉艺术的隐藏宝藏 （https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe） 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 （https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ）

以下是关于如何使用 MCP 的详细教程： 前置准备工作： 任选一个客户端软件进行配置，大致分为四步： 1. 填入大模型 API 密钥。 2. 找到 MCP 配置界面。 3. 填入 MCP Server 对应的 json 脚本。 4. 使用 MCP。 不同客户端软件的配置方法： 1. Cherry Studio（推荐）： 版本：2025 年 4 月发布的 1.1.17。 配置大模型 API：填入之前准备好的 AiHubMix 的 API 密钥。 配置 MCP：例如，图中填写的就是 Playwright 的 MCP Server 和百度地图的 MCP Server。 使用 MCP。 2. Cursor（推荐）： 配置大模型 API：如果 Cursor Pro 在免费试用期，这一步可以不做；如果不在免费试用期，最好的办法是氪金，也可以试试填入之前准备好的 AiHubMix 的 API 密钥。 配置 MCP Server：填入 MCP Server 的 json，保存。 回到 Cursor 的 MCP 配置页面，等待几秒钟，多点几次蓝色框里的按钮，直到绿灯亮起，并显示出所有 MCP 工具。 使用 MCP：Ctrl+Shift+L 新建对话，将模式设置为 Agent。 3. Claude Desktop： 配置 MCP Server：用文本编辑器（VSCode、Sublime Text 等）打开 claude_desktop_config.json 文件，填入 MCP Server 对应的 json 文件，保存。 重启 Claude Desktop。 查看 MCP Server 连接状态。 使用 MCP。 MCP 的好处： 1. 简化开发：一次整合，多次复用，不再重复开发。 2. 灵活性强：轻松切换 AI 模型或工具，无需复杂的重新配置。 3. 实时互动：长连接保证数据实时更新。 4. 安全可靠：内置标准化安全和权限控制。 5. 扩展性强：AI 系统扩展时，只需连接新的 MCP 服务器。 传统 API 更适合的场景： 1. 需要细粒度控制、功能严格限制。 2. 更偏好紧耦合以提升性能。 3. 希望最大化交互的可预测性。 快速集成 MCP 的步骤： 1. 定义能力：明确您的 MCP 服务器提供哪些功能。 2. 实现 MCP 层：按照协议标准进行开发。 3. 选择通信方式：本地连接（标准输入输出）或远程连接（如 WebSockets）。 4. 创建资源/工具：开发或连接您的数据源和服务。 5. 建立客户端连接：与 MCP 服务器建立安全稳定的连接。 MCP 与 API 的比较： MCP 与传统 API 之间的主要区别在于： 1. 单一协议：MCP 充当标准化的“连接器”，因此集成一个 MCP 意味着可能访问多个工具和服务，而不仅仅是一个。 2. 动态发现：MCP 允许 AI 模型动态发现可用工具并与之交互，而无需对每个集成进行硬编码知识。 3. 双向通信：MCP 支持持久的实时双向通信 类似于 WebSockets。AI 模型既可以检索信息，也可以动态触发操作。 以 Cursor 驱动 blender 自动化建模的 MCP 项目为例： 首先，在 github 上找到项目说明（https://github.com/ahujasid/blendermcp）。以 Mac 安装为例，首先要安装一个 uv 包（如果不懂，就直接新建一个项目文件夹后，将相关需求丢给 AI）。显示 uv 安装完毕后（初次使用可能需要安装一系列的环境，只要一路让 AI 安装就可以了），还是找到点击界面右上角的小齿轮图标。找到 MCP 模块 Add new global MCP server，将相关内容粘贴进去。退回 MCP 界面时，就会发现已经连接上了这个 blender 服务器，并且增加了很多具体功能。

以下是为您提供的 AI 视频教程相关内容： AI 让古画动起来的教程： 1. 对于简单的图，找原图直接写提示词即可。若碰到多人多活动的复杂图，需把长图分多个模块，比如将一张图分成 4 个模块。 2. 智能抠图，用工具把要动的内容去除掉，用 AI 生成图片部分。若有水印，可以把图片向下拓展一部分，然后截掉。 3. 将要拿来动起来的部分抠出，放在绿幕背景里或者画的背景颜色，导出图片。 4. 用 AI 视频生成工具写入提示词让图片动起来，如即梦、海螺、混元等工具，不停尝试抽卡。 5. 用剪映把抽卡合格的视频放在去掉内容的背景图片，通过色度抠图调整去掉视频的背景。多个视频放在背景图片，一起动即可。 AI 视频相关的软件教程： 包括视频模型如 luma Dream Machine、可灵、MiniMax 海螺 AI、Sora、Vidu 等，工具教程如 Hedra，视频工具如 VIGGLE，以及应用教程如视频转绘、视频拆解等。相关链接如下： WaytoAGI X 剪映的 AI 创意视频征集令·第 1 期： 1. 征集内容：使用 AI 功能创作的创意视频成片，也可投稿 AI 创意视频的教程（教大家如何做一个 AI 创意视频）。AI 功能包括但不限于：AI 对口型、AI 改动作、AI 配音、克隆音色、AI 音乐、AI 特效、AI 图文成片、AI 剪视频等。不包括纯图片生成或纯视频生成的内容（特指用 AI 工具生成的图片、图生视频，但视频里没有添加 AI 功能）。 2. 创作工具：主要使用「剪映」平台工具创作，可多使用剪映平台的 AI 功能/新功能；部分 AI 效果若剪映无法实现，可使用其他软件创作。 3. 内容价值：视频需有消费价值，要有一定内容主题，有故事感、或者有梗、或者有核心观点表达，让用户有持续观看和点赞、收藏的欲望。缺少内容主题、过于简单、过于模板化的内容将不予通过。在抖音、小红书等平台点赞量高的内容，审核通过率大大提升！ 4. 原创度：作品需要原创、极具创意和独特性，且符合当代年轻群体的审美和兴趣喜好，不可照搬、抄袭他人创意，一经发现将取消活动奖励，视情节严重情况回收灵感发布权限。 5. 作品延展度：作品有可模仿性，其他创作者看完后，可模仿学习或二创。比如：前期素材易获取，后期素材易剪辑或处理，让其他视频创作者有强烈的模仿欲望，且对自己模仿或二创视频有成就感和分享欲。 6. 作品时长：时长适中，最短不低于 15 秒，最长不建议超过 3 分钟。

以下是关于 AI 出设计图的教程： 使用 Midjourney 生成 UI 界面： 页面指令：指定生成某个页面（如首页、登录页等），只需添加页面指令描述，如“landing page”（登录页）、“Profile Page”（个人资料页）。 社交平台：关键词“landing page”可生成社交平台的登录页设计。 信息类：关键词“Profile Page”可生成人力资源类产品的个人资料页，包含照片、自我介绍、基本信息等内容。 Midjourney 产出的设计图视觉效果不错，适合在 APP 设计的初始阶段，如头脑风暴和风格探索中为设计师提供灵感和创意。但目前要直接用于开发仍有距离。 使用 Claude 生成设计稿的技巧： 引用 Tailwind CSS 写组件样式，确保色彩、响应式和基础组件的美观度。 按照特定的四个技巧可让 Claude 设计出美观的界面或组件。 生成设计稿的方法：将生成的代码部署到线上，使用 html.to.design 这个 Figma 插件将网页转换为设计稿，但每天免费次数有限。 进阶技巧和关键词： 图片内容一般分为二维插画和三维立体两种表现形式。 主题描述：可描述场景、故事、元素、物体或人物细节等。描述场景中的人物时应独立描述，避免长串文字，否则 AI 可能识别不到。 设计风格：可通过找风格类关键词参考或垫图/喂图，让 AI 根据给出的图片风格结合主题描述生成相应风格的图片。对于材质的描述，关键词的运用较为复杂，需要针对特定风格进行“咒语测试”。