直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

换脸技术理论

回答

以下是关于换脸技术的理论介绍：

辅助工具：

实战方法：

  1. 点击快捷工具中顶部的“JupyterLab”，打开这个工具。它提供了执行 python 程序的说明和控制服务器的终端使用。通过终端启动 facefusioin。
  2. 点击顶部的“+”号选项卡，新打开一个终端窗口。
  3. 点击终端区域，启动一个终端的选项卡。
  4. 在打开的终端窗口中，输入以下命令：
    • 查看文件列表。输入“ls”并按回车，显示当前位置所在目录下的文件列表。
    • 进入 facefusion 目录，输入“cd facefusion”并按回车，进入程序目录。
    • 启动 facefusion。输入：“python./run.py --execution-providers cuda cpu”启动程序。注意：后面的参数“--execution-providers cuda cpu”非常重要，如果不加“cuda”，则默认不使用 GPU 能力，推理将非常慢。
  5. 当出现提示信息时，说明启动成功。
  6. 打开 facefusion 软件，需要返回实例列表，点击自定义服务按钮，会打开一个新的浏览器窗口。
  7. 在 facefusion 软件界面上，上传准备好的图片、视频后，在右侧可以看到预览效果。点击下方的开始按钮，执行换脸处理。执行完成后，在输出的位置会出现处理后的视频，输出窗口的右上角有一个下载按钮，点击可导出变量后的视频到本地。

PuLID 换脸： Pure and Lightning ID customization (PuLID) 是字节跳动团队开源的一种个性化文本到图像生成技术，通过对比学习和快速采样，实现无需微调模型就可以高效生成定制化的 ID（身份）图像，轻松实现换脸。字节团队又推出了 PuLID-FLUX 模型，支持 FLUX 模型的 ID 定制。 安装方面：

  • pulid 的安装较麻烦，需要环境依赖。
  • 插件地址：https://github.com/balazik/ComfyUI-PuLID-Flux，跟着说明自己安装。
  • pulid_flux_v0.9.0.safetensors放到 ComfyUI/models/pulid/中，EVA CLIP 是 EVA02-CLIP-L-14-336，应该会自动下载（将位于 huggingface 目录下）。如果自动下载失败，请手动下载此 EVA-CLIP 模型，将文件放入 ComfyUI/models/clip 并重新启动 ComfyUI。
  • facexlib 和 insightface 的安装有一定难度，如果之前有用过 sdxl 的 pulid 换脸的，可能安装过。没装过的需要自己摸索。如果装不了，可以去 https://huggingface.co/spaces/yanze/PuLID-FLUX 体验。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

辅助工具：换脸

一个精细化的面部交换（换脸）技术与传统的换脸技术不同，E4S更加精细和高级。它不仅能让你在照片或视频中换脸，还能确保换出来的脸在形状、纹理和光照方面都非常自然和逼真。它能够非常精确地处理脸部的每一个小细节，包括你脸上的每一颗痣、每一条皱纹，甚至是光照和阴影。项目地址：[https://e4s2023.github.io](https://t.co/ysbYLxu5ls)论文：[https://arxiv.org/abs/2310.15081](https://t.co/sr6Kc1obKL)GitHub：[https://github.com/e4s2023/E4S2023](https://t.co/0TATDkfL2b)[heading2]? Misgif：[content]一款可以将你的脸放入你喜欢的GIF表情包中的应用换脸程序，但具有娱乐性。?[http://misgif.app](http://misgif.app/)?[https://x.com/xiaohuggg/status/1719186332319416388?s=20](https://x.com/xiaohuggg/status/1719186332319416388?s=20)[heading2]? Face Swapper：[content]AI换脸工具:一次替换多张脸。支持JPG、PNG、WEBP格式，最大1024px分辨率。应用场景：时尚、美容、电影、媒体、人力资源。传送门：[https://icons8.com/swapper](https://t.co/KEHXqf41SK)? https://x.com/xiaohuggg/status/1714612613357932800?s=20

实战： 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法！

点击快捷工具中顶部的：JupyterLab，打开这个工具。这个工具提供了执行python程序的说明和控制服务器的终端使用。我们需要通过终端来启动facefusioin。此处是唯一需要一点技术能力的地方。点击顶部的+号选项卡，我们新打开一个终端窗口:点击终端区域，启动一个终端的选项卡：在打开的终端窗口中，输入3条命令做3件事情：1.查看文件列表。输入ls并按回车，显示当前位置所在目录下的文件列表。2.进入facefusion目录，输入cd facefusion并按回车，进入程序目录3.启动facefusion。输入：p4.ython./run.py --execution-providers cuda cpu启动程序注意：后面的参数--execution-providers cuda cpu非常重要，如果不加cuda，则默认不使用GPU能力，推理将非常慢。当出现这个提示信息时，说明启动成功：4.2.3打开facefusion软件打开facefusion软件，需要返回实例列表，点击自定义服务按钮，会打开一个新的浏览器窗口。这样，我们才能够通过web浏览器来访问facefusion提供的UI界面：在facefusion软件界面上（见上图），上传准备好的图片，视频后，在右侧可以看到预览效果。点击下方的开始按钮，执行换脸处理。执行完成后，在输出的位置，会出现处理后的视频，输出窗口的右上角有一个下载按钮，点击它你可以导出变量后的视频到本地。最后来看看效果：通过剪映制作的数字人视频：1.变脸前的视频：

第二十四期 FLUX之PULID换脸

Pure and Lightning ID customization(PuLID)是字节跳动团队开源的一种个性化文本到图像生成技术，通过对比学习和快速采样，实现无需微调模型就可以高效生成定制化的ID（身份）图像，轻松实现换脸。在PuLID基础上，字节团队又推出了PuLID-FLUX模型，支持FLUX模型的ID定制。具体的参数就不说了，我也不懂。看看具体应用。百度找了张神仙姐姐的图片。打开comfyui，导入pulid的工作流。看看效果。接下来是安装：pulid的安装是比较麻烦的，需要环境依赖。插件地址：https://github.com/balazik/ComfyUI-PuLID-Flux，跟着说明自己安装。[pulid_flux_v0.9.0.safetensors](https://huggingface.co/guozinan/PuLID/blob/main/pulid_flux_v0.9.0.safetensors?download=true)放到ComfyUI/models/pulid/中，EVA CLIP是EVA02-CLIP-L-14-336，应该会自动下载（将位于huggingface目录下）。如果由于某种原因自动下载失败，请手动下载此EVA-CLIP模型，将文件放入ComfyUI/models/clip并重新启动ComfyUI。两个文件都我都放网盘里了。然后是难点facexlib和insightface的安装，如果之前有用过sdxl的pulid换脸的，应该安装过。没装过的需要自己多摸索摸索了。如果装不了，也不要着急，可以去https://huggingface.co/spaces/yanze/PuLID-FLUX体验一下。

其他人在问
ai换脸工具
以下为您介绍一些 AI 换脸工具及相关使用方法： Face Swapper： 特点：一次可替换多张脸，支持 JPG、PNG、WEBP 格式，最大 1024px 分辨率。 应用场景：时尚、美容、电影、媒体、人力资源。 传送门： 通过创建实例进行 AI 换脸： 点击右下角的创建实例按钮，创建并启动实例（即启动一台服务器）。 点击快捷工具中顶部的 JupyterLab 打开工具，通过终端启动 facefusion。 点击顶部的“+”号选项卡，新打开一个终端窗口。 在终端窗口中输入以下命令： 查看文件列表：输入“ls”并按回车。 进入 facefusion 目录：输入“cd facefusion”并按回车。 启动 facefusion：输入“python./run.pyexecutionproviders cuda cpu”（注意：后面的参数“executionproviders cuda cpu”非常重要，如果不加 cuda，则默认不使用 GPU 能力，推理将非常慢）。 当出现提示信息时，说明启动成功。 打开 facefusion 软件，需要返回实例列表，点击自定义服务按钮，会打开一个新的浏览器窗口。 在 facefusion 软件界面上，上传准备好的图片、视频后，在右侧可以看到预览效果。点击下方的开始按钮，执行换脸处理。 星流一站式 AI 设计工具中的换脸功能： 自动替换原图的脸部信息。 使用方法：选中图像进入扩展功能界面，自动提取面部信息；上传想要替换到图像的图片；参数方面，提示词框会自动根据图像进行填充，无需手动填写，重绘风格选择与放大图像相对应的风格，会提升换脸效果，其余参数默认即可。
2025-04-08
换脸工具
以下是关于换脸工具的相关信息： 星流一站式 AI 设计工具中的换脸功能： 什么是换脸：自动替换原图的脸部信息。 如何使用：选中图像进入扩展功能界面，自动提取面部信息；上传想要替换到图像的图片；参数方面，提示词框会自动根据图像进行填充，无需手动填写，重绘风格选择与放大图像相对应的风格会提升换脸效果，其余参数默认即可。 一些换脸应用： 1. 在线换脸，使用上传的图片。 2. 在线视频操纵软件。 3. 在照片上交换面孔，效果出众。 4. 在自拍上叠加名人的脸。 5. 实时换脸的视频通话。 6. 在线媒体中的换脸。 7. 在线图片换脸。 8. 改进的实时换脸视频通话。 9. 视频和图片的换脸解决方案。 辅助工具：换脸 Face Swapper：AI 换脸工具，一次替换多张脸，支持 JPG、PNG、WEBP 格式，最大 1024px 分辨率，应用场景包括时尚、美容、电影、媒体、人力资源。传送门：
2025-04-08
AI视频换脸
以下是一种每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频的方法： 1. 整体流程介绍： 数字人视频的整体制作流程大致分为三步，包括创建视频内容（通过输入文稿内容确定数字人播出的内容）、生成数字人（通过工具以及视频内容生产数字人形象及播放语音）、AI 换脸（通过 AI 工具将数字人的脸转换成指定宣传的形象，以便以自己的品牌形式宣传）。 2. AI 换脸步骤： 点击右下角的创建实例按钮，创建并启动实例（即启动一台服务器），在容器实例列表中可看到创建的实例。 点击快捷工具中顶部的 JupyterLab 打开工具，通过终端启动 facefusion。 点击顶部的“+”号选项卡，新打开一个终端窗口，在终端区域启动一个终端选项卡。 在打开的终端窗口中，输入 3 条命令：查看文件列表（输入“ls”并按回车）、进入 facefusion 目录（输入“cd facefusion”并按回车）、启动 facefusion（输入“python./run.py executionproviders cuda cpu”），注意后面的参数“executionproviders cuda cpu”非常重要，如果不加“cuda”，默认不使用 GPU 能力，推理将非常慢。 当出现提示信息时，说明启动成功。 打开 facefusion 软件，需要返回实例列表，点击自定义服务按钮，会打开一个新的浏览器窗口，通过 web 浏览器来访问 facefusion 提供的 UI 界面。 在 facefusion 软件界面上，上传准备好的图片、视频后，在右侧可以看到预览效果。点击下方的开始按钮，执行换脸处理。 3. 效果及成本： 执行完成后，在输出的位置会出现处理后的视频，输出窗口的右上角有一个下载按钮，点击可导出变量后的视频到本地。 总成本方面，时间大约 10 分钟左右，制作数字人视频免费，数字人换脸约 0.8 元。数字人换脸时长方面，经实际测试 1 分 28 秒的视频，总转换时间在 200 秒。GPU 服务器此次整体运行时长所需花费 0.97 元，facefusion 软件运行其实只占服务器运行时长的一部分，所以换脸的成本应该在 0.8 元左右。 变脸前和变脸后的视频示例： 变脸前的视频： 变脸后的视频：
2025-04-01
视频AI换脸
以下是关于视频 AI 换脸的相关内容： 制作方法和步骤： 1. 执行完成相关操作后，在输出位置会出现处理后的视频，输出窗口右上角有下载按钮，可导出变量后的视频到本地。 2. 上传原始视频和换脸图片，然后点击生成，即可实现视频换脸。 3. 制作数字人视频时，可在显示区域拖动背景图的角来调整尺寸，将数字人拖动到合适位置，还可增加字幕，点击文本智能字幕识别字幕并开始识别，软件会自动智能分段形成字幕，完成后点击右上角“导出”按钮导出备用。 效果展示： 提供了变脸前和变脸后的视频示例。 成本和时间： 1. 总成本方面，制作数字人视频免费，数字人换脸约 0.8 元。 2. 时间上，整个过程大约 10 分钟左右，经实际测试 1 分 28 秒的视频，总转换时间在 200 秒。 相关工具和功能： 1. 创意工具箱中包含数字人口播配音、图片换脸、视频换脸、音频合成数字人、AI 配音等功能。 数字人口播配音：输入口播文案，选择期望生成的数字人形象及目标语言即可生成数字人口播视频。 图片换脸：上传原始图片和换脸图片，一键实现素材换脸。 音频合成数字人：上传音频文件，基于音频合成对应的数字人视频，支持 100+数字人模板。 AI 配音：多语种智能配音，支持区分男声和女声。 注意事项： 1. 图片换脸时，图片大小上限 5M，支持 JPG、PNG 格式。 2. 音频合成数字人时，音频文件支持 MP3 和 WAV 格式，文件大小上限 5M。 3. AI 配音时，输入的配音文案需和选择音色语种保持一致。
2025-04-01
视频换脸
以下是关于视频换脸的相关信息： TecCreative 工具： 自动识别视频中的人脸，并将其替换为选择的脸部，实现在视频中快速、精确地替换人物的脸部。 操作指引：上传原始视频——上传换脸图片——点击生成 Swapface 工具（有免费额度）： 图片换脸、视频换脸，直播实时换脸，需要下载电脑客户端使用，没有在线版，可以通过邀请好友、点评软件获取积分。 视频换脸可以上传视频或者 gif 图，换脸可以识别图片、视频里的多张脸进行替换。 效果预览：左边原视频，右边换脸后效果。 网址：https://swapface.org//home Viggle 工具（有免费额度）： 可完成视频换脸。 功能及操作： /mix:将角色图像混合到动态视频中，上传一张字符清晰的图片和一段清晰运动的视频。 /animate:使用文本运动提示为静态角色设置动画，上传一张字符清晰的图片，描述想让角色做的动作（也可以从 https://viggle.ai/prompt 中复制动作提示词）。 /ideate:纯粹从文本创建角色视频，描述想要创造的角色和希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /character:通过文本提示创建角色并将其动画化，描述想要创造的角色，从四个结果中选择一个图像，描述希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /stylize:使用文本提示符重新设计角色的样式并将其动画化，上传一张字符清晰的图片，描述想改变角色的任何地方来重新塑造它，从四个结果中选择一个图像，描述想要角色做的动作（或者从 https://viggle.ai/prompt 中复制动作提示词）。 官方提供了多种动作提示词可供参考，提示词地址：https://viggle.ai/prompt 网址：http://viggle.ai ，discord 免费体验：https://discord.com/invite/viggle
2025-03-31
免费AI换脸工具
以下为您介绍免费的 AI 换脸工具： 开源免费的解决方案 facefusion： 本机解决方案：需要 Python 环境及安装多个依赖软件，对编程知识有一定要求，且运行推理计算速度依赖 GPU，本地计算机若无 GPU 或显存较小，执行速度缓慢，不推荐本地化安装。 云服务解决方案：可利用云厂商如阿里云的 PAI 和 AutoDL 提供的大模型运行环境和计算能力，但会产生一定费用。以 AutoDL 为例，注册后在算力市场选择可接受价格的算力服务器，建议选取 GPU 配置更高的设备。然后通过模型镜像启动 GPU 服务器，在算法社区查找 facefusion 镜像，点击右下角创建实例按钮，启动实例，通过 JupyterLab 工具中的终端输入相关命令启动 facefusion，注意要加上“executionproviders cuda cpu”参数以使用 GPU 能力。最后打开 facefusion 软件，在软件界面上传准备好的图片、视频进行换脸处理。 星流一站式 AI 设计工具中的换脸功能：选中图像进入扩展功能界面，自动提取面部信息，上传想要替换到图像的图片，重绘风格选择与放大图像相对应的风格可提升换脸效果，其余参数默认即可。
2025-03-30
如果是小白新手，理论应用到实践中最重要的是什么
对于小白新手，将理论应用到实践中，以下几点最为重要： 1. 了解 AI 基本概念：建议阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。同时，浏览入门文章，了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅：在「」中，可找到为初学者设计的课程，特别推荐李宏毅老师的课程。还可通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习，并争取获得证书。 3. 选择感兴趣的模块深入学习：AI 领域广泛，如图像、音乐、视频等，可根据自身兴趣选择特定模块深入学习，同时掌握提示词技巧。 4. 实践和尝试：理论学习后，实践是巩固知识的关键。尝试使用各种产品做出作品，知识库中有很多实践后的作品和文章分享，欢迎分享自己的实践成果。 5. 体验 AI 产品：与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人互动，了解其工作原理和交互方式，获得对 AI 实际应用表现的第一手体验，激发对 AI 潜力的认识。 此外，就像有人认为“只要知道它的原理和历史，自然而然就会知道它的底线和顶点在哪里”，但实践中的体验和尝试同样不可或缺。
2025-04-13
学的理论模型如何高效指导实践，在教学中
在教学中，关于如何让学习的理论模型高效指导实践，以下是相关内容： 本系列课程是由 Deeplearning 联合谷歌 Gemini 团队开发的免费在线课程，以 Gemini 模型作为教学模型，教授如何使用多模态提示词与模型交互。但课程内容在国内存在部分无法应用的情况，且缺乏某些概念。因此，对部分教程内容进行了重新整理和刊发，并适当混合了一些入门概念，以增强普世价值。（如有需要，请访问） 在本节课程中您可以学到： 通过实践，与视频内容交互，辅助工作与学习。 通过实践，学习 Function Calling 概念与实际应用。 扩展阅读： )
2025-04-13
我应该如何系统学习本站的内容，以应用为主，基础理论为辅
如果您想系统学习本站内容，以应用为主、基础理论为辅，可以参考以下步骤： 基础理论方面： 了解人工智能、机器学习、深度学习的定义及其之间的关系。 简要回顾 AI 的发展历程和重要里程碑。 掌握数学基础，包括统计学基础（熟悉均值、中位数、方差等统计概念）、线性代数（了解向量、矩阵等基本概念）、概率论（基础的概率论知识，如条件概率、贝叶斯定理）。 算法和模型方面： 对于监督学习，了解常用算法，如线性回归、决策树、支持向量机（SVM）。 熟悉无监督学习中的聚类、降维等算法。 了解强化学习的基本概念。 评估和调优方面： 学会如何评估模型性能，包括交叉验证、精确度、召回率等。 掌握使用网格搜索等技术优化模型参数的方法。 神经网络基础方面： 理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 关于知识库的使用，以 Agent 板块为例： 链接： 用法：从下往上看，一个一个点进去，都有视频。 注意事项：共学都有视频，都是手把手从注册开始的教学，不会就多看几遍，基本保障一个工具能调通、一个 Agent 能搭好。确实内容有点多，点进去看看哪个工具您听过就从哪个工具开始，不然太累。 链接： 用法：看了一些视频之后，您就知道您要看理论还是应用了，找到导航，想看哪里点哪里。 备注：智能千帆、阿里云百炼都是有视频的，其余没有视频。 注意事项：内容较多，您如果都看到这里了，就要考虑聚焦了，先挑一个，开始手把手一起做起来，看看能不能持续用起来，只要您开始用起来，这事儿就成啦！快捷菜单找不到的话，看这里。
2025-03-10
关于AI绘画的所有理论知识
以下是关于 AI 绘画的理论知识： 1. 色彩方面： 颜色的冷暖特性：任何色系都有冷暖之分，并非绝对。黄色等暖色系色相占比不同会改变冷暖感觉。 色彩空间感：暖色看起来前进，冷色看起来后退。 色彩搭配：一般作品采用前暖后冷的色彩搭配，即背景用冷色，主体前景用红色或暖色调，冷色后退可增强空间感和纵深感。家装中冷色器可让房间看起来更大，远浅近深更有开放感。 色彩三要素：色相、明度和纯度。色相指颜色种类，明度指亮度，纯度指饱和度。 色彩心理学：色彩能影响人的情绪，在设计、市场营销、心理治疗等方面有重要作用，每年有流行色，不同颜色可表现多种正面和负面情绪。 色环和配色：三原色可调配出所有颜色，色环中有间色、复色，配色方案有同类色、邻近色、互补色等，不同配色有不同效果。 2. 光源方面： 光源分类：包含自然光（如太阳光、月光）、人造光（如手电筒、路灯、闪光灯等，掌控性和对比度强）、环境光（来自周围自然环境，是折射光线，在表现主体与环境关系时重要）。 光的方向：不同方向光线能体现氛围、表达情绪，如逆光加底光用于塑造反派等，还列举顺光、侧光等不同光的效果及作用。 光的质量：硬光、强光和柔光区别明显，强光和硬光会形成强烈阴影，光线清晰，光与环境对比度高，能凸显主体；柔光与之相对，几乎无阴影，很柔和有氛围感。 光与提示词：光的知识对写提示词很重要，掌握这些才能写出有氛围感的提示词塑造角色形象。 3. 构图方面： 摄影构图：多样且不必严谨遵循特定规则，可同时满足多种构图方式，如 S 构图、三角形构图、引导线构图等，掌握构图知识能分析出更多图片信息。 AI 绘画构图：AI 生图的构图一般不会出大问题，除非刻意用提示词引导。
2025-03-06
我想学习制作机器人 机器狗等的原理及方法，给我一份理论指导和操作指南吧。
以下是关于制作机器人和机器狗的理论指导和操作指南： 具身智能是将机器学习算法适配至物理实体，与物理世界交互的人工智能范式。以 ChatGPT 为代表的“软件智能体”通过网页端、手机 APP 与用户交互，能接受多种模态指令实现复杂任务。具身智能体则将大模型嵌入物理实体，通过传感器与人类交流，强调与物理环境交互。人形机器人是具身智能的代表产品。 具身智能有三要素： 1. 本体：即硬件载体，不同环境有不同形态的硬件本体适应，如室内平地适用轮式机器人，崎岖地面适用四足机器人（机器狗）。 2. 智能：包括大模型、语音、图像、控制、导航等算法。 3. 环境：本体所交互的物理世界，本体、智能、环境高度耦合是高级智能基础。 具身智能还有四个模块：感知决策行动反馈。一个具身智能体的行动分为这四个步骤，分别由四个模块完成并形成闭环。在具身智能体与环境的交互中，智能算法通过本体传感器感知环境，做出决策操控本体执行动作任务影响环境，还可通过“交互学习”和拟人化思维学习适应环境实现智能增长。
2025-02-26
如何让ai写一篇很好的文学理论 论文
以下是关于如何让 AI 写一篇好的文学理论论文的相关内容： 首先，过度追求模型的正面描述和对齐人类价值观可能会带来问题。比如在文学创作中，道德过度正确和大量正面描述实际上是一种“对齐税”，会让模型变得愚蠢。像生成的游戏中主人公全是幸福人生，这样的故事缺乏冲突，人物单薄，不好看。而且全乎正确的道德和完美的正面在现实世界中并不存在，纵观文学史，伟大的文学作品几乎没有全是正面描述的，因为人类的心灵与生活极为复杂，痛苦、绝望和悲伤也是生命体验的一部分，只有正面的故事很难获得共鸣。 其次，好的文字能引起人的生理共鸣与情绪。人们在感受到好文字时，往往有一种被击中、头皮发麻的感觉。共鸣是文学的基础，有共鸣才有读者，有读者才有文学。文学映照的是人类相同的渴望与恐惧，人类之间的共性大于差异。对于像 GPT 这样的大语言模型，其预训练数据量大且丰富，储存了人类几乎所有可能的生命经验，理应能够学会引发人类的共鸣与情绪。 最后，在实际操作中，对于处理文本特别是 PDF，Claude 2 表现出色。可以将整本书粘贴到 Claude 的前一版本中取得不错的结果，新模型更强大。但需要注意的是，这些系统仍会产生幻觉，若要确保准确性，需检查其结果。
2025-01-29
能画技术路线图的prompt
以下是关于能画技术路线图的 prompt 相关内容： Midjourney Bot 的 Prompt 类型： 基本 Prompts：可以只是一个单词、短语或表情符号。 高级 Prompts：包括一个或多个图片 URL、多个文本短语以及一个或多个参数。其中，图片 URL 始终位于 prompt 的最前面，以影响完成结果的风格和内容。提示文字是对希望生成的图像的文本描述，精心编写的提示有助于生成惊艳的图像。参数可以改变生成图片的方式，需放在提示语的末尾。 ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，目前 Union 版本不建议权重调太高，结束时间也需注意。 Prompt engineering（提示工程）： 开发测试用例：定义任务和成功标准后，创建多样化的测试用例，包括典型示例和边界情况，以确保提示具有鲁棒性。 设计初步提示：制定初步提示，概述任务定义、良好响应的特征及必要上下文，添加规范输入和输出的示例供参考。 根据测试用例测试提示：使用初步提示将测试用例输入，评估模型响应与预期输出和成功标准的一致性，使用一致的评分标准进行系统性的性能评估。
2025-04-19
金融业相关AI应用场景或AI技术介绍
在金融业中，AI 有以下应用场景和技术： 1. 风控和反欺诈：用于识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：评估借款人的信用风险，帮助金融机构做出更好的贷款决策。 3. 投资分析：分析市场数据，辅助投资者做出更明智的投资决策。 4. 客户服务：提供 24/7 的客户服务，回答客户常见问题。 例如，Hebbia 获得近 1 亿美元 B 轮融资，其 AI 技术能够一次处理多达数百万份文档，在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等，并返回具体答案，主要面向金融服务公司，如对冲基金和投资银行，同时也适用于律师事务所等其他专业领域。
2025-04-15
stable diffusion底层技术
Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。
2025-04-15
学习AI怎么在工作中使用，提高工作效率，有必要从技术原理开始学习吗
学习 AI 在工作中使用以提高工作效率，不一定需要从技术原理开始学习。以下是一些相关的案例和建议： 案例一：GPT4VAct 是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。其应用场景在于以后互联网项目产品的原型设计自动化生成，能使生成效果更符合用户使用习惯，同时优化广告位的出现位置、时机和频率。它基于 AI 学习模型，通过视觉理解技术识别网页元素，能执行点击和输入字符操作等，但目前存在一些功能尚未支持，如处理视觉信息程度有限、不支持输入特殊键码等。 案例二：对于教师来说，有专门的 AI 减负指南。例如“AI 基础工作坊用 AI 刷新你的工作流”，从理解以 GPT 为代表的 AI 工作原理开始，了解其优势短板，学习写好提示词以获得高质量内容，并基于一线教师工作场景分享优秀提示词与 AI 工具，帮助解决日常工作中的常见问题，提高工作效率。 建议：您可以根据自身工作的具体需求和特点，有针对性地选择学习方向。如果您只是想快速应用 AI 提高工作效率，可以先从了解常见的 AI 工具和应用场景入手，掌握基本的操作和提示词编写技巧。但如果您希望更深入地理解和优化 AI 在工作中的应用，了解技术原理会有一定帮助。
2025-04-15
AI相关的最前沿技术网站
以下是一些 AI 相关的前沿技术网站： 1. OpenAI：提供了诸如 GPT 等先进的语言模型和相关技术。 2. Google AI：涵盖了多种 AI 领域的研究成果和应用。 3. Microsoft Research：在 AI 方面有众多创新研究和技术展示。 此外，WaytoAGI 也是一个致力于人工智能学习的中文知识库和社区平台，汇集了上千个人工智能网站和工具，提供最新的 AI 工具、应用、智能体和行业资讯。在没有任何推广的情况下，WaytoAGI 两年时间已有超过 300 万用户和超千万次的访问量，其目标是让每个人的学习过程少走弯路，让更多的人因 AI 而强大。目前合作过的公司/产品包括阿里云、通义千问、淘宝、智谱、支付宝等。
2025-04-15
，当前AI数字人发展的新态势，以及新技术和成果
当前 AI 数字人的发展呈现出以下新态势，并取得了一系列新技术和成果： 数字人简介： 数字人是运用数字技术创造的，虽现阶段未达科幻作品中的高度智能，但已在生活多场景中出现且应用爆发。业界对其尚无准确定义，一般可按技术栈分为真人驱动和算法驱动两类。真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要用于影视和直播带货，其表现质量与建模精细度及动捕设备精密程度相关，不过视觉算法进步使在无昂贵动捕设备时也能通过摄像头捕捉关键点信息实现不错效果。 B 端变现与创业方向： B 端变现细分包括高频率和大规模的内容生产细分，如文字、视频、3D 模型、AI 智能体等，底层是需求和数据收集及训练模型，算力和能源是关键。自媒体创业需具备内容创新和差异化，内容成本低且更新迭代快。游戏创业可做轻量化游戏，结合 AI 技术满足放松和社交需求，专注垂类赛道避免与大厂竞争。影视创业在 25 年将是拐点，更多内容会采用 AI 技术。广告营销创业重点是 AI 虚拟人，数字插画可走治愈类型，要明确平台用户画像和产品定位，做好次留存和引入私域。 AI 虚拟人的发展与创业机遇： AI 虚拟人从早期以首位为核心的宅文化虚拟偶像，发展到以 CG 技术和动捕语音合成技术为核心的角色，再到如今以动捕和人工智能技术为核心的服务型虚拟人。虚拟人产业链包括基础层的硬件和软件研发，平台层如商汤、百度等提供工具和系统，应用层涉及影视、传媒、游戏、金融、文旅等内容变现。未来 3 10 年，AI 虚拟人是 Web 3.0 的风口，提前布局有潜力的赛道可迎接机遇，但创业对创业者综合能力要求极高。 未来展望： 数字人未来有很多应用场景，如家庭中的数字人管家、学校中的数字人老师、商场里的数字人导购等。未来还会有很多技术突破，如将五感数据和躯壳控制参数作为输入，次世代算法可自我迭代升级和自行演化躯壳控制方式。通过 Dify 搭建数字人的开源项目可展现低门槛高度定制数字人的基本思路，数字人的核心在于 Agent 即灵魂，如何在 Dify 上编排专属数字人灵魂值得体验。期望随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，AI 既能提供高质量信息，也能关注用户情绪。
2025-04-14