如何用我的照片建一个数字人分身,不限时长,而且成本低

搭建直播分身可以参考以下步骤： 1. 构建数字人躯壳：建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。可以选择 live2d 作为数字人躯壳，这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎等驱动方式又更加轻量和简单。另外，卡通二次元的形象接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 2. 搭建智能体：创建一个智能体，输入人设等信息，放上相关工作流。配置完成后进行测试。需要注意的是，工作流中的某些插件 api_token 填的是个人 token，不能直接发布，可将 api_token 作为工作流最开始的输入，用户自己购买后输入 api_token 再使用然后发布。 3. 直播数据分析工作流的搭建与应用： 插件测试与选择：先测试插件是否好用，如遇到数据格式不对等问题需重新选择和调整。 工作流搭建步骤：从上传直播数据，到利用大模型优化提示词和整理数据，逐步完善工作流。 工作流效果提升：增加模型和节点，不断迭代工作流，使生成的直播分析和方案质量更好。 工作流封装与应用：将工作流封装成智能体，可用于回复用户问题和处理不同的直播数据。 相关问题探讨：讨论了如获取商品评价数据的方式，以及将直播工作拆分组合的可能性等问题。 工作流运行与问题排查：涉及直播数据工作流的运行，出现问题时考虑输出环节，还提到未启动工作流的情况及解决尝试。 报名流程介绍：包括通过网址找到报名链接，填写相关信息如名字、智能体名字、商店链接、文档说明等并提交。 AI 辅助文档生成：使用豆包等 AI 工具生成提交模板，如主题、应用场景、主要功能、设计思路等内容。 加入共学小组：提到飞书中的共学小组和 prompt 学习群，满员时考虑新建或加入其他相关群组。

以下是一些制作数字分身的方法和相关信息： 可以在一些网站如 Elevenlabs.io、speechify.com、Heygen 等自助购买服务，以低成本制作自己的数字人分身。 当 Coze 接入飞书后，将自己的知识数据上传到 Coze，基于个人知识库开发 bot，并将其部署到个人订阅号上，这个 bot 可以作为数字分身与粉丝互动。 通过整合知识库，并结合提示词进行情感或行为上的描述，可以创建一个 bot，形成自己的数字分身。

实现基于个人聊天记录的数字分身的最佳实践包括以下方面： 虚拟数字人的类型和驱动方式： 虚拟数字人通过各种技术创造，具有外观、行为和思想等人类特征，呈现为虚拟形象。 从驱动层面可分为中之人驱动和 AI 驱动两类。中之人驱动运用动作捕捉和面部捕捉技术实现交互，有上限且缺乏高并发和量产化能力；AI 驱动使用 AI 技术创建、驱动和生成内容，赋予感知和表达等交互能力。 虚拟数字人的应用类型： 服务型：如虚拟主播、助手、教师、客服和医生等，为物理世界提供服务。 表演型：如虚拟偶像，用于娱乐、影视等场景。 身份型：是物理世界“真人”进入虚拟世界的数字分身，在元宇宙中有广泛应用场景。 相关开源项目： 熊猫大侠基于 COW 框架的 ChatBot 最新版本支持多端部署、基础对话、语音识别、图片生成、丰富插件、Tool 工具和知识库等功能。可接入个人微信、微信公众号、企业微信应用，支持多种模型和个性化插件扩展，通过上传知识库文件自定义专属机器人，可作为数字分身、领域知识库、智能客服使用。项目地址包括 Github：https://github.com/zhayujie/chatgptonwechat ，Gitee：https://gitee.com/zhayujie/chatgptonwechat 。

以下是使用扣子完成 AI 数字分身搭建的步骤： 1. 登录扣子官网（https://www.coze.cn/）并注册。 2. 创建个人 Bot： 点击个人空间。 点击创建 Bot。 填入 Bot 的名字和功能介绍，以及上传或生成对应的头像。如果没想好，可以先随便填，后面可更改。 3. 在搭建生产力工具的过程中，要先深入了解自己的工作内容和需求，做出有针对性的规划。 4. 通过整合知识库，并结合提示词进行情感或行为上的描述，创建一个 Bot，形成自己的数字分身。 5. 构建整个 Flow 时要尽量减少控件使用（非必要不增加），越少的控件代表越少的逻辑，越少的逻辑代表越小的运行风险。 6. 对于复杂的批处理任务，尽量平衡批处理次数和并发，同时还要考虑模型的推理速度，不然会增大推理失败的概率。 需要注意的是，Coze 目前提供的组件，包括 bot 等工具，能满足一些基本的生产力搭建需求。虽然现阶段它还不支持循环等高级功能，但未来有望支持更多工作流的设计模式。自 Coze 推出以来，它已明确面向 C 端用户，这些用户能从中获得实质性好处。

构建一个 AI 数字人分身主要包括以下两个方面： 一、构建数字人躯壳 数字人的躯壳建模有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，在日本、东南亚等国家比较受欢迎，也深受年轻人喜欢。能将喜欢的动漫人物变成数字人的躯壳。代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高。目前有很多公司都在做这个方向的创业，已经可以实现用户通过手机摄像头快速创建一个自己的虚拟人身体。如 NextHuman、Unity，虚幻引擎 MetaHuman 等。但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：虽然省去了建模流程，直接生成数字人的展示图片，但弊端也明显，算法生成的数字人很难保持 ID 一致性，帧与帧的连贯性上会让人有虚假的感觉。如果项目对人物模型真实度要求没有那么高，可以使用这种方案。典型的项目有 wav2lip等。AIGC 还有一个方向是直接生成 2d/3d 引擎的模型，而不是直接生成数字人的最终展示部分，但该方向还在探索中。 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 二、构建数字人灵魂 有了数字人躯壳，还需要构建数字人的灵魂，让数字人具备各种智能，比如记得个人信息，充当个人助手；在某个领域具备更专业的知识；能处理复杂的任务等等。实现这些能力有以下几个工程关键点： 1. AI Agent：要想数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块，工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过接口定义，躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等，视躯壳部分的实现而定。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对来说成熟一些，但都是闭源的，效果可以参考 Nvidia 的 Audio2Face。 3. 实时性：由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：仅仅是语音交互的数字人是远远不够的，人有五感（听觉、视觉、嗅觉、触觉、味觉），听觉只是其中一种，其他的感官可以根据实际需求来做，比如视觉可以通过添加摄像头数据来获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流的时候不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。

目前在 AI 社交产品领域，有一些相关的探索和尝试。例如，某 AI 社交 APP 创始人认为，在社交场景中，核心分为陌生人社交和熟人社交。他们尝试过纯 AI 虚拟陪聊产品，但发现用户主要是年龄偏低的人群，商业价值相对较低，且可能被模型侵蚀。有效的用户留存来源于真实的人际关系，越接近熟人社交的场景，平台的用户留存能力越高。 同时，AI 赛道投资人认为，产品不应仅限于情感陪伴，应扩展为类人助手，解决理性严肃场景的问题解决和感性需求的满足。AI 社交软件的开发者认为，为用户打造数字分身、创造社交关系是有价值的，通过 AI Agent 可以在人与人之间创造新的社交关系，用户也愿意为这种新型社交互动支付相当的金额。但目前尚未有明确的专门以 AI 分身促进真人交友的成熟产品。

旧照片修复是 AI 绘画领域中的一项重要应用。以下是关于旧照片修复的一些相关信息： 以往解决旧照片修复问题往往需要搭建极为复杂的工作流，现在 GPT 4O 只需要一句话就可以实现。 图像放大修复是 AI 绘画领域必不可少的一部分，利用 AI 技术进行图像修复，可以让模糊的旧照片重现清晰，保留珍贵回忆。例如，以前手机拍摄的低分辨率图片，放到如今智能手机上观看会非常模糊，这时可用 AI 技术进行高清修复。 ComfyUI 结合特定工作流，只需十几个基础节点就能实现较好的老照片修复效果。 参数调节方面，一般先确认放大倍数，然后根据出来的图片调整 controlNet 的强度。 Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用合成复杂数据退化方案进行训练，目的是让模型学会处理各种真实世界中可能遇到的图像退化情况。 Flux Ultimator 能增加小细节，增强色彩，在 0.1 的强度设置下也有显著效果，能顺利集成到工作流程中，与其他 LORA 结合使用时强度需小于 0.5。 若图片质量细节不够，可选择 T5 Clip 的 fp16 版本。

要改变照片中人物的表情，可以通过以下几种方式： 1. 在使用 SD 脸部修复插件 After Detailer 时，输入如“伤心、流泪”这样针对表情的正负提示词，人物的表情会进行相应改变。但输入“带着墨镜”可能没有效果。 2. 使用 Magic Brush 工具，选中人物的眉毛、眼睛、嘴唇等部位，通过调节轨迹的方向来实现合理的表情变化。 3. 在 Midjourney V6 中，若遇到无法改变角色脸部等问题，可按照以下步骤排除故障：首先确保写了强有力的提示以建议新的姿势、风格或细节；若角色抗拒被操纵，可能是 cref 图像支配了提示，可通过使用 cw进行处理，尝试将提示与较低的 cref 权重一起使用，如 cw 60，按照特定步骤操作，还可考虑使用 来恢复面部区域。

老照片修复是一个具有一定复杂性但通过 AI 技术可以实现较好效果的领域。以下是一些相关信息： 在解决老照片修复问题上，以往 AI 往往需要搭建极为复杂的工作流，而现在 GPT 4O 只需要一句话就可以实现。 对于老照片上色，可启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染功能，在显存不够的情况下将图片放大到足够倍数。 对于复杂的老照片，如人物多、场景复杂、像素低的情况，可在 PS 里进行角度调整和照片裁切，然后上色。若直接上色效果不佳，可放弃人物服装颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 来控制颜色，使用 t2ia_color 模型，给出简单关键词如“蓝天、绿树、灰石砖”。 ComfyUI 老照片修复结合 Flux Controlnet Upscale 工作流，以前的工作流较复杂，现在只要十几个基础节点就能实现同样甚至更好的效果。一般先确认放大倍数，再根据图片调整 controlNet 的强度。Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用特定训练方式处理各种真实世界中可能遇到的图像退化情况。Flux Ultimator 能增加小细节和放大色调丰富性、深度，在 0.1 强度设置下有显著增强效果，能顺利集成到工作流程中，与其他 LORA 结合使用时强度需小于 0.5。若图片质量细节不够，可选择 fp16 版本的 T5 Clip。

以下是使用 AI 将老照片变高清的步骤： 1. 给老照片上色：为做到颜色与内容统一，可启用 cutoff 插件，按顺序设置好颜色提示词。不了解该插件的可参考文章。 2. 使照片人脸变清晰：将照片放入后期处理，使用 GFPGAN 算法，可参考文章。但此步骤无法使头发、衣服等元素变清晰。 3. 放大照片：将图片发送到图生图中，打开 stableSR 脚本，放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的，可参考文章。切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可不写以免干扰原图。 4. 显存不够时：启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染功能帮助放大图片。 5. 处理复杂照片：对于人物多、场景复杂、像素低的照片，可先在 ps 里调整角度和裁切，然后上色。若直接上色效果不佳，可放弃人物服装颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 控制颜色，使用 t2ia_color 模型，给出简单关键词，如“蓝天、绿树、灰石砖”。最后进行脸部修复和放大。

以下是让老照片变清晰的方法： 1. 将照片放入后期处理中，使用 GFPGAN 算法使人脸变清晰。您可以参考文章。 2. 将图片发送到图生图中，打开 stableSR 脚本，放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的。您可以参考文章。 3. 切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可以不写以免对原图产生干扰。 4. 启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染的功能，能在显存不够的情况下将图片放大到足够的倍数。 5. 对于复杂的照片，可先在 ps 里面进行角度调整和照片裁切，然后使用上述步骤进行上色。若直接上色效果不佳，可放弃人物服装的颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 来控制颜色，使用 t2ia_color 的模型，给出简单的关键词，如“蓝天、绿树、灰石砖”。 另外，进行超清无损放大修复需要准备以下文件和操作： 1. 使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型，放入 stablediffusionwebui/models/StableDiffusion/文件夹中。 2. 将 StableSR 模块（约 400M 大小）放入 stablediffusionwebui/extensions/sdwebuistablesr/models/文件夹中。 3. 将 VQVAE（约 750MB 大小）放在 stablediffusionwebui/models/VAE 中。

老照片修复是一项具有一定复杂性的工作，但随着 AI 技术的发展，实现方式也在不断改进和优化。 以往，AI 在解决老照片修复问题时，往往需要搭建极为复杂的工作流。而现在，例如 GPT 4O 只需要一句话，就可以实现部分修复需求。 在具体的修复方法中，如使用 SD 进行老照片上色，可以启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染的功能，在显存不够的情况下将图片放大到足够的倍数。对于复杂的老照片，如人物多、场景复杂、像素低的情况，可以先在 ps 里面进行角度调整和照片裁切，然后进行上色。若直接上色效果不佳，可放弃人物服装的颜色指定，只给场景方向，让 AI 自行决定，还可加入第二个 controlnet 来控制颜色。 ComfyUI 老照片修复结合 Flux Controlnet Upscale 工作流，以前复杂的工作流现在只要十几个基础的节点就能实现同样的效果甚至更好。其中涉及参数的调节，一般先确认放大的倍数，然后根据出来的图片来调整 controlNet 的强度。Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用合成复杂数据退化方案进行训练。Flux Ultimator 能增加小细节和放大色调的丰富性和深度，在 0.1 的强度设置下也能有显著增强效果，能顺利集成到工作流程中。若图片质量细节不够，T5 Clip 选择 fp16 的版本。