以下是一些数字人唱歌的 AI 工具及相关信息:
【TecCreative】创意工具箱:
数字人口播配音:输入口播文案,选择数字人形象、目标语言和输出类型,即可生成数字人口播视频。操作指引:输入口播文案——选择目标语言——选择数字人角色——选择输出类型——点击开始生成。
音频合成数字人:上传音频文件,选择数字人角色和输出类型,即可基于音频合成对应的数字人视频。操作指引:上传音频文件——选择数字人角色——选择输出类型——点击开始生成。注意:音频文件支持 MP3 和 WAV 格式,文件大小上限 5M。
电商带货本地生活:
三种方式创作数字人脸:使用逼真的照片或插图人脸、上传自己的照片、利用 DID 自带的 Stable Diffusion 的能力生成想象中的人脸。
三种方式让数字人说话:用 GPT 直接生成脚本让数字人说话、先选好脸再输入脚本、上传自己的音频记录或从电影、电视剧中剪辑台词或吟唱自编歌曲。
AI 数字人:
算法驱动的数字人:开源代码仓库包括 ASR 语音识别(如 openai 的 whisper、wenet、speech_recognition)、AI Agent(大模型有 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等,Agent 部分可用 LangChain 的模块自定义)、TTS(如微软的 edgetts、VITS、sovitssvc 等)。
人物建模模型可通过手动建模(音频驱动)或 AIGC 的方式生成人物的动态效果(如 wav2lip 模型)。但简单构建方式存在一些问题,如生成指定人物的声音、TTS 生成的音频精确驱动数字人口型及动作、数字人使用知识库做出专业回答等。
2024-12-19