直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

主流TTS-语音合成技术

回答

语音合成(Speech Synthesis)是将文本转换为可听的声音信息,赋予了像人一样说话的能力,是人机交互的重要接口。一般而言,语音合成的概念比文语转换(Text-to-Speech,TTS)涵盖范围更广,包括 TTS、歌唱合成等领域,但多数情况下可混用。awesome-tts-samples提供了一些端到端语音合成模型的样例,可感受目前语音合成的发展。

人类通过一整套发音器官合成语音,肺相当于动力源,喉相当于调制器,声道相当于滤波器,口唇相当于扩音器。研究人员提出以源-滤波器(source-filter)模型为代表的多种模型建模该过程,语音中有清音和浊音,分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。

当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端将输入文本转换为层次化的语音学表征,主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征生成语音,主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法,当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分,也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征(如梅尔频谱),直接决定合成语音的韵律;声码器将中间声学特征转换为语音波形,直接决定合成语音的音质。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

TTS超全教程

语音合成(Speech Synthesis)将文本转换为可听的声音信息,它赋予了像人一样说话的能力,是人机交互的重要接口。一般来说,语音合成的概念比文语转换(Text-to-Speech,TTS)的涵盖范围更广,语音合成包括TTS、歌唱合成等领域,但大多数情况下可以混用。[awesome-tts-samples](https://github.com/seungwonpark/awesome-tts-samples)提供了一些端到端语音合成模型的样例,可以简单感受下目前语音合成的发展。人类可以通过一整套发音器官合成语音,具体来说,肺相当于动力源,喉相当于调制器,声道相当于滤波器,口唇相当于扩音器。研究人员提出了以源-滤波器(source-filter)模型为代表的多种模型建模该过程,语音中存在清音和浊音,分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。当代工业界主流语音合成系统包括文本前端和声学后端两个部分。文本前端将输入文本转换为层次化的语音学表征,主要包括文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征(linguistics feature)来生成语音,主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法,当代主要采用端到端声学后端。端到端声学后端一般包括声学模型和声码器两部分,同时也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征,比如梅尔频谱,直接决定合成语音的韵律;声码器将中间声学特征转换为语音波形,直接决定合成语音的音质。

其他人在问
tts
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 传统的语音合成技术一般会经过以下三个步骤: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 1. 接口描述: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 应用场景:在视频 APP 中作为配音解说;小说 App 完成有声阅读,移动 App 语音播报新闻;智能设备语音提醒;车载导航语音合成的个性化语音播报等。 提供多种方言和风格:包括普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格,满足客户在不同场景的选择需求。实时合成支持 SSML,语法详见 SSML 标记语言。 2. 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-04-14
适合客户端使用的 tts 模型有什么
以下是一些适合客户端使用的 TTS 模型: 1. Fish Speech:语音处理接近人类水平,约十五万小时三语数据,对中文支持完美。开发者为 fishaudio,具有亿级参数,高效轻量,可在个人设备上运行和微调,适合作为私人语音助手。详细介绍及更多演示:https://xiaohu.ai/p/10779 ,GitHub:https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS:只需 1 分钟语音即可训练一个自己的 TTS 模型,是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿,1 分钟的声音数据就能训练出高质量的 TTS 模型,完美克隆声音。支持零样本 TTS、少量样本训练、跨语言支持、易于使用的界面等。GitHub: 。
2025-03-17
spark tts
SparkTTS 是基于 Qwen2.5 的高效文本转语音(TTS)系统,具有以下特点: 1. 超越现有 TTS,结合 Qwen2.5 进行端到端生成。 2. 支持细粒度语音控制,包括性别、音调、语速等自定义参数。 3. 具备零样本语音克隆功能,无需目标声音样本,即可生成个性化高质量声音。 4. 采用 BiCodec 编码架构,简化流程,提高推理效率。 5. 与 Qwen2.5 LLM 集成,可直接通过 LLM 处理 TTS 任务,无需额外声学模型。
2025-03-11
tts
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 应用场景:在视频 APP 中作为配音解说;小说 App 完成有声阅读,移动 App 语音播报新闻;智能设备语音提醒;车载导航语音合成的个性化语音播报等。 提供多种方言和风格:包括普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格,满足客户在不同场景的选择需求。实时合成支持 SSML,语法详见 SSML 标记语言。 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-02-28
TTS
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 接口描述: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 可以将任意文本转化为语音,应用场景包括视频 APP 配音解说、小说 App 有声阅读、移动 App 语音播报新闻、智能设备语音提醒、车载导航语音合成的个性化语音播报等。提供了普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格。 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-02-14
推荐免费的tts公有模型站点,需要支持中文,克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点: GPTSoVITS: 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,且适配中文,界面易用。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: 需要注意的是,Stuart 模型存在一些问题: 语音生成基本功能方面: 支持的语音时长不超过 30 秒,超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失,比如“儿童节”在大概率会被 refine 成“童节”,丢失一个“儿”字。解决方法是跳过自动 refine,以手动修改文本的方式来控制停顿。 即使同一个 audio seed,如果使用不同的语句分段方式,或者不同的 text seed,生成的音色也不是很稳定,会给人感觉不是同一个人的声音。 代码 Bug: uv_break 等提示词可能会在 refine 之后缺少,甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明:不支持商用,仅用于学术研究。在生成的语音内,作者加了听不见的噪音水印,可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音,作者还只放出了 4w 小时训练的版本,确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
coze 语音克隆
以下是关于语音克隆的相关信息: 有一款适合小白用户的开源数字人工具,具有以下特点和功能: 特点:一键安装包,无需配置环境,简单易用。 功能:生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选。 系统兼容:支持 Windows、Linux、macOS。 模型支持:MuseTalk(文本到语音)、CosyVoice(语音克隆)。 使用步骤:下载 8G + 3G 语音模型包,启动模型即可。 GitHub 链接: 官网链接: 另外,CosyVoice 声音克隆仅需几秒音频样本,无需额外训练数据,可控制情绪情感、语速、音高。 详细内容:https://xiaohu.ai/p/10954 项目地址:https://funaudiollm.github.io 在线演示:https://modelscope.cn/studios/iic/CosyVoice300M
2025-04-12
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和使用步骤: 特点: 1. 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出来的声音更接近原声且自然。 3. 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 4. 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 6. 提供预训练模型:项目提供了一些已经训练好的模型,可直接下载使用。 使用步骤: 1. 前置数据获取处理: 选择音频,开启切割。 有噪音时,进行降噪处理。 降噪处理完成,开启离线 ASR。 2. GPTSowitsTTS: 训练集格式化:开启一键三连,耐心等待。 微调训练:开启 SoVITS 训练和 GPT 训练。 推理:开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻:开启声音复刻之旅,可实现跨多语种语言的声音。 相关资源: GitHub:https://github.com/RVCBoss/GPTSoVITS 视频教程:https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备:点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ,新建笔记本,运行脚本启动 GPTSo VITS,整个过程比较漫长,需要耐心等待,可以整个脚本一起运行,也可以一段一段运行;运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI,运行成功后出现 public URL。 实践样本: AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-04-12
文字转语音
以下是关于文字转语音的相关内容: DubbingX2.0.3: 界面与国内版相同,使用了沉浸式翻译功能,可能看起来较乱。 第一个选项是文字转语音,与国内版相同,不做重复演示。 重点介绍第二项“创建您的语音克隆”: 上传语音(想克隆的声音原始文件)。 给声音命名,方便以后配音选择。 选择语言。 勾选相关选项,点击转变即可生成。 注意:原音频若有背景音乐,最好在剪影中去除,以使生成的音色模型效果更好、更纯净。 Hedra: 可以直接文字转语音,目前有 6 个语音。 也可以直接上传音频。
2025-04-11
语音转文字
以下是关于语音转文字的相关信息: 推荐使用 OpenAI 的 wishper 进行语音转文字,相关链接:https://huggingface.co/openai/whisperlargev2 。一分钟搞定 23 分钟的音频,相关链接:https://huggingface.co/spaces/sanchitgandhi/whisperjax 。此项目在 JAX 上运行,后端支持 TPU v48,与 A100 GPU 上的 PyTorch 相比,快 70 多倍,是目前最快的 Whisper API 。 语音转文本(Speech to text): 介绍:语音转文本 API 提供转录和翻译两个端点,基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言,将音频翻译并转录成英语。目前文件上传限制为 25MB,支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 快速入门: 转录:转录 API 的输入是要转录的音频文件及所需输出格式的音频文字稿,默认响应类型为包含原始文本的 JSON,可添加更多带有相关选项的form 行设置其他参数。 翻译:翻译 API 输入任何支持语言的音频文件,必要时转录成英语,目前仅支持英语翻译。 更长输入:默认 Whisper API 仅支持小于 25MB 的文件,若音频文件更长,需分成小于 25MB 的块或使用压缩后格式,可使用 PyDub 开源 Python 软件包拆分声频文件,但 OpenAI 对其可用性或安全性不作保证。 提示:可使用提示提高 Whisper API 生成的转录质量,如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略、保留填充词汇、处理不同书写风格等。
2025-04-08
实时翻译视频语音
以下是为您整理的相关信息: 实时翻译视频语音的工具: StreamSpeech:这是一个实时语言翻译模型,能够实现流媒体语音输入的实时翻译,输出目标语音和文本,具有同步翻译、低延迟的特点,还能展示实时语音识别结果。 给视频配音效的 AI 工具: 支持 50 多种语言的配音,音质自然流畅,提供实时配音功能,适用于直播和演讲,能将语音转录为文本,方便后期字幕制作和编辑。 Vidnoz AI:支持 23 多种语言的配音,音质高保真,支持文本转语音和语音克隆功能,提供语音参数自定义和背景音乐添加工具,提供面向个人和企业的经济实惠的定价方案。 在选择视频配音工具时,请考虑支持的语言数量、语音质量、自定义选项和价格等因素。
2025-04-07
文本转语音
以下是关于文本转语音的相关信息: 在线 TTS 工具推荐: Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种平台的应用使用,用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio:https://speech.microsoft.com/portal ,提供了支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供了自定义的语音模型。 Voicemaker:https://voicemaker.in/ ,可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,易于使用,适合为视频制作画外音或帮助视障人士。 语音合成技术原理: 传统的语音合成技术一般会经过以下三个步骤: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后一次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 OpenAI 新一代音频模型: OpenAI 于 2025 年 3 月 20 日推出了全新的音频模型,包括改进的语音转文本和文本转语音功能。 语音转文本模型在单词错误率和语言识别准确性方面相较于原有的 Whisper 模型有显著提升,能更好地捕捉语音细节,减少误识别,在多语言评估基准上表现优异。 文本转语音模型具备更高的可定制性,支持个性化语音风格,目前支持人工预设的语音样式,并通过监控确保语音与合成预设一致。 测试地址:https://www.openai.fm/ 直播回放:https://www.youtube.com/watch?v=lXb0L16ISAc 说明文档:https://openai.com/index/introducingournextgenerationaudiomodels/ 内容由 AI 大模型生成,请仔细甄别。
2025-04-01
国内主流的大语言模型公司有哪几家
国内主流的大语言模型公司主要有以下几家: 1. 百度:其文心一言大语言模型可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成等。 2. 阿里巴巴:拥有通义大模型。 3. 北京智源人工智能研究院:推出了“悟道・天鹰”,是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。
2025-03-20
现在有哪些类型的AI智能工具,每个类型分别有哪些主流产品,他们分别有什么优势
以下是一些常见类型的 AI 智能工具、主流产品及其优势: 1. 辅助编程工具: GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE,能快速提供代码建议,助开发者更快、更少地编写代码。 通义灵码:阿里巴巴推出,提供行级/函数级实时续写、自然语言生成代码等多种能力。 CodeWhisperer:亚马逊 AWS 团队推出,由机器学习技术驱动,为开发人员实时提供代码建议。 CodeGeeX:智谱 AI 推出的开源免费工具,基于 130 亿参数的预训练大模型,可快速生成代码提升效率。 Cody:Sourcegraph 推出,借助强大的代码语义索引和分析能力,了解开发者的整个代码库。 CodeFuse:蚂蚁集团支付宝团队推出的免费代码助手,基于自研基础大模型微调。 Codeium:通过提供代码建议等帮助软件开发人员提高编程效率和准确性。 更多辅助编程 AI 产品,可查看:https://www.waytoagi.com/category/65 。 2. 图生图工具: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感。 Retrato:将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:将上传照片转换为芭比风格,效果好。 这些工具通过组合技术生成创意且质量不错的相似图像,但存在性能不稳定、生成内容不当等局限。 3. PPT 制作工具: Gamma:在线网站,通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式。https://gamma.app/ 美图 AI PPT:由美图秀秀团队推出,通过输入简单文本描述生成专业 PPT 设计,包含丰富模板库和设计元素。https://www.xdesign.com/ppt/ Mindshow:提供自动布局、图像选择和文本优化等智能设计功能。https://www.mindshow.fun/ 讯飞智文:科大讯飞推出,利用语音识别和自然语言处理技术优势,提供智能文本生成等功能。https://zhiwen.xfyun.cn/
2025-03-16
如何自动化收集主流自媒体指定搜索到的主题内容?
目前没有关于如何自动化收集主流自媒体指定搜索到的主题内容的相关知识。但一般来说,您可以考虑以下几种可能的方法: 1. 使用网络爬虫工具,但需要注意遵守相关法律法规和网站的使用规则。 2. 利用一些现有的数据采集服务平台,它们可能提供针对自媒体内容的采集功能。 3. 尝试开发自定义的脚本或程序,通过调用自媒体平台的 API(如果有的话)来获取所需内容。但这通常需要一定的技术知识和开发能力。
2025-03-13
市面上主流的大模型有什么区别
市面上主流的大模型主要有以下区别: 1. 架构类型: Encoderonly:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 Encoderdecoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,用例包括翻译和摘要,代表是 Google 的 T5。 Decoderonly:更擅长自然语言生成任务,众多 AI 助手采用此结构,如 ChatGPT。 2. 处理信息类型: 大型语言模型:专注于处理和生成文本信息。 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息。 3. 应用场景: 大型语言模型:主要用于自然语言处理任务,如文本翻译、文本生成、情感分析等。 大型多模态模型:可应用于图像识别与描述、视频分析、语音识别与生成等更广泛的领域。 4. 数据需求: 大型语言模型:主要依赖大量的文本数据进行训练。 大型多模态模型:需要多种类型的数据进行训练,包括文本、图片、音频等。 5. 规模: 大模型的预训练数据非常大,往往来自互联网,包括论文、代码、公开网页等,一般用 TB 级别的数据进行预训练,参数也非常多,如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数。 6. 优秀模型: GPT4(网页版)、GPT4(API)、智谱清言、通义千问 2.0、AndesGPT(OPPO)、文心一言 4.0(API)、MoonShot(KimiChat)、Claude2、360 智脑、Qwen72BChat、文心一言 4.0(网页版)等。 7. 性能表现:国内外大模型存在差距,如 GPT4 Turbo 总分 90.63 分遥遥领先,国内最好模型文心一言 4.0(API)总分 79.02 分,与 GPT4 Turbo 有一定差距。
2025-03-13
有没有一款智能客服软件,支持同时接入抖音、天猫、淘宝、京东、拼多多、得物等主流平台的售前售后咨询问题,并根据客户关键字自动回复
目前已知以下智能客服算法: 天猫小蜜智能客服算法:由浙江天猫网络有限公司提供,应用于手机天猫(APP)的在线智能客服场景,能识别文字或语音问题,结合智能客服知识库生成回答。 钉钉智能客服算法:由钉钉科技有限公司提供,应用于钉钉(APP)的在线智能客服场景,能根据用户咨询内容结合知识库生成多种形式的回答。 淘票票小蜜智能客服算法:由上海淘票票影视文化有限公司提供,应用于淘票票(APP)的在线智能客服场景,能根据用户咨询生成文本或语音智能回答。 1688 阿牛智能客服算法:由杭州阿里巴巴广告有限公司提供,应用于 1688 工业品(APP)、阿里巴巴(APP、网站)的在线智能客服场景,能结合知识库生成多种形式的回答。 但尚未有一款明确表明能同时接入抖音、天猫、淘宝、京东、拼多多、得物等主流平台售前售后咨询问题,并根据客户关键字自动回复的智能客服软件。
2025-03-05
有哪些主流 免费的文字生成语音的工具?
以下是一些主流免费的文字生成语音的工具: 1. Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 2. Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种平台应用使用,用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio:https://speech.microsoft.com/portal ,是一套服务,提供了支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供了自定义的语音模型。 4. Voicemaker:https://voicemaker.in/ ,可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,易于使用,适合为视频制作画外音或帮助视障人士。 您还可以在 WaytoAGI 的工具网站上查看更多推荐:https://www.waytoagi.com/sites/category/50 。请注意,内容由 AI 大模型生成,请仔细甄别。
2025-03-05
好用的人声合成AI
以下是一些好用的人声合成 AI 相关内容: 1. 关于 AI 孙燕姿的生成: 推荐归臧写的通俗易懂的教程: 《》 《》 项目主要使用 SoVITSSVC 4.0,可在。 模型使用分为原始声音处理、推理过程和音轨合并三个部分。使用 UVR_v5.5.0 软件处理声音,保留人物的干声。运行整合包的 Web UI 进行声音推理,需将模型文件和配置文件放置正确文件夹下。分割后的素材尽量不要超过显存大小,使用【slicergui】软件进行分割。最终得到的处理好的人声素材可用于训练模型。 2. 深度伪造技术: 深度伪造技术(deepfakes)是利用 AI 程序和深度学习算法实现音视频模拟和伪造的技术,投入深度学习的内容库越大,合成的视音频真实性越高,甚至能以假乱真。 粉丝们会通过 Stems 音轨分离工具将人声与原始歌曲分离,再使用人声转换模型将人声转换成另一位明星的风格,然后将新的人声轨道与原始作品重新拼接在一起。DiffSVC 是一种流行的用于此目的的语音传输模型。 3. 制作 AI 古人骂人视频: 声音克隆: 工具:Fish Audio 操作:准备一段需要克隆的音频(可以是类似屈原的古风声音,或自行录制一段),打开网站 https://fish.audio/zhCN/train/newmodel/ ,上传音频,按照指引完成声音克隆,进入声音库选择需要使用的声音,将生成的文案输入,使用克隆好的声音生成对应的音频文件并下载备用。 视频合成: 工具:Viggle.ai 操作:在网上下载“回答我”的原视频,打开 Viggle.ai 网站(https://viggle.ai/createmix ),登录后上传“回答我”原视频和人物形象图生成新版本视频,预览效果并下载。 视频剪辑: 工具:剪映 操作:打开剪映软件(手机或电脑版均可),导入合成好的新视频和生成的音频文件,将音频与视频时间轴对齐,添加字幕等,如需叠加特殊背景,可导入自己的背景图(如楚国风景),预览整个视频,检查效果并微调后导出最终视频。 请注意版权问题,请勿侵犯他人音乐版权。
2025-03-24
免费语音合成API
以下是关于出门问问语音合成(TTS)API 的相关信息: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 调用参数及说明: 字段名:text 必填:是 类型:String 描述:要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey 必填:是 类型:String 描述:开发者在 AI 开放平台上申请的 appkey。 字段名:signature 必填:是 类型:String 描述:签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp 必填:是 类型:Long 描述:当前时间戳,单位为秒。 字段名:speaker 必填:否 类型:String 描述:合成音频指定发音人。默认值:cissy_meet。其他发音人传值及计费价格请参考声音商店。 字段名:audio_type 必填:否 类型:String 描述:合成音频的格式。默认值:mp3。可选值:pcm/mp3/speexwb10/wav。只支持这四种格式中的一种。 字段名:speed 必填:否 类型:Float 描述:发音人合成的语速,支持小数点后两位。默认值:1.0。可选值:0.5 2.0。 字段名:convert 必填:否 类型:String 描述:默认值:无。可选值:robot。是否转化为机器声。 字段名:rate 必填:否 类型:Long 描述:音频采样率。默认值:无,由 speaker 指定默认值。可选值:8000/16000/24000。 字段名:volume 必填:否 类型:Float 描述:合成音量。默认值:1.0。可选值:0.1 1.0。 字段名:pitch 必填:否 类型:Float 描述:语调参数,参数小于 0 则语调变低,反之则高。默认值:0。可选值:10 < pitch < 10(streaming 接口不支持)。 字段名:symbol_sil 必填:否 类型:String 描述:符号停顿时长映射方法(逗号分割)见下方停顿符号映射表。充值后自动开通权限(streaming 接口不支持)。 字段名:ignore_limit 必填:否 类型:Boolean 描述:默认值:false。可选值:false/true。是否限制字符数,如果设置 true,传输的文本可以超过 1000 字符限制,最大字符数 3000。充值后自动开通权限。 出门问问语音合成技术(TTS)可以将任意文本转化为语音,实现让机器和应用张口说话。其可应用于视频 APP 配音解说、小说 App 有声阅读、移动 App 新闻语音播报、智能设备语音提醒、车载导航语音合成的个性化语音播报等场景。该服务提供了普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格,满足不同场景的选择需求。实时合成支持 SSML,语法详见 SSML 标记语言。 HTTP Method:支持 POST 请求。
2025-03-07
如果我想对一首歌填新歌并合成演唱,用哪个AI工具
如果您想对一首歌填新词并合成演唱,可以使用以下 AI 工具: 1. ACE Studio: 实操步骤: 第一步:准备音频素材。使用干声转换,在软件中分别导入人声干声和伴奏,放在两个轨道上。干声用于转成 MIDI 做 AI 演唱。注意,男歌女唱或女歌男唱时,导入前先进行变调。常用工具如 TME Studio(地址:https://y.qq.com/tme_studio/index.html/editor ),可用于音频分离;Vocalremover(地址:https://vocalremover.org/zh/keybpmfinder ),包含音频分离、变调、BPM 查询等功能。 第二步:干声转换。转换前先将工程 BPM 设置为与歌曲一致,然后将音频轨道的文件拖入到空白的歌手轨道进行干声转换。 第三步:选择歌手。软件左侧有歌手可选择,长按拖动到歌手轨道的头像处即可切换歌手。 2. Suno 和 Udio:推出了上传音频文件生成音乐的功能,有了前置旋律,可以精确控制每首歌的速度、旋律、配器、合成等。可以用提示词多 Roll 一些和流派、心情、场景相关的曲子,把点数用来 roll 更多细节调整的部分,提升作品品质。
2025-03-06
最好的语音合成模型是什么?用于我录入语音,合成我自己的声音。
目前在语音合成领域,有多种优秀的模型。例如: ChatTTS:这是一个用于对话的生成式语音合成模型,生成的语音可以达到“以假乱真”的程度。但为防止被用于违法行为,作者在训练中添加了少量高频噪音并压缩了音质。 MiniMax AI 的 T2A01HD 语音合成模型:仅需 10 秒录音,就能实现高精度的声音克隆。生成的语音在音色、语调和情感表达上达到录音室级别,支持 17 种语言,提供 300 多种预置音色库,并支持多种音效调整。 语音合成包括将文本转换为可听声音信息的过程,一般由文本前端和声学后端两个部分组成。当代工业界主流语音合成系统的声学后端主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法,当代主要采用端到端声学后端。端到端声学后端一般包括声学模型和声码器两部分,同时也出现了直接从音素映射为波形的完全端到端语音合成系统。 您可以根据自己的需求选择适合的语音合成模型。例如,如果您希望快速实现高精度的声音克隆,可以考虑 MiniMax AI 的 T2A01HD 模型;如果您对对话场景的语音合成有需求,ChatTTS 可能是一个不错的选择。
2025-03-06
AI 把logo 合成到图片里
以下是关于将 AI 把 logo 合成到图片里的相关内容: 试运行抠图操作,将抠图结果合到海报上,包括进入画板、添加画板、调整元素等操作。 为锅的海报添加背景及调整图片显示,处理品牌 LOGO 相关操作,如抠图、添加、调整位置和大小。 用 LLM 生成图像提示词,将提示词和 Logo 图片放到 Comfyui 工作流。 整个流程分为获取 Logo 图片的描述、生成图片提示词、将图片和提示词输入 Comfyui 工作生成。
2025-03-03
图片合成
以下是关于图片合成的相关介绍: ComfyUI BrushNet: 这个过程类似于小时候的连点成图游戏,现在由电脑在图片上操作。 1. 掩码:像有洞的纸覆盖在图片上,电脑程序通过洞了解需修复部分。 2. 编码器:是电脑的大脑,把需修复图片转换成能理解和处理的信息。 3. 噪声潜在空间:加入随机性让修复部分更自然。 4. BrushNet 和冻结的 UNet:像画家的画笔和调色板,帮助完成修复工作。 5. 去噪和生成图像:去除噪声,创建真实图片部分。 6. 模糊掩码和合成:用特殊技巧将新生成图片和原始图片融合。 Blend叠加: /blend 命令允许快速上传 2 5 张图片,通过对每张图片的概念和美学分析,将它们合并成新图。 与 /imagine 结合多个 。 在输入 /blend 命令后,会提示上传两张照片,可从硬盘拖放或在移动设备从照片库添加。要添加更多图像,选择 optional/options 字段并选 image3、image4 或 image5。 图像叠加默认 1:1 宽高比,可使用可选的 dimensions 字段选择方形(1:1)、肖像(2:3)或横向(3:2)的长宽比。 与其他 /imagine 命令一样,/blend 指令末尾可添加 ,指定在 /blend 命令中的宽高比会覆盖自定义后缀中的宽高比。为获得最佳处理效果,上传与期望结果相同的图像宽高比。
2025-02-10