Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

spark tts

Answer

Spark-TTS 是基于 Qwen2.5 的高效文本转语音（TTS）系统，具有以下特点：

  1. 超越现有 TTS，结合 Qwen2.5 进行端到端生成。
  2. 支持细粒度语音控制，包括性别、音调、语速等自定义参数。
  3. 具备零样本语音克隆功能，无需目标声音样本，即可生成个性化高质量声音。
  4. 采用 BiCodec 编码架构，简化流程，提高推理效率。
  5. 与 Qwen2.5 LLM 集成，可直接通过 LLM 处理 TTS 任务，无需额外声学模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

XiaoHu.AI日报

?Xiaohu.AI日报「3月6日」✨✨✨✨✨✨✨✨1⃣️?腾讯发布HunyuanVideo-I2V：图像到视频生成模型精准语义理解：结合文本描述和图像信息，使生成视频符合用户需求。高一致性：确保视频首帧与输入图片高度一致，避免失真或风格变化。自然动态过渡：支持人物、风景、物体的流畅动态演绎。最高支持720P视频，并支持LoRA训练，可定制特殊视频特效，如头发生长、物体变形、角色动态增强。?详细内容：[https://xiaohu.ai/c/xiaohu-ai/hunyuanvideo-i2v](https://xiaohu.ai/c/xiaohu-ai/hunyuanvideo-i2v)[https://x.com/imxiaohu/status/1897643188304957623](https://x.com/imxiaohu/status/1897643188304957623)2⃣️?️Spark-TTS：基于Qwen2.5的高效文本转语音（TTS）系统超越现有TTS，结合Qwen2.5进行端到端生成。细粒度语音控制：支持性别、音调、语速等自定义参数。零样本语音克隆：无需目标声音样本，即可生成个性化高质量声音。BiCodec编码架构：简化流程，提高推理效率。与Qwen2.5 LLM集成：可直接通过LLM处理TTS任务，无需额外声学模型。

XiaoHu.AI日报

5⃣?Runway Gen-3 Alpha文本到视频模型已开放功能：所有人可使用传送门：https://runwayml.com/?详细使用教程：https://xiaohu.ai/p/10762?https://x.com/imxiaohu/status/18079171464309231166⃣?腾讯翻译智能体公司上线了名称：TRANSAGENTS功能：文学翻译的多智能体虚拟翻译出版公司体验链接：http://transagents.ai?https://x.com/imxiaohu/status/18080669274259993547⃣?SuperAnimal：自动检测和分析动物运动行为的模型开发：由洛桑联邦理工学院（EPFL）团队开发功能：自动识别和跟踪45种以上动物的关键点运动，无需人工注释?https://x.com/imxiaohu/status/18081316326349455618⃣?Fish Speech：完美支持中英日语言的开源TTS模型语音处理：接近人类水平训练数据：约十五万小时三语数据，对中文支持完美开发者：fishaudio特点：亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手?详细介绍及更多演示：https://xiaohu.ai/p/10779?GitHub：https://github.com/fishaudio/fish-speech?https://x.com/imxiaohu/status/18081780063154384679⃣?Suno推出了iOS客户端

Stuart：一夜爆火的 ChatTTS 实测

作者：许键StuartChatTTS一夜爆火，极速出圈，3天就斩获9k的Star量，截止2024.06.03，已经16.6k的star，极速接近GPT-soVITs当天的26.2k的star数。到底有什么魔力让它火爆的速度直追它的前辈？优势：真实度和自然度很惊艳更好的韵律:能生成接近真人音色的语气语调这个TTS应该是目前对中文支持最好的了中英混合也没问题细粒度控制:能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等自然流畅的语音合成，同时支持多说话人同时提供预训练模型劣势：当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。对于阿拉伯数字，标点符号，refine后效果不太好有时候会出现不稳定，自动删除或者增加一些内容在句子里比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况读绕口令也有人的那种卡顿（效果不稳定）

Others are asking
genspark怎么样？和cursor、manus等相比如何？
Genspark 是一款功能强大的通用智能体，具有以下特点和优势： 1. 功能集成：集 AI 聊天、图片工作室、视频生成、深度研究等多种功能于一体。 2. 任务处理能力：能够自动完成复杂任务，如自主规划、深入研究、预定外部服务、进行数据搜索和事实核查等。 3. 工具和数据集：世界上首个 MixtureofAgents 系统，利用最佳模型、工具和数据集来执行不同任务。 4. 性能表现：在 GAIA 基准测试的三个级别（Level 1、Level 2、Level 3）中得分均最高，显示出在多轮对话和复杂任务处理上的优势，能更准确地反映用户与 AI 助手互动对话的需求。 5. 速度和可靠性：近乎即时的结果，执行过程中的错误和幻觉显著减少，让用户能够掌控和优化输出。 与 Manus 相比，Genspark 更加快速和可靠，表现更为成熟与稳定。 您可以通过 https://www.genspark.ai/ 直接使用，不过注意第一个问题可以稍微思考下再提问，因为可能提一个问题之后就要收费啦。其两位创始人是明星创业者，联合创始人景鲲之前是小度科技的 CEO，联合创始人兼 CTO 朱凯华则是小度科技的 CTO。相关媒体报道可参考： 1. 特工宇宙：超越 Manus？华人创业产品 Genspark 推出通用 Agent（附实测效果） https://mp.weixin.qq.com/s/S2NCd3ySZyaRtjwC6BSG6Q 2. MAX：用过最新的 Genspark 后，我已经准备去摆摊了。 https://mp.weixin.qq.com/s/mK1Y7kmIqW56FkrJd64Vtw
2025-04-09
有java scala hadoop spark flink开发经验员工入门AI 学习提纲以及对应学习内容
以下是为有 Java、Scala、Hadoop、Spark、Flink 开发经验的员工提供的 AI 入门学习提纲及对应学习内容： 1. 学习资源推荐： 系统化学习：观看李弘毅老师的生成式 AI 导论、吴达的生成式 AI 入门视频等，并整理学习笔记与大家交流互动。 社区共创学习：参与社区共创活动，通过做小项目反向推动学习。 参考资料：A16Z 推荐的 AI 相关原理内容，包括 GPT 相关知识、Transformer 模型运作原理、大语言模型词语接龙原理等基础知识。 官方 cookbook：open AI 的官方 cookbook，小琪姐做了中文精读翻译。 历史脉络资料：整理 open AI 的发展时间线、万字长文回顾等。 2. 学习路径： 从提示词开始学习与各类模型的对话，了解其重要性和结构化提示词的优势。 学习过程中可以先从国内模型工具入手，不花钱，若想进阶再考虑高阶方向。 3. 其他学习方式： 创作者将内容做成可视化形式，后续会发到群里。 上传相关 PPT 用作参考。 从温达、李弘毅老师课程等学习入门。 了解时代杂志评选的百位领军人物。 学习 AI 相关名词解释，如 AGI、AIGC、agent、prompt 等，可通过与 AI 对话或李继刚老师的课程来理解。 订阅赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等获取最新信息并投稿。 参与社区活动，如 AIPU、CONFIUI 生态大会、每月的切磋大会、新活动 AIPO 等。
2025-02-21
tts
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 传统的语音合成技术一般会经过以下三个步骤： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 1. 接口描述： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 应用场景：在视频 APP 中作为配音解说；小说 App 完成有声阅读，移动 App 语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。 提供多种方言和风格：包括普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 2. 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-04-14
适合客户端使用的 tts 模型有什么
以下是一些适合客户端使用的 TTS 模型： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。支持零样本 TTS、少量样本训练、跨语言支持、易于使用的界面等。GitHub： 。
2025-03-17
tts
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 应用场景：在视频 APP 中作为配音解说；小说 App 完成有声阅读，移动 App 语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。 提供多种方言和风格：包括普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-02-28
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点，需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。
2025-02-07
怎么做tts模型训练
以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。
2025-01-24