文字转语音

[title]语音：语音转文字语音转文字推荐OpenAI的wishperhttps://huggingface.co/openai/whisper-large-v2语音转文字：一分钟搞定的~ 23分钟的音频https://huggingface.co/spaces/sanchit-gandhi/whisper-jax这个项目在JAX上运行，后端支持TPU v4-8。与A100 GPU上的PyTorch相比，它要快70多倍，是目前最快的Whisper API。

[title]Han：基于现有能力项目应用的思考|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间|<br>|-|-|-|-|-|-|-|-|-|-|-|-|-|-|<br>|StyleTTS 2：一个开源的媲美Elevenlabs的文本转语音工具|结合文本角色内容+场景音=快速生成有声小说。|语音|多样化的语音风格：StyleTTS 2能够自动生成多种不同的语音风格，无需依赖特定的参考语音。<br>更自然的语音：采用特殊的训练方法，使得生成的语音更加贴近真人的说话方式。<br>高效生成：利用扩散模型技术，高效地生成不同风格的语音。<br>精确的语音控制：提供对语音的精确控制，包括语速、语调等方面。<br>接近真人的语音合成：在测试中，生成的语音质量接近于真人录音。<br>适应不同说话者：即使没有特定说话者的样本，也能生成高质量的语音。|工作原原理及特点：StyleTTS 2利用风格扩散和与大型语音语言模型（SLM）的对抗性训练来实现接近人类水平的TTS合成。这个模型与其前身不同之处在于，它通过扩散模型将风格建模为一个潜在的随机变量，以生成最适合文本的风格，而不需要参考语音，实现了高效的潜在扩散，同时受益于扩散模型提供的多样化语音合成。1、非自回归架构：与传统的自回归TTS模型不同，StyleTTS 2采用非自回归架构。它在生成语音时不需要依次预测每个音频样本，而是可以并行生成整个

使用文字输入还是太过繁琐，语音会让输入门槛大幅度降低。这里使用的是GVoice提供的语音录制和识别能力，中文识别率还是非常优秀的。注：语音识别的少量错误，可以被chatgpt正常理解和纠错，所以衔接还是比较流畅的。[heading3]2.3文字转语音（TTS）[content]ChatGPT返回的中文文字，为了提升交互体验，也通过TTS服务，选择合适的声音播放出来。这里我们选择内部自研的TTS以及代码平台，有机会公开的话可以分享给大家~功能简述：让游戏开发者把文本直接转成语音[heading3]2.4 AIGC MidJourney生成机器人从小到大成长的图片[content]Ai色彩关键帧通过Midjourney来生成需要的场景基础图。基于更大的库，mj的方案迭代更加高效，在已有设计的基础上能快速的融合风格和内容通过文本描述，快速生成需要的场景内容，迭代出需要的方案最终方案在ps里做微调所有关键帧完成后在sd里面，统一美术风格[heading3]2.5灵感小助手生成表情icon[content]使用ChatGPT生成lua代码控制机器人在关卡中的行为使用MidJourney、Clipdrop绘制制作表情