生成音频的AI

声音和音乐是游戏体验的重要组成部分。我们开始看到公司使用生成性AI来生成音频，以补充图形方面已经进行的工作。音效音效是AI的一个具有吸引力的开放领域。已经有[学术论文](https://arxiv.org/abs/2107.09262)探讨了使用AI在电影中生成“现场效果音”（例如，脚步声）的想法，但在游戏中的商业产品尚属稀少。我们认为这只是时间问题，因为游戏的交互性质使这成为生成性AI的明显应用，既可以在生产过程中创建静态音效（例如，“以星球大战的风格制作激光枪声音”），也可以在运行时创建实时交互式音效。考虑一个简单的任务：为玩家角色生成脚步声音。大多数游戏通过包含少量预先录制的脚步声音来解决这个问题：草地上行走的声音、碎石上行走的声音、草地上奔跑的声音、碎石上奔跑的声音等。这些声音生成和管理起来都很繁琐，并且在运行时听起来重复和不真实。更好的方法是使用实时的生成性AI模型来制作现场效果音（foley sound effects），它可以在飞行中生成适当的音效，每次都略有不同，而且能够根据游戏参数（如地面表面、角色体重、步态、鞋履等）进行响应。音乐音乐一直是游戏开发中的一个挑战。音乐很重要，因为它可以帮助设置情感基调，就像在电影或电视中一样。但由于游戏可以持续数百甚至数千小时，音乐很快就可能变得重复或令人烦躁。此外，由于游戏的交互性质，让音乐精确匹配屏幕上发生的事情可能很困难。

[adauris.ai](https://www.adauris.ai/)-将书面内容转化为引人入胜的音频，并实现无缝分发。[Aflorithmic](https://audiostack.ai/)-专业音频、语音、声音和音乐的扩展服务。[Sonantic](https://pr-newsroom-wp.appspot.com/2022-06-13/spotify-to-acquire-sonantic-an-ai-voice-platform/)（被Spotify收购）-提供完全表达的AI生成语音，带来引人入胜的逼真表演。[kroop AI](https://www.kroop.ai/)-利用合成媒体生成和检测，带来无限可能。[dubverse](https://dubverse.ai/)-一键使您的内容多语言化，触及更多人群。[Resemble.ai](https://www.resemble.ai/)-生成听起来真实的AI声音。[Replica](https://www.replicastudios.com/)-为游戏、电影和元宇宙提供AI语音演员。[Respeecher](https://www.respeecher.com/)-为内容创作者提供语音克隆服务。[amai](https://amai.io/)-超逼真的文本转语音引擎。[AssemblyAI](https://www.assemblyai.com/)-使用单一AI驱动的API进行音频转录和理解。[DAISYS](https://daisys.ai/)-听起来像真人的新声音。[WellSaid](https://wellsaidlabs.com/)-从真实人的声音创建逼真的合成语音的文本转语音技术。[Deepsync](https://dubpro.ai/)-生成听起来完全像你的音频内容。

To generate higher quality audio and add the ability to guide the model towards generating specific sounds,we added more information to the training process,including AI-generated annotations with detailed descriptions of sound and transcripts of spoken dialogue.为了生成更高质量的音频，并增加引导模型生成特定声音的能力，我们在训练过程中添加了更多信息，包括人工智能生成的注释，其中包含声音的详细描述和口语对话誊本。By training on video,audio and the additional annotations,our technology learns to associate specific audio events with various visual scenes,while responding to the information provided in the annotations or transcripts.通过对视频、音频和附加注释进行训练，我们的技术可以学会将特定音频事件与各种视觉场景联系起来，同时对注释或文本中提供的信息做出响应。