GPT-4o 是 OpenAI 春季发布会中提到的内容。它具有以下特点和能力：
GPT-4o完全能力比Whisper large v3更好地转录音频它可以将音频整理成会议记录可以将音频从一种语言翻译成另一种语言总结音频所有这些都是零样本/少样本学习从语音合成的角度来看，它可以：通过提示创建语音角色-它说话的速度、情感等跨语音类型合成（语音克隆）长格式和短格式语音合成跨语言合成所有这些都只需要文本/音频指导。它使用的标记数量减少了2-3倍，即更好的标记器，但当然词汇量更大。从视觉方面来看，它可以：生成更符合提示的图像总结视频创建3D资产光学字符识别等等GPT-4o API — 2倍快，半价，5倍访问限制（与GPT4-turbo对比）
ChatGPT：这张图片展示了一个男人坐在桌前，神情略显疲惫和沉思。他穿着红色衬衫，戴着眼镜，背景是城市的夜景，透过大窗户可以看到高楼的灯光。桌上有一些散乱的书本和纸张，桌上的电脑屏幕显示的是OpenAI的标志。整个场景给人一种孤独、思索和夜晚工作的感觉，似乎在暗示这个人正在思考或处理某些复杂的问题。
在GPT-4o之前，您可以使用语音模式与ChatGPT交谈，平均延迟为2.8秒（GPT-3.5）和5.4秒（GPT-4）。为了实现这一点，语音模式是一个由三个独立模型组成的管道：一个简单的模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程意味着智能的主要来源GPT-4会丢失大量信息——它无法直接观察音调、多个扬声器或背景噪音，也无法输出笑声、歌声或表达情感。借助GPT-4o，我们在文本、视觉和音频上端到端地训练了一个新模型，这意味着所有输入和输出都由同一个神经网络处理。因为GPT-4o是我们第一个结合了所有这些模式的模型，所以我们仍然只是在探索该模型可以做什么及其局限性的表面。