GPT-4o 是 OpenAI 在 2023 年春季发布会上推出的一款多模态大型语言模型。它具有更强大的语言理解和生成能力，以及更好的视觉和语音处理能力。
GPT-4o 可以将音频整理成会议记录、翻译语言、总结音频、创建语音角色、跨语音类型合成、长格式和短格式语音合成、跨语言合成等。在视觉方面，它可以生成更符合提示的图像、总结视频、创建 3D 资产、光学字符识别等。
此外，GPT-4o 还具有内置的安全性，通过过滤训练数据和通过训练后改进模型行为等技术，在设计上具有跨模态的安全性。同时，OpenAI 还创建了新的安全系统，为语音输出提供护栏。
在模型评估方面，OpenAI 根据其准备框架和自愿承诺，对网络安全、CBRN、说服力和模型自主性等方面进行了评估。评估结果表明，GPT-4o 在这些类别中的任何一个类别中的得分都不超过中等风险。
在模型可用性方面，GPT-4o 现在可以作为文本和视觉模型在 API 中访问。与 GPT-4 Turbo 相比，GPT-4o 的速度快 2 倍，价格减半，速率限制高出 5 倍。OpenAI 计划在未来几周内向 API 中的一小群受信任的合作伙伴推出对 GPT-4o 新音频和视频功能的支持。
GPT-4o完全能力比Whisper large v3更好地转录音频它可以将音频整理成会议记录可以将音频从一种语言翻译成另一种语言总结音频所有这些都是零样本/少样本学习从语音合成的角度来看，它可以：通过提示创建语音角色-它说话的速度、情感等跨语音类型合成（语音克隆）长格式和短格式语音合成跨语言合成所有这些都只需要文本/音频指导。它使用的标记数量减少了2-3倍，即更好的标记器，但当然词汇量更大。从视觉方面来看，它可以：生成更符合提示的图像总结视频创建3D资产光学字符识别等等GPT-4o API — 2倍快，半价，5倍访问限制（与GPT4-turbo对比）
GPT-4o has safety built-in by design across modalities,through techniques such as filtering training data and refining the model’s behavior through post-training.We have also created new safety systems to provide guardrails on voice outputs.GPT-4o通过过滤训练数据和通过训练后改进模型行为等技术，在设计上具有跨模态的内置安全性。我们还创建了新的安全系统，为语音输出提供护栏。We’ve evaluated GPT-4o according to our我们根据GPT-4o评估了[Preparedness Framework](https://openai.com/preparedness)and in line with our[voluntary commitments](https://openai.com/index/moving-ai-governance-forward/)。Our evaluations of cybersecurity,CBRN,persuasion,and model autonomy show that GPT-4o does not score above Medium risk in any of these categories.This assessment involved running a suite of automated and human evaluations throughout the model training process.We tested both pre-safety-mitigation and post-safety-mitigation versions of the model,using custom fine-tuning and prompts,to better elicit model capabilities.准备框架，并符合我们的自愿承诺。我们对网络安全、CBRN、说服力和模型自主性的评估表明，GPT-4o在这些类别中的任何一个类别中的得分都不超过中等风险。该评估涉及在整个模型训练过程中运行一套自动化和人工评估。我们使用自定义微调和提示测试了模型的安全缓解前和安全缓解后版本，以更好地激发模型功能。
Developers can also now access GPT-4o in the API as a text and vision model.GPT-4o is 2x faster,half the price,and has 5x higher rate limits compared to GPT-4 Turbo.We plan to launch support for GPT-4o's new audio and video capabilities to a small group of trusted partners in the API in the coming weeks.开发人员现在还可以在API中将GPT-4o作为文本和视觉模型进行访问。与GPT-4 Turbo相比，GPT-4o的速度快2倍，价格减半，速率限制高出5倍。我们计划在未来几周内向API中的一小群受信任的合作伙伴推出对GPT-4o新音频和视频功能的支持。