先做个广告：如需代注册GPT4或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi

OpenAI推出 GPT-4o，这是我们的新旗舰模型，可以实时对音频、视觉和文本进行推理。

推荐使用GPT中文版，国内可直接访问：https://ai.gpt86.top 

GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步。它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至232毫秒的时间内响应音频输入，平均为320毫秒，与人类的响应时间相似。在英语文本和代码上，它的性能与GPT-4 Turbo相当，而在非英语文本上的性能则有显着提高。同时，API的速度更快，成本降低了50%。与现有模型相比，GPT-4o在视觉和音频理解方面尤为出色。

模型能力

在GPT-4o之前，您可以使用语音模式与ChatGPT对话，平均延迟为2.8秒（GPT-3.5）和5.4秒（GPT-4）。为了实现这一目标，语音模式由三个独立模型组成的管道完成：一个简单模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程导致主要智能来源GPT-4丢失了大量信息——它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。

借助GPT-4o，我们通过跨文本、视觉和音频的端到端训练，创建了一个新模型，这意味着所有输入和输出都由同一神经网络处理。由于GPT-4o是我们第一个结合所有这些模式的模型，因此我们仍然只是初步探索该模型的功能及其局限性。

模型评估

根据传统基准测试，GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能，同时在多语言、音频和视觉功能上设置了新的高水位线。

改进推理 ：GPT-4o 在 0-shot COT MMLU（常识问题）上创下了 88.7% 的新高分。所有这些评估都是通过我们新的简单评估收集的（在新窗口中打开）图书馆。此外，在传统的5-shot no-CoT MMLU上，GPT-4o创下了87.2%的新高分。（注：Llama3 400b（在新窗口中打开）还在训练中）

模型安全性和局限性

GPT-4o通过过滤训练数据和通过训练后细化模型行为等技术，在跨模式设计中内置了安全性。我们还创建了新的安全系统，为语音输出提供防护。

根据我们的准备框架并按照我们的自愿承诺评估了GPT-4o。对网络安全、CBRN、说服力和模型自主性的评估表明，GPT-4o在这些类别中的得分都不高于中等风险。该评估涉及在整个模型训练过程中运行一套自动化和人工评估。我们使用自定义微调和提示测试了模型的安全缓解前和安全缓解后版本，以更好地激发模型功能。GPT-4o还与70多名社会心理学、偏见和公平以及错误信息等领域的外部专家进行了广泛的外部红队合作。

我们利用这些经验来制定安全干预措施，以提高与GPT-4o交互的安全性。我们将继续降低发现的新风险。

我们认识到GPT-4o的音频模式带来了各种新的风险。今天，我们公开发布文本和图像输入以及文本输出。在接下来的几周和几个月里，我们将致力于技术基础设施、培训后的可用性以及发布其他模式所需的安全性。例如，在发布时，音频输出将仅限于选择预设的声音，并将遵守我们现有的安全政策。我们将在即将发布的系统卡中分享有关GPT-4o全部模式的更多详细信息。

通过模型的测试和迭代，我们观察到模型的所有模式都存在一些限制。

型号可用性

GPT-4o是我们突破深度学习界限的最新举措，朝着实用性的方向发展。在过去的两年里，我们花费了大量的精力来提高每一层堆栈的效率。作为这项研究的第一个成果，我们能够更广泛地提供GPT-4级别模型。GPT-4o的功能将迭代推出，从今天开始扩大红队访问权限。

GPT-4o的文本和图像功能今天在ChatGPT中推出。我们免费提供GPT-4o的套餐，对于Plus用户，消息限制高达5倍。未来几周内，我们将在ChatGPT Plus中推出GPT-4o语音模式的alpha版。

开发人员现在可以通过API访问GPT-4o作为文本和视觉模型。与GPT-4 Turbo相比，GPT-4o的速度提高了2倍，价格降低了一半，速率限制提高了5倍。我们计划在未来几周内向一小群值得信赖的合作伙伴推出对GPT-4o新音频和视频功能的支持。

**产品的重要性与更新**

我们首先讨论为何对我们来说，拥有一个可以自由向大众提供的产品如此重要。我们一直在努力寻找减少使用困难的方法，以便所有人都能在任何地方使用 ChatGPT。所以，今天我们将发布 ChatGPT 的桌面版本，并进行界面的更新，让其使用起来更为简单、自然。

**使命和目标**

我们使命的一个重要组成部分是能让我们的先进人工智能工具面向所有人免费开放。我们认为，人们对技术可以做到什么有直观的理解非常重要。因此，我们希望将其与更广泛的理解结合起来，并始终在努力寻找减少使用难度的方法。最近，我们已经可以不用注册就能使用 ChatGPT。今天，我们为 ChatGPT 引入了桌面应用程序我们希望你能在任何地方都能使用它。

**用户界面更新**

如你所见，它使用起来简单轻松，可以非常顺利地融入你的工作流程。同时，我们也刷新了用户界面。我们知道这些模型变得越来越复杂，但我们希望与之的互动体验能变得更加自然、简便，让你无需专注于用户界面，只需聚焦于与 GPT 的交互。

**技术进步和人机交互的未来**

接下来是重大新闻。今天我们发布了最新的旗舰模型——GPT-4o。GPT-4o 提供了 GPT 4 级别的强大智能，并且运行速度更快，在文本、视觉和音频等方面的能力也有所提升。过去几年里，我们专注于提升这些模型的智能性，现在它们已经表现得相当出色。但这是我们首次在使用便捷性方面实现了重大突破。这一点极其重要，因为我们正在展望人机交互的未来。我们认为，GPT-4o 正在引领我们进入一个新的协作时代，在这个时代，人机交互将变得更加自然、更加便捷。

**语音与多模态交互的挑战与解决方案**

然而，实现这一点其实非常复杂，因为在人与人的交流中，有许多我们习以为常的细节。我们在与人互动时的对话便捷性，背景噪音，一个对话中的多重声音，或者理解声音的语调。所有这些对模型来说都是极其复杂的任务。到目前为止，在语音模式下，我们采用了三种模型共同提供服务。包括：语音转录、智能处理以及文本转语音技术，  这三者协同合作，共同打造了语音体验。但这也带来了大量的延迟，破坏了我们在 GPT 上的沉浸式协作体验。然而，有了 GPT-4o，这一切都能够原生实现。

**广泛的用户接入和新功能**

GPT-4o能够跨声音、文本和视觉进行智能推理。得益于这种卓越的处理效率，我们现在甚至可以将 GPT-4 级别的智能服务提供给免费用户。这是我们一直想要实现的目标，我们非常兴奋终于能把 GPT-4o 带给所有用户。现如今，我们已经有超过 1 亿用户利用 ChatGPT 进行创作、工作和学习。我们有许多高级工具，但以前只有付费用户可以使用。凭借 4o 的高效性，现在我们可以将这些工具提供给所有人。所以，从今天开始，你可以在 GPT 应用商店中使用 GPT。到目前为止，我们已经有超过一百万的用户用 GPT 创造了令人惊叹的体验。这些都是在应用商店中可用的，为特定用途定制的 ChatGPT。现在，我们的开发者们有了更大的受众，大学教授们可以为他们的学生创造内容。或者，播客可以为他们的听众创造内容。你还可以使用视觉功能。因此，现在你可以上传截图、照片或含有文本和图像的文件。并且你可以和 ChatGPT 就这些内容展开对话。你还可以使用记忆功能，这使得 ChatGPT 变得更有用、更有帮助，因为现在它可以记住你的所有对话内容。你还可以使用信息搜索功能，在你的对话中搜索实时信息。还有数据分析功能，你可以上传图表或其他信息，它会对这些信息进行分析。它会给出答案等等。

**多语言支持的提升**

最后，我们也提高了 ChatGPT 在 50 种不同语言中的质量和速度。这非常重要，因为我们希望能把这种体验带给尽可能多的人。所以我们非常激动地将 GPT-4o 带给我们所有的免费用户。对于付费用户，他们将继续拥有超过我们免费用户五倍的容量限制。

**GPT-4o 的扩展到 API**

但是，GPT-4o 不仅仅在 ChatGPT 中可用，我们也将其引入到了 API 中。因此，我们的开发者现在可以开始使用 GPT-4o 来构建了不起的 AI 应用，并进行大规模部署。4o 的速度是 GPT-4 Turbo 的两倍，价格降低了 50%，速率限制提高了五倍。

**面临的挑战与未来展望**

然而，当我们将这些技术引入世界时，如何以一种既有利又安全的方式进行，这是相当具有挑战性的。GPT-4o 在安全性方面为我们带来了新的挑战，因为我们正在处理实时音频和实时视觉。我们的团队一直在努力寻找防止滥用的解决方案。我们继续与各方利益相关者合作，比如政府、媒体、娱乐业、所有行业、红队成员和公民社会，以找出如何最好地将这些技术引入世界。

因此，在接下来的几周里，我们将继续进行迭代部署，向你提供所有的功能。

来源：https://openai.com/index/hello-gpt-4o/