深度｜凌晨，OpenAI 正式发布 GPT-4o！AI 现在可以和 AI 语音对话了，以及更多免费功能上线
来源：有新Newin
凌晨一点，OpenAI召开了一场春季发布会，主要讲了4件事：
GPT-4o；
免费版ChatGPT更多功能；
macOS版ChatGPT；
ChatGPT新的UI；
1．GPT-4o
1）关于GPT-4o
GPT-4o是OpenAI目前最新的旗舰型号，它提供GPT-4级别的智能，但速度更快，并改进了其跨文本、语音和视觉的功能。如今，GPT-4o在理解和讨论你共享的图像方面比任何现有模型都要好得多。
例如，你现在可以拍摄不同语言的菜单照片，并与GPT-4o对话来翻译它，了解食物的历史和意义，并获得建议。
OpenAI表示，现在用户在语音模式下与ChatGPT对话的平均延迟为2.8s（ChatGPT-3.5）以及5.4s（GPT-4）。
为了实现这一目标，语音模式是由三个独立模型组成的管道：一个简单模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程意味着主要智能来源GPT-4丢失了大量信息——它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。
下面来看一下Greg的现场演示，两个GPT-4o互相对话以及娱乐唱歌🎵
现场发布会Murati完整介绍GPT-4o：
2）关于模型性能
OpenAI表示，借助GPT-4o，OpenAI跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。
由于GPT-4o是OpenAI第一个结合所有这些模式的模型，因此仍然只是浅尝辄止地探索该模型的功能及其局限性。
以下是OpenAI披露的GPT-4o模型性能介绍：
3）未来计划
未来，GPT-4o优化将实现更自然、实时的语音对话，并能够通过实时视频与ChatGPT进行对话。例如，你可以向ChatGPT展示一场现场体育比赛，并要求它向你解释规则。
此外，OpenAI计划在未来几周内在alpha版中推出具有这些新功能的新语音模式，随着更广泛地推广，Plus用户可以抢先体验。
为了使先进的AI在全球范围内更容易使用和使用，GPT-4o的语言功能在质量和速度方面得到了提高。ChatGPT现在还支持50多种语言，包括注册和登录、用户设置等。
ChatGPTPlus和Team已经可以体验GPT-4o，很快就会向企业用户推出。最后，今天OpenAI还开始推出ChatGPTFree，但有使用限制。Plus用户的消息限制将比免费用户高出5倍，而团队和企业用户的限制甚至更高。
2．免费版更多功能
OpenAI表示，将在未来几周内开始向ChatGPT免费用户推出更多智能和高级工具。使用GPT-4o时，ChatGPT免费用户现在可以访问以下功能：
体验 GPT-4级智能；
获取来自模型和网络的回复 ；
分析数据并创建图表；
聊聊你拍摄的；
上传文件，寻求帮助总结、写作或分析；
发现并使用 GPT和 GPT商店；
使用Memory打造更有帮助的体验；
根据使用情况和需求，免费用户可以使用GPT-4o发送的消息数量会受到限制。当达到限制时，ChatGPT将自动切换到GPT-3.5，以便用户可以继续对话。
3．macOS版应用，简化工作流
对于免费和付费用户，OpenAI还推出了适用于macOS的新版ChatGPT桌面应用，该应用旨在无缝集成到你在计算机上执行的任何操作。
通过简单的键盘快捷键（Option+Space），用户可以立即向ChatGPT提问。用户还可以直接在应用程序中截取屏幕截图并进行讨论。
现在，用户可以直接从计算机与ChatGPT进行语音对话，从ChatGPT发布时提供的语音模式开始，GPT-4o的新音频和视频功能将在未来推出。无论是想为公司集思广益、准备面试还是想讨论一个主题，都可以点击桌面应用程序右下角的耳机图标来开始语音对话。
从今天开始，OpenAI将向Plus用户推出macOS应用，并将在未来几周内更广泛地提供该应用程序。OpenAI还计划在今年晚些时候推出Windows版本。
4．ChatGPT新的UI
OpenAI为ChatGPT引入了新的外观和感觉，旨在更加友好和更具对话性。你会注意到新的主屏幕、消息布局等。
垂直AI与代理如何重塑B2B价值链？增速远超SaaS，AI应用层拐点来临？硅谷老牌VC总结了10个GenAI初创商业案例与7条黄金法则．．．．．．