ElevenLabs 发布 Eleven Realtime 语音到语音模型，含 Mini 与 Max 两版

如今要构建一个听起来自然的语音智能体，需要做很多决策。你必须在各个组件上做出选择，比如语音识别、语音活动检测、轮次转换、底层 LLM 和文本转语音。搭建这套技术栈本身就是一个项目，而让所有组件良好协同工作还需要更多的测试和调优。

Eleven Realtime 是一类全新的语音到语音模型，能够消除这些障碍。每个模型都是一个完整的语音智能体，针对不同的用例进行了优化。两者都支持 90 多种语言，并可使用 ElevenLabs 库中 17,000 多种声音中的任意一种：

今天，我们推出：

Eleven Realtime v1 Mini，以低成本实现自然对话。这是 AI 助手、教师和互动角色的最佳选择，对大多数用例来说已经足够。
Eleven Realtime v1 Max，用于复杂任务。它非常适合客户支持、潜在客户资格筛选和多步骤工作流，在这些场景中智能体必须遵循流程并逐步推理。

我们为何构建实时模型

你不应该为了构建一个听起来自然的语音智能体而成为配置专家。让智能体的感觉和声音恰到好处，关乎一些需要细微判断的小决策，比如停顿后等待多久再回答、用户打断智能体时如何恢复，以及声音、提示词和模型如何协同工作。在 ElevenAgents 中，这些都是你可以调整的设置。

对于已经在使用实时 API 的开发者来说也是如此。我们的 API 与 OpenAI 的 Realtime API 兼容，因此尝试 Eleven Realtime 只需在你可能已有的代码中更改端点和模型名称。

它们的表现如何

Artificial Analysis 在三个公开基准上独立评估了这两个模型：用于语音推理的 Big Bench Audio、用于对话动态的 Full-Duplex-Bench，以及用于人类偏好和任务成功率的 Speech Agent Arena。

语音推理

Big Bench Audio 通过语音提出 1,000 个推理问题，并对口头回答进行评分。Realtime v1 Max 正确回答了 98.8% 的问题，v1 Mini 正确回答了 75.9%。

速度

Big Bench Audio 通过语音提出 1,000 个推理问题，并对口头回答进行评分。V1 Max 平均在 0.57 秒内开始说话，v1 Mini 为 0.62 秒。

准确率与速度的帕累托前沿

准确率和速度通常被视为一种权衡。在 Big Bench Audio 上得分最高的模型回答耗时最长，而最快的模型则牺牲了大量准确率。v1 Max 在这两项指标上都表现出色。

对话动态与人类偏好

在测试停顿、轮次转换、打断和反馈信号的 Full-Duplex-Bench 上，v1 Mini 得分为 95.8%，v1 Max 为 94.1%。在 Speech Agent Arena 中，人们在盲测的实时对话中比较两个模型，v1 Max 得分为 998，v1 Mini 为 988。在工具使用任务上，v1 Max 完成了 87.1%，v1 Mini 完成了 60.3%，这就是我们推荐 Max 用于大量工具调用用例的原因。

开始使用

在 ElevenAgents 中（推荐）

创建一个智能体，或打开一个现有智能体，然后从下拉菜单中选择一个 Realtime 模型。从那里，你可以获得 ElevenAgents 为生产部署运行智能体所提供的一切。这包括电话、网页、WhatsApp 和 CCaaS 渠道、工作流、知识库、护栏、测试和监控。

查看 ElevenAgents 文档了解更多详情。

通过 Realtime API

如果你已经集成了 OpenAI 的 Realtime API，那么试用 Eleven Realtime 最快的方法就是保留你的代码，只更改它指向的位置。Realtime API 通过 WebSocket 连接，并遵循 OpenAI Realtime 规范，因此 OpenAI 的 SDK 可以直接使用。

Realtime API 仅通过 WebSocket 连接，因此 WebRTC 集成需要先迁移到 WebSocket。它还与 ElevenAgents 分开运行，所以如果你需要渠道、知识库或其他平台功能，请从一开始就基于 ElevenAgents 构建。

迁移指南涵盖了迁移步骤以及与 OpenAI API 的差异。