Mistral 发布 Voxtral 3 语音模型与实时语音智能体 SDK

思考

摘要

Voxtral 3 推出前沿的语音智能体 SDK 与顶尖语音模型，专为跨 50+ 种语言的实时、多步骤对话而设计。它将准确转录、具备情感适应能力的自然语音合成，以及深度工具集成相结合，实现无缝的工作流自动化。可通过 Mistral 的欧盟托管 API 或自行部署使用，在确保数据主权的同时，为联络中心、虚拟助手和免提 Copilot 提供低延迟、类人的交互。

语音转录和语音生成已经取得长足进步，但构建能够倾听、推理、交互并处理复杂工作流的端到端语音智能体仍然困难。 

可靠的语音智能体需要同时把四件事做得非常好： 

1. 准确倾听 各种语言、口音、说话者与打断，

2. 推理 深入 理解用户在特定语境中的意思，

3. 自然说话 带着情感与表现力，并且 

4. 采取行动 经由互联系统完成多个步骤。 

让这四者在实时环境中可靠地协同工作，仍然是一项挑战。 

为此，我们推出 Voxtral 3：全新的顶尖 语音转文本 与 文本转语音 模型系列，以及一套语音智能体 SDK，将倾听、思考、工具调用和说话整合到单一的实时流式管道中。

Voxtral 3 旨在打造自然的对话体验，从联络中心座席和服务台，到虚拟助手和免提 Copilot。凭借对数十种语言的支持、富有表现力的语音、复杂推理，以及与您自有工具和数据的深度集成，基于 Voxtral 构建的智能体能够解读细微意图、推理复杂请求，并在互联系统中执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为主权部署而设计。即日起可通过 Mistral 的欧盟托管 API 使用，也可在您自己的基础设施上自行部署，让组织掌控音频的处理位置、数据的处理方式，以及对话是否予以保留。

亮点

1. 跨 50+ 种语言的准确转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于顶尖水平，能够识别谁说了什么（说话人分离），并利用关键短语提高准确率（上下文偏置）。它可检测某人何时说完，以便智能体及时响应（话轮结束检测）。

2. 随对话而适应的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入可根据对话语境调整情感、语速和重音的新音色，支持 35+ 种语言和 50+ 种方言。

3. 听候您（语音）调遣的类人智能。全新语音智能体 SDK 将倾听、推理、工具调用和说话整合为实时体验。智能体可在通过电话或网页进行的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice：实现格外精准的语音适配。在基础语音克隆无法满足需求的专业用例中，Voxtral 的 Pro Voice 适配只需 30 分钟音频，即可跨语言再现说话者独特的个性、情感幅度和说话风格。 

5. 你的语音 AI，在你的基础设施上。使用 Mistral 的欧盟托管 API，或在自有基础设施上部署 Voxtral 3。让敏感对话留在你的环境中，并控制是否保留任何音频。 

立即试用 Voxtral  | 了解更多

它能听懂 50+ 种语言，准确度达到最先进水平。

Voxtral Transcribe 3 在转写、说话人分离（谁在何时发言）以及上下文偏置能力方面标志着一个重要里程碑。支持的语言列表扩展至 50 种，包括 24 种欧盟官方语言以及多种低资源的亚洲语言和印度语系语言。

Small 版本在说话人分离和多语言转写方面取得最先进的成绩，包括英语、法语和西班牙语。其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体 为 4B 参数，能以 $0.0035/min 的价格实现快速而准确的转写。

两款模型均支持上下文偏置，可提供关键术语和自由格式文本来偏置转写，并提高技术术语的召回率。这使它们能够在具有领域专用词汇的生产环境中使用，而无需微调。

Voxtral Realtime Transcribe 3 是面向智能体应用场景打造的实时转写模型。它能以低于 500ms 的延迟，在超过 35 种语言中实现高质量转写，并支持说话人分离与上下文偏置。

原生支持话轮结束预测，综合声学与语义信息，准确预测用户何时说完。这使得低延迟语音智能体应用成为可能，同时尽量降低过早打断用户的误切断率。

它会以恰当的情感作答，使用你或你客户品牌自己的声音与本地方言。

Voxtral Mini TTS 3.0 提供批量与实时两种模式，在 35+ 种语言和 50+ 种方言上实现了业界领先的表现力与指令遵循。以每 1M 字符 $13 的价格，Voxtral Speech 3 的运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类模型。

该语音模型能更好地隐式解读上下文的语义，在多种情感与语言中生成自然语音。新增和改进的功能包括：基于 30+ 分钟采样音频的声音克隆、自定义提示指令遵循（IF）、上下文 TTS 以及词汇库，这些都服务于部署中的语音可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示

咱们就此结束争论：是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖情感，情感决定其韵律、节奏、语速、重音与过渡。Voxtral TTS 会原生解读提示文本的上下文，以确定情感与语音风格，使模型无需额外指令或语音提示，便天生更擅长自然语音。

展示 Voxtral 在表现力、数字和独特名称方面的逐步攀升。

提示词

感谢致电 Mistral！我了解您在登录 AI Studio 时遇到困难。可以确认一下您的电子邮箱吗？我这里显示的是 elena.vance82@yahoo.com，对吗？

Voxtral 1

Voxtral 3

语音在 35 种语言和超过 50 种方言中听起来都像本地人。

Voxtral TTS 支持超过 35 种语言和地区方言。我们的多语言评测遵循方言在发音、正式与非正式语体、拼写、详略程度以及区域惯例（时间、日期、温度、地址、货币）上的差异。

Voxtral 3 多语言库

语音预设提供 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西（葡萄牙语）、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音智能体掌控整段对话。

Voxtral 3 推出基于 LiveKit 构建的语音智能体 SDK，将语音输入、推理和语音输出作为一条流式管线运行。Voxtral Mini Transcribe Realtime 3 聆听并检测来电者何时说完，通用模型——如 Mistral Small——进行推理并调用工具，Voxtral Speech 3 则按此前对话的语气作出回复。没有任何阶段等待前一阶段，因此每一轮都在不到一秒内完成，而来电者插话时智能体即停止说话。

通话期间，智能体可以核验来电者身份、查询账单或预约，使用函数调用、网络搜索以及在您自有系统上的检索。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并连接到您已经在用的电话、IVR 和联络中心软件。

每个阶段都是独立模型，因此您可以更换 LLM、声音或语言而无需重写智能体，并在欧洲的 Mistral API 上或在您自己的基础设施上运行整套技术栈。

开始使用。

Voxtral 3 即日起可通过 Mistral API 使用，由我们的欧洲、美国和全球端点托管。

您可以在 Studio playground 中试用语音智能体、音频转写、语音生成和声音克隆。 

若要在本地或私有云中运行整套技术栈，请联系我们的团队。