10 月 20 日,Mistral 发布 Voxtral 3,Hacker News 上 488 个赞把它推上当日热度榜前列。单看名字容易误以为又是一次模型版本号更新,实际上这次发布是一个完整家族加一套 SDK:转写有 Small 与 Mini,实时有 Realtime 型号,合成有 Mini TTS 3.0,外加 30 分钟音频即可跨语言复刻的 Pro Voice,最上层还有一个把听、想、说、做串成一条实时管线的语音智能体 SDK。本文按官方发布页的数据,把这套组合的真实水平和适用边界拆开讲清楚。
转写:第一梯队的错误率,关键词召回是亮点
离线转写的主力是 Voxtral Small Transcribe 3,官方口径是多语言转写的最先进水平,覆盖 50 种语言,包含 24 种欧盟官方语言以及一批低资源的亚洲与印度语言;除转写本身外原生支持说话人分离、上下文偏置与回合结束检测。在 FLEURS 45 语言宏平均词错误率上,指定语言与自动判别两档分别为 4.1% 与 4.0%,与 Microsoft AI Transcribe 2 的 4.1% 与 4.0% 并列榜首,Gemini 3.5 Transcribe 为 6.1% 与 4.5%,GPT Transcribe 为 6.3% 与 5.6%,Whisper large-v3 为 16.0% 与 14.9%。Whisper 与前沿商用模型之间近四倍的差距,说明这一赛道的排位在过去一年已经彻底重写。
说话人分离的 cpWER 上,Small 与 Mini 分别拿到 18.4% 与 18.6%,压过 Pyannote Orchestrator 的 19.0% 与 Microsoft AI Transcribe 2 的 20.3%,Gemini 3.5 Transcribe 为 38.4%。把分离器直接做进转写模型,省掉级联流水线的一整段误差累积,这是架构层面的实际收益。
更值得关注的是上下文偏置。Earnings-22 基准上,Voxtral Small Transcribe 3 的关键词召回从无上下文的 81.4% 提升到带上下文的 94.6%,Scribe v2 为 94.3% 与 84.0%,Gemini 3.5 Transcribe 为 87.3% 与 80.9%。对要处理财报电话会、医疗术语、法务名册的团队,这意味着不微调就能把专有词汇召回拉高十个百分点以上。
另一档 Mini Transcribe 3 参数规模 4B,每分钟 0.0035 美元,面向成本敏感的批量场景;错误率 4.6% 与 4.5%,与 Small 差距不大,是典型的「用规模换单价」产品线切分。
实时:500 毫秒以内的分块权衡
面向智能体场景的 Voxtral Realtime Transcribe 3 是本次发布中对架构影响最大的一款:35 种以上语言、支持说话人分离与上下文偏置,官方标称延迟 500 毫秒以内。FLEURS 35 语言实时档的曲线给出了分块大小的权衡:2400 毫秒分块错误率 5.7%,960 毫秒 6.0%,480 毫秒 6.4%;作为对照,Gemini 3.5 Realtime Transcribe 为 4.2%(离线基线 Mini Transcribe 3 为 4.0%),GPT Live Transcribe 为 7.4%,Scribe v2 Realtime 为 8.4%。也就是说在最激进的低延迟档,它依然领先两家实时产品一整分以上。
回合结束检测被单独强调:模型融合声学与语义信息判断用户是否说完,在压低响应延迟的同时抑制过早截断。对语音智能体来说,这一项往往比词错误率更影响体感,说一半被打断和慢半拍回答是两类最典型的差评来源。
合成与 Pro Voice:按字符计费,价格是硬卖点
合成侧的 Voxtral Mini TTS 3.0 支持批量与实时两种模式,覆盖 35 种以上语言与 50 种以上方言,官方口径是表达力与指令遵循的最先进水平,并且声音会随对话上下文调整情绪、语速与重音。定价为每百万字符 13 美元,官方直接点名比 OpenAI TTS-1、Deepgram、ElevenLabs Flash 与 Gemini Flash 更低。在 TTS 这个价格战已经打了一年的市场,后来者用更低单价进场,对采购方是实打实的利好。
Pro Voice 面向基础克隆不够用的专业场景:仅需 30 分钟音频,即可跨语言复刻说话人的音色特质、情感范围与说话风格。对有声内容、品牌语音、多语言本地化团队,这是把「配音演员资产」变成可复用参数的尝试。
SDK:把四件事缝成一条管线
最上层的语音智能体 SDK 是这次发布的真正意图。它把倾听、推理、工具调用与表达合成一个实时流式管线:智能体可以在通话或网页对话中检索信息、调业务系统、多步完成任务。官方演示是一个法语转诊信场景,用户口述转诊号码,智能体调用查询工具拿到医生与科室信息,再调用预约工具锁定时段,全程语音交互无切换。
这与本博客此前关注的本地语音方案正好互补:10 月中旬那篇 EmbeddingGemma 2 转语音的实战文解决的是本地隐私场景下的免费转写,Voxtral 3 给出的是商用托管与自部署两条路径的完整商业栈。选型逻辑因此清晰:数据不能出境的场景继续看本地小模型;要快速上线多语言客服与外呼的场景,这套 SDK 加 Realtime 转写的组合目前几乎没有同量级对手。
部署与边界
与 Mistral 其他模型一致,Voxtral 3 通过欧盟托管 API 或自部署交付,音频处理位置、数据处理方式、对话是否留存都由部署方控制。需要注意的边界有三条:其一,各档基准均为官方自测,FLEURS 与 Earnings-22 都是公开基准但选曲与预处理由厂商掌握,采购前建议用自有数据复测;其二,转写第一梯队里 Microsoft AI Transcribe 2 与它几乎并列,生态集成(Teams、Azure)可能是微软用户更强的迁移理由;其三,实时错误率随分块大小波动,480 毫秒档与 2400 毫秒档相差约 0.7 个百分点,产品设计时要按场景选档而不是无脑追低延迟。
一句话总结:Voxtral 3 不是某个单点模型的升级,而是把语音智能体需要的四块能力一次性配齐,且每一块都拿出了可对比的数字。语音赛道的竞争焦点正在从「识别准不准」转向「整条链路顺不顺」,这次发布是这条新路线上的第一份完整答卷。