以下是您要求的英文文章的中文翻译,已按照您指定的格式和规则处理:
语音助手能处理双语客户吗?在语码转换语音上对前沿ASR进行基准测试
引言
全球超过一半的人口使用不止一种语言。对于许多双语使用者来说,语码转换——即使在句子中间也能无缝切换语言——是日常交流中自然的一部分。无论是在日常对话、联络中心还是IT服务台,说话者都会流畅地适应当时感觉最自然的语言。
尽管双语使用者遍布全球,但针对语音助手如何处理企业环境中的语码转换语音的研究却很少。因此,当一位客户询问我们的语音助手如何应对其大量习惯性进行语码转换的双语客户群时,我们决定构建自己的基准测试和数据集来评估模型。
我们专注于自动语音识别(ASR)——任何语音助手流程的第一步——因为转录错误会向前传播到每一个下游组件。在企业环境中,一个错误路由的工单或误解的政策问题会带来实际的操作后果,因此获得正确的转录文本是语音助手流程中尤为重要的一步。
我们的基准测试涵盖了与客户群最相关的四种语言对:西班牙语-英语、法语-英语、加拿大法语-英语和德语-英语。它使用非英语语言作为矩阵框架,英语以不同长度嵌入其中。数据涵盖了广泛的人力资源(HR)和IT服务管理(ITSM)场景,包括员工关于福利或薪资的询问,以及密码重置、VPN访问或设备故障排除等支持请求。
为了衡量不同模型的表现,我们报告三个指标:词错误率(WER)、语义词错误率(SWER)和答案错误率(AER)。我们选择这些指标是为了同时捕捉(1)模型在转录中的精确准确度,以及(2)它们为下游任务保留话语含义的能力。
我们通过用于评估语音模型的工具包AU-Harness发布我们的基准测试和数据集。我们还提供了七个ASR系统的结果,包括一些大型音频语言模型(LALM)、前沿ASR和开源ASR。我们的主要发现是,语码转换的成本因测试的语言对和模型而异。ElevenLabs Scribe V2、Gemini 3 Flash和Assembly AI Universal 3-Pro在任务中脱颖而出,成为各项指标上的顶级模型。
基准测试数据流程
我们从内部IT支持和HR交互语料库开始。为了创建每个语码转换的话语,我们首先获取英语和四种非英语语言之一的平行用户话语,然后筛选出适合语码转换的候选内容。我们保留长度在12到40个单词之间的话语——足够短以成为自然的语音轮次,又足够长以包含真正的转换机会。我们还排除了实体占主导的话语——电子邮件、电话号码、ID或URL,这些内容使文本一半是英语是出于必要性而非双语选择。最后,我们要求至少有三个可转换的实义词——名词、动词或形容词,且不是实体或产品名称——以便为生成模型提供足够的素材来产生有意义的语码转换版本。
从这里开始,我们测试了多种以现实方式组合语言的策略,最终选择了一个简单的人物角色提示发送给LLM(OpenAI/GPT-5)来生成语码转换文本。然后,我们使用LLM口语化处理将文本转换为口语形式,并使用ElevenLabs Multilingual V2合成音频。每个话语随后由一位母语为矩阵语言的AI/NLP语言学家进行审查;被标记的话语将被排除或重新生成并再次审查。
最终数据集包含259条西班牙语-英语记录、298条法语-英语记录、188条加拿大法语-英语记录和173条德语-英语记录。
评估方法
我们为每个模型、每个语言对报告三个指标,旨在捕捉转录准确性、含义保留和下游任务表现:
- 词错误率(WER)。除了每个语言对的整体WER,我们还按单个语言报告WER。
- 语义词错误率(SWER)。该分数表示被判断为具有语义意义的错误率。我们的实现主要基于Pipecat的STT基准测试,并使用Gemma-4-31B作为评判模型。
- 答案错误率(AER)。该指标直接捕捉转录错误是否会传播到下游故障中。这是一个问答指标,遵循Bhushan等人(IISc/ARTPARK,arXiv 2507.16456)的方法论。对于每个话语,我们生成三个下游理解问题,并衡量阅读ASR转录文本的LLM能否正确回答这些问题。流程如下图所示。
发现
我们评估了以下模型:
- AssemblyAI / Universal 3-Pro
- Deepgram / Nova 3 Multilang
- ElevenLabs / Scribe V2
- Google / Gemini 3 Flash
- Mistral AI / Voxtral Small 24B-2507
- Nvidia / Parakeet TDT 0.6b V3
- OpenAI / Whisper Large V3 Turbo
A. 模型在我们的语码转换基准测试中表现如何?
我们从两个维度分析了错误:
词级准确性,通过WER衡量。WER是标准方法:它将真实转录文本与模型输出对齐,并量化两者之间的距离。尽管