跳到主内容

本文属于27 门语言实测档案

英语:两条参考轨,错在不同的地方

· Zeyu Si

本页目录

在《无间行者》(The Departed)的酒吧盘问戏里,有一句 "I don't know what they do"。豆包把它转成了 "You know what they do",意思反了。这句 AssemblyAI 转对了。可同一段戏里,AssemblyAI 漏掉了一整句关键的否认 "I am not a fucking cop!",这一句另外两条轨能补上。

把四段片子逐句读完,这两家的错几乎不落在同一个地方。英语的参考轨就是照这个原则挑的。

测试片

四段好莱坞和英国电影的片段,每段各占一个难点:

  • Gosford Park(2001):英式贵族口音,楼下仆人晚宴,多人快速对答、互相打断,带底噪。
  • The Social Network(2010):干净的美式快语,取证盘问,法律术语和专名很密。
  • The Departed(2006):波士顿口音,酒吧底噪,黑话和脏话,低沉的威胁式盘问。
  • August: Osage County(2013):全家围着饭桌同时开口,互相压着说。

第一篇的三档,The Social Network 接近中高档,其余三段属于极限档。基础档没有覆盖。

测了哪些引擎

ElevenLabs、AssemblyAI、豆包、Speechmatics(两个模型)、Soniox、Deepgram、Gladia(两个模型)、Gemini,外加 Qwen 的两个模型和 FunASR。讯飞只在第一段上试过,它没有纯英文模式,就没再往下测。

六类红线,各家踩了哪些

整句幻觉。 Gosford Park 里有一句 "I heard Lady Sylvia spoke out of turn",Soniox 转成了 "My hand, ladies, don't be a stroke out at 20 minutes PC"。Deepgram 在同一段凭空加出两个人名 "Sister Fredrick" 和 "Percy"。Qwen 的一个模型在 The Departed 里写出一整句原话里没有的 "buy some bananas"。

否定反转。 这是英语里最多的一类。The Departed 里 "you're still not a cop",Soniox 和 Deepgram 都丢了 "not"。Speechmatics 把 "Unless I stop them" 写成 "as I stop them"。豆包就是开头那句。Qwen 我们专门换了一版强约束提示词,明确要求保留否定词,它照样丢了 "not"。

循环复读和塌缩。 August Osage 里有人连喊五遍 "Eat your fish",Gladia 只转出一遍,后面截断,漏了大约 9 个词。

整段丢失。 Deepgram 在 Gosford Park 上漏了一大段,是四段里错得最多的一家。

语言漂移。 这四段里没有出现。

凭空插入。 除了上面的人名,Speechmatics 把法学院三年级生 "a 3L" 写成 "a three year old",一个学生变成了三岁小孩。

选了谁

主轨:ElevenLabs Scribe v2。 四段里有三段是最干净或第二干净的,没有哪段塌掉。

参考轨,按优先级:

  1. AssemblyAI(universal-2 模型):四段零幻觉、零反转,骨架最稳。它唯一的问题是漏了 The Departed 那句否认,属于漏,不是编。
  2. 豆包:四段零幻觉。August Osage 那五遍 "Eat your fish" 它全收了,这一段语义上比 AssemblyAI 还准。它和 AssemblyAI 技术路线不同,错的地方也不同。
  3. Gemini:2026 年 8 月 26 日加入。我们在 26 门语言上给它补测过,英语在可以直接用的那一组里;August Osage 那段满屏吵架,它零红线。

不利于这个选择的证据

  • 主轨犯过和豆包一模一样的错。 后来重跑一遍,ElevenLabs 在 The Departed 那句上也转成了 "You know what they do"。而第一次跑它在 Gosford Park 的一处整句崩,重跑又没出现。同样的输入,每次结果不完全一样,所以我们看的是一家引擎「会犯哪类错」,不去数它犯了几次。
  • Gemini 也会反转。 早先把它当主轨备份测时,The Departed 里 "Yes. Yes, yes." 被它写成 "No. Yes! Yes, yes!","I don't know" 被写成 "I know"。8 月补测时,它在 Gosford Park 的叠音里把 Lady Sylvia 那句改写成了两句不相干的话。我们挂上它,看中的是它作为大模型、犯错的方式和声学引擎不同。可 The Departed 那句 "I don't know",豆包、Gemini 和重跑后的 ElevenLabs 三家都错了。引擎之间的错并不总是互相独立,这一点我们还没有好办法。
  • WER 最低的引擎没有选上。 Gosford Park 上 WER 最低的是 Speechmatics(11.4%),August Osage 上最低的是 Soniox(4.7%)。两家都在别的片段上编过句子或反转过否定,所以没选。

还没解决的问题

  • 四段都是电影,没有真实访谈,也没有基础档。
  • 口音只覆盖了英国和美国(包括波士顿),其他地区的英语口音都没测。
  • 豆包的那处反转我们只见过一次,可它恰好是最危险的那类错。重跑之后,那一句在四条轨里只有 AssemblyAI 是对的。所以在否定和意思正反的地方,我们的合并环节不按多数定:上下文里找不到硬证据,就标出来让人核。

英语转录页

作者Zeyu Si