俄语：两条参考轨一起听错的那一句

在俄语测试里，我们第一次碰到这种局面：两条参考轨在同一句上错成了一模一样，只有主轨是对的。如果按少数服从多数来定稿，那一句会被改错。

这篇讲俄语是怎么测的，以及这件事对我们选引擎的影响。

测试片

四段俄语电影对白，标准答案用的是这些电影的俄语听障字幕。四段都是按「难」挑的，放在我们的三档难度里全部属于高档：

• 《兄弟》（1997）：一个人隔着门骂，门外好几个人插嘴，底下是市场的嘈杂声。
• 《兄弟2》（2000）：电话里的快语，人名、地名、数字很密，背景里还开着电台。
• 《利维坦》（2014）：几个人围着桌子密谋，你一句我一句。
• 《Kokoko》（2012）：一屋子女人边干活边聊天，抢话、连读很多。

音频不公开。这四段没有一段是中低档的平常对话，这一点后面会再提。

测了哪些引擎

八家：ElevenLabs Scribe v2、AssemblyAI、Speechmatics、豆包、Soniox、Deepgram，外加 FunASR 和 Qwen 作对照。Gemini 是后来单独补测的。

各家踩了哪些红线

我们判引擎，主要看六类错误：整句幻觉、否定反转、循环复读、凭空插入、整段丢失、语言漂移。俄语里出现过的：

凭空插入。 Speechmatics 在《兄弟》那段里，在原片没有这个词的地方插了一个称呼 Доченька（闺女），又把骂人的动词 охерел 猜成了人名 Кирилл。复核时我们在它的俄语稿里一共数出至少 8 处这类编造，四段每段都有。Deepgram 也会编：一句「用大炮（пушки）都打不穿」，它写成了地名 Пушкино。

否定反转。 《利维坦》里有一句 «сегодня не в нашу пользу всё решится»（今天的事不会朝对我们有利的方向了结）。AssemblyAI 把 не 丢了，写成 «сегодня они в нашу пользу все решатся»，意思正好反过来。同一段里还有四五个否定词，它全转对了。所以我们把这处看作孤立的一次，不当成系统问题。

整句替换。 «Двух жён в могилу свёл»（他把两任妻子都送进了坟墓），Soniox 写成 «Да уже он в могилу свёл»，主语整个换掉了。这句最初只记在 Soniox 名下。复核时发现八家里有五家在这句上都错了，是这段声音本身难。

语言漂移。 豆包第一次跑俄语，出来的是英文、日本地名和中文混在一起的乱码。原因在我们：适配器没传俄语的语言代码，引擎悄悄退回了中文模式。补上 ru-RU 之后，四段都是连贯的俄语。

循环复读：AssemblyAI 四段都没有出现。

选了谁，为什么

主轨 ElevenLabs Scribe v2。 四段里有三段 WER 最低。《兄弟2》它排不到第一，主要是因为它把背景电台里的广播和歌词也转了进来，字幕里没有这些，全算成了错。它在俄语上的失误大多是漏词，比如漏掉一个 отсюда（从这儿），我们没见到它编造整句。

参考轨，按顺序：AssemblyAI、豆包、Gemini。 生产里三条都会跑。

• AssemblyAI：四段没有复读，也没有满屏编造。在人名、地名最密的《兄弟2》上它是最低的。
• 豆包：补对语言代码后四段零乱码、零插词，错也错在单个词上，比如把 торге（讨价还价）听成 твороге（奶渣）。它是字节跳动的引擎，跟 AssemblyAI 出自完全不同的技术路线，两家犯错的位置不容易重合。
• Gemini：我们的俄语测试片全是吵架和群戏，判不了它在正常对话上的表现，所以另取了一段 5 分钟的真实电视访谈（波兹纳访谈拉津斯基），和主轨对跑互相核对。结果零幻觉、零反转、零复读，四处直接引语和剑桥、牛津、尼古拉二世这些专名全对，只漏了 3 处「当然」一类的附和。

不利于我们的证据

• AssemblyAI 在俄语上不干净。复核数出它有 3 处危险的错，其中包括上面那处否定反转，还有一处把 «Кто? Зинка я, открывай»（谁？我是季娜，开门）整句换成 «Куда ты отдаёшь, Зинка»。
• 开头那种「两条参考轨一起错」，正好说明三条轨投票并不可靠。引擎的错误并不互相独立，尤其在否定和肯定这种点上，票数多的一方未必对。
• Gemini 在《兄弟2》上把背景电台整段写进了正文，一共 4 句，还把「你有旬票吗」写成「我有旬票」，那一段它的 WER 是四家里最差的 43.6%。前面说过，主轨在另一次跑的时候也转进过电台。放到真实访谈里，这相当于把会议室里开着的电视当成受访者说的话。
• Soniox 在《利维坦》上的 WER 是 12.3%，比主轨还低，我们仍然没选它，因为复核判定它有整句替换。单看分数，会得出相反的结论。

还没解决的问题

• 评测的人不能逐句精读俄语。第一轮只看了能客观判断的形态：是不是连贯的俄语、有没有乱码、有没有凭空插词、有没有整句换掉。那处否定反转，是后来专门挨个比对否定词才找出来的。语义层面的错，可能还有没发现的。
• 四段全是高档的电影片，没有平常语速、一两个人的对话。Gemini 那段访谈没有标准答案，只能和主轨互相印证。
• 背景声音被转进正文，在那轮测试时还没有专门的防线。