跳到主内容

本文属于27 门语言实测档案

匈牙利语:把「票」复读 23 遍的引擎,我们为什么还留着

· Zeyu Si

本页目录

匈牙利电影 Kontroll(2003)里有一场地铁查票的混战。检票员一遍遍喊 "Jegy!"(票)。AssemblyAI 把这个词连着写了 23 遍,后面的一整段对话全被吞掉了。

换到另一部片里小吃摊前的快速点单,同一个引擎一次都没复读。这门语言最后留下了它,但留下它的理由,没有我们当初以为的那么硬。

测试片

五段,全部是电影:

场景 难度
Kontroll(2003) 地铁查票混战,好几个人同时吵,带脏话和底噪 极限
Valami Amerika(2002) 派对,音乐盖过人声,多人快速对答 极限
Üvegtigris(2001)之一 乡下轮胎铺,五个人以上对骂,发动机底噪 极限
Üvegtigris 之二 两人对白加一段独白,底噪轻 基础
Üvegtigris 之三 小吃摊点单,拌嘴、对讲机、有人插话,换人说话很快,但没有长时间叠音 中高

后三段出自同一部片。现代匈牙利语电影很难找到完整、干净的片源,有一部我们想用的片子,唯一的全长片源被年龄限制挡住了。

测了哪些引擎

ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Deepgram、Gladia、FunASR、豆包,后来又补测了 Gemini。

豆包不在它官方支持的语言里,五段全部输出乱码。Deepgram 和 FunASR 转出的内容太少,分别只有标准答案字数的十分之一和十分之三左右,等于大段没转。

各家踩了哪些红线

循环复读:开头的 "Jegy" 是一例。轮胎铺那段,AssemblyAI 又把一句 "Mi az hogy mi között van" 复读了 18 遍,吞掉六句不同的台词。Gemini 在 Kontroll 里也有好几组复读。

否定反转:Speechmatics 把 "Ne csináljátok a fotót"(别拍那张照片)写成了 "Csináljátok a fotót"(拍吧)。AssemblyAI 把「这派对爽翻了」写成「这派对怎么不好」;在点单那段,它把 megvennék(我想买)听成了 megvernék(我想揍)。Gemini 把「别插嘴」写成了「插嘴吧」。

整句幻觉:派对那段音乐盖过人声的地方,Speechmatics 凭空造出一串笑声和一句话,原片里没有。AssemblyAI 在 Kontroll 里也把一句话整个换成了另一句。Gemini 在轮胎铺那段凭空多出一句「我们付车钱」。

整段丢失:点单那段,AssemblyAI 漏掉了对讲机里的两段话。

凭空插入:同一段里,Gemini 把对讲机的呼叫插进了对话中间,重复了 6 次。

语言漂移:只有豆包。

ElevenLabs 五段里没有复读、没有反转,错处都是音近替换,比如把 szénád 写成 színed。

选了谁

  • 主引擎:ElevenLabs Scribe v2。
  • 参考引擎:AssemblyAI、Soniox、Gemini。

AssemblyAI 留下,是因为它的复读只出现在长时间、势均力敌的叠喊里。在两人对白和点单那两段,它没有复读,也没有吞段。真实访谈里很少有长时间多人对吼。

Soniox 顶替的是 Speechmatics。Speechmatics 在噪声里会凭空造句,还丢过否定词,现在只作应急备用。复核时,Soniox 在五段上的表现全部好于 AssemblyAI,出错时多是看得出来的碎词。

Gemini 是 8 月全语言加挂的,它和声学引擎的出错方式不一样,可以互相印证。

反方证据

这门语言的反方证据比较多。

  • AssemblyAI「在对话里很干净」这个说法,被它自己的错打了折扣:「想买」变「想揍」恰好出在最像访谈的点单那段。
  • 复核结论是 Soniox 五段全胜 AssemblyAI,但配置里 AssemblyAI 仍排在 Soniox 前面。顺序和证据是反的。
  • Gemini 只有一段对话类素材可以判,那段零红线。两段群戏里它有一处反转、一处凭空造句和几组复读;点单那段,它还把对讲机呼叫往对话里插了 6 次。
  • 单看 WER,在两人对白和点单这两段,Speechmatics 都最低(20.5%、33.5%),ElevenLabs 是 27.6% 和 36.3%。我们没按这个数选,理由见 WER 会骗人

还没解决的

  • Gemini 在匈牙利语上的证据只有一段对话,还需要补测。
  • 三段片子来自同一部电影,场景多样性有限。
  • 参考引擎的排序要不要按复核结果调整,还没定。

匈牙利语转录页

作者Zeyu Si