本文属于:27 门语言实测档案
匈牙利语:把「票」复读 23 遍的引擎,我们为什么还留着
· Zeyu Si
匈牙利电影 Kontroll(2003)里有一场地铁查票的混战。检票员一遍遍喊 "Jegy!"(票)。AssemblyAI 把这个词连着写了 23 遍,后面的一整段对话全被吞掉了。
换到另一部片里小吃摊前的快速点单,同一个引擎一次都没复读。这门语言最后留下了它,但留下它的理由,没有我们当初以为的那么硬。
测试片
五段,全部是电影:
| 片 | 场景 | 难度 |
|---|---|---|
| Kontroll(2003) | 地铁查票混战,好几个人同时吵,带脏话和底噪 | 极限 |
| Valami Amerika(2002) | 派对,音乐盖过人声,多人快速对答 | 极限 |
| Üvegtigris(2001)之一 | 乡下轮胎铺,五个人以上对骂,发动机底噪 | 极限 |
| Üvegtigris 之二 | 两人对白加一段独白,底噪轻 | 基础 |
| Üvegtigris 之三 | 小吃摊点单,拌嘴、对讲机、有人插话,换人说话很快,但没有长时间叠音 | 中高 |
后三段出自同一部片。现代匈牙利语电影很难找到完整、干净的片源,有一部我们想用的片子,唯一的全长片源被年龄限制挡住了。
测了哪些引擎
ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Deepgram、Gladia、FunASR、豆包,后来又补测了 Gemini。
豆包不在它官方支持的语言里,五段全部输出乱码。Deepgram 和 FunASR 转出的内容太少,分别只有标准答案字数的十分之一和十分之三左右,等于大段没转。
各家踩了哪些红线
循环复读:开头的 "Jegy" 是一例。轮胎铺那段,AssemblyAI 又把一句 "Mi az hogy mi között van" 复读了 18 遍,吞掉六句不同的台词。Gemini 在 Kontroll 里也有好几组复读。
否定反转:Speechmatics 把 "Ne csináljátok a fotót"(别拍那张照片)写成了 "Csináljátok a fotót"(拍吧)。AssemblyAI 把「这派对爽翻了」写成「这派对怎么不好」;在点单那段,它把 megvennék(我想买)听成了 megvernék(我想揍)。Gemini 把「别插嘴」写成了「插嘴吧」。
整句幻觉:派对那段音乐盖过人声的地方,Speechmatics 凭空造出一串笑声和一句话,原片里没有。AssemblyAI 在 Kontroll 里也把一句话整个换成了另一句。Gemini 在轮胎铺那段凭空多出一句「我们付车钱」。
整段丢失:点单那段,AssemblyAI 漏掉了对讲机里的两段话。
凭空插入:同一段里,Gemini 把对讲机的呼叫插进了对话中间,重复了 6 次。
语言漂移:只有豆包。
ElevenLabs 五段里没有复读、没有反转,错处都是音近替换,比如把 szénád 写成 színed。
选了谁
- 主引擎:ElevenLabs Scribe v2。
- 参考引擎:AssemblyAI、Soniox、Gemini。
AssemblyAI 留下,是因为它的复读只出现在长时间、势均力敌的叠喊里。在两人对白和点单那两段,它没有复读,也没有吞段。真实访谈里很少有长时间多人对吼。
Soniox 顶替的是 Speechmatics。Speechmatics 在噪声里会凭空造句,还丢过否定词,现在只作应急备用。复核时,Soniox 在五段上的表现全部好于 AssemblyAI,出错时多是看得出来的碎词。
Gemini 是 8 月全语言加挂的,它和声学引擎的出错方式不一样,可以互相印证。
反方证据
这门语言的反方证据比较多。
- AssemblyAI「在对话里很干净」这个说法,被它自己的错打了折扣:「想买」变「想揍」恰好出在最像访谈的点单那段。
- 复核结论是 Soniox 五段全胜 AssemblyAI,但配置里 AssemblyAI 仍排在 Soniox 前面。顺序和证据是反的。
- Gemini 只有一段对话类素材可以判,那段零红线。两段群戏里它有一处反转、一处凭空造句和几组复读;点单那段,它还把对讲机呼叫往对话里插了 6 次。
- 单看 WER,在两人对白和点单这两段,Speechmatics 都最低(20.5%、33.5%),ElevenLabs 是 27.6% 和 36.3%。我们没按这个数选,理由见 WER 会骗人。
还没解决的
- Gemini 在匈牙利语上的证据只有一段对话,还需要补测。
- 三段片子来自同一部电影,场景多样性有限。
- 参考引擎的排序要不要按复核结果调整,还没定。
作者:Zeyu Si