本文属于:27 门语言实测档案
意大利语:主轨把懊恼听成了称赞
· Zeyu Si
I soliti ignoti 里,一伙小偷看完偷拍的录像,有人懊恼地说 "é finita la pellicola":胶片放完了。我们的主轨 ElevenLabs 把它写成了 "il film è bellissimo",「这电影真棒」。懊恼变成了称赞。
这一句,十路引擎里只有豆包转对。AssemblyAI 听成了汽油(benzina),Gladia 听成了野兽(bestia),Speechmatics 直接漏了。参考轨能纠正主轨,意大利语是最直接的例子。
测试片
四段电影片段,覆盖意大利四个地区的口音:
- I soliti ignoti(1958,罗马):一伙人看偷拍录像、评估保险箱,再跟开锁匠讨价还价,叠音很多。
- Baarìa(2009,西西里):村广场上的群戏,理发、邮局、借马克思的书。
- Ammore e malavita(2017,那不勒斯):葬礼吊唁,接着遗孀悬赏复仇。
- Il Capitale Umano(2013,米兰/北方):剧院董事会讨论剧目,清晰的标准意大利语。
按第一篇的三档,Il Capitale Umano 接近中高档,其余三段都在极限档。基础档没有覆盖。
有几部片子带配乐、歌舞或背景歌曲,我们裁片时避开了音乐盖住对白的段落。
测了哪些引擎
ElevenLabs、AssemblyAI、豆包、Speechmatics(两个模型)、Soniox、Gladia、Deepgram、FunASR、Qwen,以及后来的 Gemini。
六类红线,各家踩了哪些
整段丢失。 Deepgram 在三段难片上都崩了:I soliti ignoti 标准答案 324 个词,它转了 134 个;Baarìa 121 个词,它转了 64 个;那不勒斯那段 103 个词,它只转了 15 个,前 90 秒的吊唁和揭发全没了。
否定反转。 除了主轨那句,Gladia 把 "è stato Ciro che ha venduto Vincenzo"(是 Ciro 出卖了 Vincenzo)写成了被 vincenza 背叛,谁出卖谁整个倒了过来。Speechmatics 把 "darà un milione"(会悬赏一百万)写成 "Non era 1.000.000",多了一个否定。
整句幻觉。 Speechmatics 把黑帮老大的姓 Strozzalone 写成 "stronza",一个骂女人的脏词。Gladia 把 "ho fatto un regalo"(我送了个礼物)写成一句脏话。Soniox 在那不勒斯那段凭空插了一整句 "Il ciccio di Masellini"。
循环复读。 Qwen 出现了循环复读,一处重复了十次;它还丢了否定词 mica,意思反了。
语言漂移。 见下面 Gemini 的部分。
米兰那段是反面对照:清晰的标准意大利语上,七家引擎全部干净,连 Deepgram 都没崩。上面这些毒性错误,全出在叠音和重方言的段落里。
选了谁
主轨:ElevenLabs Scribe v2。 四段里三段干净,那不勒斯方言那段它是断层第一。I soliti ignoti 那处反转,是它在这门语言里唯一的红线。
参考轨,按优先级:
- AssemblyAI(universal-2):四段零幻觉、零反转、零崩盘,四种口音全程安全。
- 豆包:同样四段零幻觉、零反转、零崩盘,罗马和西西里两段它最干净,pellicola 那句只有它转对。
- Gemini:2026 年 8 月 26 日加入。
AssemblyAI 和豆包是这批测试里仅有的两家,四段下来一次都没编、没说反、没崩。
不利于这个选择的证据
- 主轨在关键句上反转了。 这是本门最直接的反方证据。我们靠参考轨把它纠回来,可前提是参考轨在那一处恰好是对的。
- Gemini 在意大利语上的证据很薄。 在 26 门补测里,意大利语被归为「还要补测再定」:对话类的素材只有一段,那段它零红线。另外两段方言群戏,它的结果都是垫底。在 Baarìa 里,原句是「爸,我收到邀请了吗」,它写出了一句完全不相干的「多漂亮的球,多少孩子,我要!」。在 Ammore 里,它冒出了一整段英文:"Don't leave us alone, don't be shy. When I was a child, I used to make." 它现在仍在参考轨上,可在这门语言上,支持它的证据只有那一段对话。
- Speechmatics 的另一个模型毒性轻一些,但没清零。 Melia-1 没有重复 Speechmatics 那句脏话,也没加否定,可它有一处把 "un bianco" 重复了四遍。
还没解决的问题
- 四段都是电影,最早的一部是 1958 年的,音质和今天的访谈录音差得远。
- 没有基础档,也没有真实访谈。Gemini 在意大利语上缺一段像样的对话素材。
- 人名不计分。人名各家普遍会错,要靠术语库。
作者:Zeyu Si