本文属于:27 门语言实测档案
法语:三家引擎把同一句话说反了
· Zeyu Si
在 Le Prénom 的晚宴争论里,有一句 "même s'ils se trompent",意思是「即使他们错了」。Deepgram、Gladia、Soniox 三家都把它写成了 "même s'ils ne se trompent pas",「即使他们没错」。三家互不相干,却在同一个地方、以同一种方式把话说反了。
多请几家引擎来投票,前提是它们的错互相独立。这一句说明,这个前提并不总成立。
测试片
四段电影片段,各代表一种难懂的法语:
- La Haine(1995):巴黎郊区,街头黑话 verlan,底噪很大。电视台的人来访被一群人骂,接着邻居的车被砸,吵成一团。
- Le Prénom(2012):巴黎标准口音,高语速的晚宴论辩,专名密集。
- Le Dîner de Cons(1998):巴黎标准口音,喜剧式的快速对答,一通名字搞混的电话闹剧。
- Bon Cop Bad Cop(2006,加拿大):魁北克口语 joual,加上一整课魁北克脏话。
第三段原本是讲法国北部方言的 Bienvenue chez les Ch'tis。我们找到的片源标题、时长都对,一跑才发现是导演访谈和花絮的合辑,只好换片。所以北部方言没有测到。第四段的首选片源也是假的,是一段英语的 AI 影评。
按第一篇的三档,四段都在中高档到极限档之间,La Haine 和 Bon Cop 最难。基础档没有覆盖。
测了哪些引擎
ElevenLabs、AssemblyAI、豆包、Speechmatics(两个模型)、Soniox、Gladia、Deepgram、FunASR,以及后来的 Gemini。
六类红线,各家踩了哪些
否定反转。 除了开头那句三家同错,Speechmatics 在 La Haine 里把 "c'est pas moi qui ai les tunes"(钱不在我这儿)写成 "c'est pas moi qui t'ai tué"(不是我杀了你)。Speechmatics 的另一个模型 Melia-1 在 Le Prénom 那句上也反了。
整句幻觉。 La Haine 开头没有台词,Gladia 和 Soniox 各自编了一句开场白。Gladia 把 "Est-ce que vous avez participé aux émeutes"(你们参加暴乱了吗)改写成了一句带否定、又说不通的话。Speechmatics 在 Dîner de Cons 结尾造出 "niveau budget"。Deepgram 把旧金山的 "Golden Gate" 写成一串乱码。
AssemblyAI 也编过。魁北克脏话 "je m'en câlice"(我才不在乎)被它写成 "je mets un cornichon"(我放一根酸黄瓜)。在 1995 年的 La Haine 里,它还转出了 "YouTube" 和 "Covid" 两个词,那时候这两样东西都还不存在。
循环复读。 Speechmatics 把 "Oh là là" 转成连续 18 个 "la"。Gemini 第一次跑 Dîner de Cons 时,把 "là" 重复了 1659 次,整段没出稿;重跑一次,35 秒就正常出来了。
整段丢失。 Deepgram 在 La Haine 只转了 109 个词,其他家大约 620 个,后半段砸车的争吵整个没了。豆包在魁北克那段也漏得多,只出了 142 个词。
语言漂移。 这四段里没有看到大段切换语言。
选了谁
主轨:ElevenLabs Scribe v2。 四段零反转,verlan 保得住,魁北克那段是第二扛得住的。
参考轨,按优先级:
- AssemblyAI(universal-2):四段零反转,在 verlan、论辩、喜剧三种法语上都是最干净的一档。
- 豆包:在所有非主轨引擎里,只有它四段都没编过、没说反过。魁北克那段它退化得厉害,但只是听糊和漏,没有编。
- Gemini:2026 年 8 月 26 日加入。四段电影全是群戏和喊叫,没法用来判断它。我们另取了一段 5 分钟的真实长访谈(萨科齐),和 ElevenLabs 逐句对照:零幻觉、零反转、零复读,两处轻微改义,一处比 ElevenLabs 更对。它在电影片上常见的大段漏,在访谈里没有出现。
不利于这个选择的证据
- AssemblyAI 在法语上并不干净。 上面那根酸黄瓜、那两个穿越的词,都是它的。它四段加起来有 4 处幻觉。
- 两条参考轨可能同时失灵。 有一段吵闹戏,豆包整段漏掉,AssemblyAI 恰好在这段编了东西,能对上号的只剩主轨一家。
- 主轨自己也编过。 ElevenLabs 四段零反转,但也有两处幻觉,其中一处在片子开场。
- 魁北克法语最准的引擎没选。 Bon Cop 这段,Speechmatics 转得最好。但它在 La Haine 上把话说反了,在别的片段上也编过句子,所以没选。
- Gemini 的法语证据很薄。 只有一段 5 分钟访谈,没有标准答案,只能和主轨互相印证。它在电影片上还有过 1659 次复读、整段不出稿的记录,虽然重跑能过。
还没解决的问题
- 北部方言(Ch'ti)没测到,比利时、瑞士、非洲的法语也都没有测试片。
- 四段都是电影,没有基础档;访谈只有给 Gemini 补的那一段。
- 三家同错那句提醒我们,否定词附近的分歧不能简单按票数定。合并环节在这类地方怎么判,我们还在调整。
作者:Zeyu Si