シリーズ:27言語の検証記録
フランス語:三つのエンジンが、一つの文で、同じ誤った意味に
· Zeyu Si
Le Prénom の夕食会での口論で、ある人物が「même s'ils se trompent」、つまり「彼らが間違っていても」と言います。Deepgram、Gladia、Soniox はそろって「même s'ils ne se trompent pas」、つまり「彼らが間違っていなくても」と書きました。互いに無関係な三つのエンジンが、同じ箇所で、同じように意味を反転させたのです。
複数のエンジンに投票させる方法が機能するのは、それぞれの間違いが独立しているときだけです。この一文は、常にそうとは限らないことを示しています。
テスト用の音声
映画の四場面。それぞれ種類の違う、聞き取りにくいフランス語です。
- La Haine(1995):パリ郊外(バンリュー)、若者言葉の俗語(verlan)、強い背景雑音。テレビの取材班が群衆に野次られ、その後、近所の人の車が壊されて全員が叫び出す。
- Le Prénom(2012):標準的なパリのアクセント、人名だらけの食卓での速い議論。
- Le Dîner de Cons(1998):標準的なパリのアクセント、テンポの速い喜劇のやり取り、名前の取り違えから生まれる電話のドタバタ。
- Bon Cop, Bad Cop(2006、カナダ):ケベックの joual。ケベック流の罵り言葉の講義がまるごと入っています。
三つ目の枠には、北フランスの方言のために Bienvenue chez les Ch'tis を入れる予定でした。見つけた素材はタイトルも長さも合っていましたが、試しに流してみると、監督インタビューとメイキング映像を集めたものでした。映画を差し替えざるを得ず、北フランスの方言はテストできませんでした。四つ目の音声の最初の素材も偽物で、英語の AI による映画レビューでした。
最初の記事 の三つの層で言えば、四つの音声はすべて中間の層と最も難しい層の間にあり、La Haine と Bon Cop が最も難しいものです。基本の層はカバーしていません。
候補
ElevenLabs、AssemblyAI、Doubao、Speechmatics(二つのモデル)、Soniox、Gladia、Deepgram、FunASR、そして後から Gemini。
六つのレッドライン、エンジンごとに
否定の反転。 上の三エンジンの反転のほか、Speechmatics は La Haine の「c'est pas moi qui ai les tunes」(金を持ってるのは俺じゃない)を「c'est pas moi qui t'ai tué」(お前を殺したのは俺じゃない)にしました。Speechmatics のもう一つのモデル Melia-1 も、Le Prénom のあの行を反転させました。
作り出された文。 La Haine の冒頭にはセリフがありませんが、Gladia と Soniox はそれぞれ最初の一行を作り出しました。Gladia は「Est-ce que vous avez participé aux émeutes」(暴動に参加しましたか)を、ありもしない否定を含む崩れた文に書き換えました。Speechmatics は Le Dîner de Cons の終わりに「niveau budget」をでっち上げました。Deepgram はサンフランシスコの「Golden Gate」を意味不明な文字列にしました。
AssemblyAI も作り出しました。ケベックの罵り言葉「je m'en câlice」(知ったことか)が「je mets un cornichon」(ピクルスを入れる)になりました。そして 1995 年の映画で、まだ存在していなかった「YouTube」と「Covid」という単語を書き起こしました。
繰り返しのループ。 Speechmatics は「Oh là là」を「la」の十八連続にしました。Le Dîner de Cons の初回の実行で、Gemini は「là」を 1,659 回繰り返し、書き起こしを一度も出しませんでした。二回目の実行は 35 秒で正常に終わりました。
一節の脱落。 La Haine で、ほかのエンジンが約 620 語を返したのに対し、Deepgram は 109 語しか返しませんでした。後半、壊された車をめぐる喧嘩がまるごと消えていました。Doubao もケベックの音声で大きく落とし、142 語しか返しませんでした。
言語ドリフト。 この四つの音声では、別の言語への大きな切り替わりはありませんでした。
何を選んだか
メイントラック:ElevenLabs Scribe v2。 どの音声でも意味の反転がなく、verlan をそのまま保ち、ケベックの音声では二番目に堅牢でした。
リファレンストラック(優先順):
- AssemblyAI(universal-2):どの音声でも反転がなく、verlan、議論、喜劇では全エンジンの中で最もきれいでした。
- Doubao:四つの音声を通じて、一度も行を作り出さず、一度も反転させなかった唯一のメイン以外のエンジンです。ケベックの音声では大きく崩れましたが、それは聞き違いと単語の脱落によるものだけでした。
- Gemini:2026年8月26日に追加。映画の四つの音声はどれも群衆の場面と叫び声で、Gemini について役立つことはわかりませんでした。そこで、ニコラ・サルコジへの実際の長編インタビューから五分間を取り出し、Gemini と ElevenLabs を一行ずつ比較しました。作り出された文も、反転も、ループもなく、意味の小さな変化が二つ、ElevenLabs より正確だった箇所が一つありました。映画の音声で見られた大きな脱落は、インタビューでは現れませんでした。
私たちの選択に不利な証拠
- AssemblyAI はフランス語できれいではない。 ピクルスも二つの時代錯誤も、どちらも AssemblyAI の仕業です。四つの音声を通じて、作り出された一節が四つありました。
- 二つのリファレンストラックが同時に失敗しうる。 ある騒がしい場面では、Doubao がその一節をまるごと落とし、AssemblyAI はそこに何かを作り出しました。使える証人はメイントラックだけになりました。
- メイントラックも作り出した。 ElevenLabs に反転はありませんでしたが、作り出された一節が二つあり、その一つは音声の冒頭でした。
- ケベックのフランス語に最良のエンジンを見送った。 Bon Cop を最もうまく扱ったのは Speechmatics でした。しかし La Haine で意味を反転させ、ほかでも行を作り出したので、外しました。
- フランス語での Gemini の証拠は薄い。 五分間のインタビュー一本だけで、基準の書き起こしもなく、メイントラックとしか照合していません。映画の音声では、再実行で通ったとはいえ、1,659 回繰り返しの失敗も記録に残っています。
未解決の問いと限界
- 北フランスのシュティ方言はテストしておらず、ベルギー、スイス、アフリカのフランス語の音声もありません。
- 基準付きの四つの音声はすべて映画からで、基本の層のものはありません。インタビューは Gemini のために追加した一本だけです。
- 三エンジンの反転は、否定の近くの食い違いは票を数えても決着しないことを思い出させます。統合のステップがそうした箇所をどう扱うかは、まだ調整中です。
執筆:Zeyu Si