シリーズ:27言語の検証記録
スペイン語:私たち自身のコードが壊れているように見せていたエンジン
· Zeyu Si
スペイン語について最初期に出した結論の一つは、「Doubao は難しいスペイン語で崩壊する。誤り率 98.7%」というものでした。その音声で Doubao は、中国語と英語の入り混じった意味不明な出力を返していました。
問題は私たちの側にありました。私たちは Doubao に言語コード es-ES(スペインで話されるスペイン語)を送っていました。Doubao はこのコードを受け付けません。しかもエラーも返さず、黙って中国語にフォールバックしていたのです。es-MX(メキシコのスペイン語)に切り替えて四つの音声すべてを再実行すると、Doubao は作り話の文を一つも出さず、アルゼンチンの動詞の形の大半を保ち、Doubao の代わりに入っていた Speechmatics を上回りました。
もとの「崩壊」は一つの音声だけに基づいていました。後に、ほかの九つの言語での Doubao の「崩壊」も、同じ原因だったとわかりました。
テスト用の音声
三か国の映画から四場面:
- El Método(2005、スペイン):部屋に集められた就職候補者たちが、誰がスパイかをめぐって言い争う。カスティーリャ・スペイン語。
- El crimen del Padre Amaro(2002、メキシコ):司祭たちがテレビのついた部屋でサッカーの試合について言い争い、やがて無法者との癒着を責める話になる。
- Nueve Reinas(2000、アルゼンチン):遺産をめぐる怒鳴り合いと、老婦人をだます場面。アルゼンチン人は voseo を使い、動詞の活用が変わります。
- La Comunidad(2000、スペイン):亡くなった住人の部屋を見つけた隣人たちが戸口に押し寄せて叫ぶ。
La Comunidad は最も難しい層のサンプルとして扱い、ほかの三つは中間の層と最も難しい層の間に入ります。基本の層はカバーしていません(層については最初の記事で説明しています)。
候補
ElevenLabs、AssemblyAI、Doubao、Speechmatics(二つのモデル)、Soniox、Gladia(二つのモデル)、Deepgram、FunASR、Qwen、そして後から Gemini。
六つのレッドライン、エンジンごとに
否定の反転。 スペイン語で最も多かったレッドラインです。El Método で、Speechmatics は「Quiero probar cosas nuevas」(新しいことを試したい)を「No quiero」(したくない)に、「si hay un topo」(スパイがいるなら)を「Soy un topo」(私がスパイだ)にしました。Gladia は「Apaguen ya esa tele」(そのテレビを消せ)を「¡No apaguen」(消すな)にしました。Deepgram は「no sé」(知らない)を「lo sé」(知っている)にしました。
作り出された単語と文。 Gladia は「nuestra situación laboral」(私たちの労働状況)を「nuestra situación, Laura」と聞き、Laura という女性を作り出しました。Deepgram は「porque está sola」(彼女は一人だから)を「orquesta sola」にし、オーケストラを出現させました。
言語ドリフト。 Speechmatics の Melia-1 モデルは「Soy abogado」(私は弁護士だ)をポルトガル語の「Sou advogado」と書き、La Comunidad の終盤をまるごとポルトガル語に切り替えました。スペイン語とポルトガル語は近いため、言語を明示的に指定しても止まりませんでした。
一節の脱落。 Deepgram は Padre Amaro の冒頭の、重なり合うサッカー談義を飛ばし、La Comunidad の終わりの怒鳴り合いのクライマックスを切り落としました。
訛りの平板化。 レッドラインではありませんが、中南米のインタビューでは重要です。Soniox はアルゼンチンの「Oíme / hablás / andás」を、中立的な「Óyeme / hablas / andas」に変えました。ElevenLabs と AssemblyAI は元の形を保ちました。
繰り返し。 Gladia はスペイン語の音声で、同じ単語を繰り返す兆候を早くから見せていました。この四つの音声では、ほかのエンジンにそれはありませんでした。
安心できる知らせもありました。La Comunidad は最も騒がしい場面ですが、六つのエンジンが同じセリフに収束し、何かを作り出したものはありませんでした。字幕には「Habrán dejado el grifo abierto」という一行しかありませんが、六つすべてが実際に話された文全体を書き起こしました。字幕より多い内容です。
何を選んだか
メイントラック:ElevenLabs Scribe v2。 三つの訛りすべてで安定し、アルゼンチンの voseo を保つのが最も上手で、四つの音声のどれでも作り出された文や意味の反転がありませんでした。
リファレンストラック(優先順):
- AssemblyAI(universal-2):どの音声でも作り出された文も反転もなく、全エンジンの中で最もきれいで完全でした。
- Doubao(
es-MXコードで):四つの音声を通じて作り出された文も崩壊もなく、アルゼンチンの動詞の形の大半を保ちました。圧縮された字幕が落としていた本物の単語(complacencias、rumbos)を拾い、Deepgram がオーケストラにした行も正しく書きました。 - Gemini:2026年8月26日に追加。
Speechmatics は今は緊急用のフォールバックです。作り出すことはありませんが、El Método で二行を反転させ、アルゼンチンの音声では最も弱かったからです。
私たちの選択に不利な証拠
- Doubao も、Speechmatics と同じ箇所で一行を反転させた。 El Método で、Doubao も「Quiero」を「No quiero」と書きました。Speechmatics は本番で動いていないので、この行に誤った票が二つ入ることはありません。しかし私たちは、五つの言語で複数のエンジンが同じ箇所で間違えるのを見てきました。そうなると単純な多数決は誤った答えを選びます。だから統合のステップは否定を多数決で決めません。確かな証拠がなければ、その行には人が確認するよう印を付けます。
- Gemini もスペイン語で独自の反転をする。 Padre Amaro で「テレビを消せ」を「テレビを消すな」に、「知らない」を「知っている」にしました。ほかの三つのトラックはどちらも正しく書きました。La Comunidad では「ガスをつけっぱなしにした」を「家をつけっぱなしにした」に変え、次の行の、全員が吹き飛ばされるという話とつながらなくなりました。
- Qwen はスペイン語できれいだったが、それでも見送った。 四つの音声を通じてループも作り出された文もなく、アルゼンチンの動詞の形もすべて保ちました。外したのは、単語レベルのタイムスタンプがないこと、Gemini と同じ大規模モデルの系統に属すること、そしてクリアな音声では今の三つより安定性に欠けたからです。
未解決の問いと限界
- 中南米ではメキシコとアルゼンチンしかテストしていません。カリブ、コロンビア、チリなどの訛りの音声はありません。
- 四つの音声はすべて映画からで、本物のインタビューは一つもなく、基本の層のものもありません。
- Doubao は受け付けない言語コードを渡されてもエラーを出さず、意味不明な出力を返すだけです。コードは今は正しいものの、この種の問題はエラーログには決して現れません。出力を読んで初めて気づけます。
執筆:Zeyu Si