本文へスキップ

シリーズ27言語の検証記録

ドイツ語:ウィーン方言で、最も安定していたエンジンが英語に切り替わった

· Zeyu Si

このページの内容

オーストリア映画 Hundstage の酒席での対決の場面では、男たちが濃いウィーン方言で互いを挑発し合います。この場面で AssemblyAI は突然英語に切り替わり、「You just often want to sing... I will the luz dance like if I was a toad」のような、音声のどこにもない行を出力しました。同じ場面で Doubao は最後までドイツ語のままで、全エンジンの中で最も筋の通った出力でした。

ほかの三つの音声はすべて標準ドイツ語で、そこでは AssemblyAI がテストした中で最もきれいなエンジンでした。同じ言語の中でも、方言一つで順位がひっくり返ります。

テスト用の音声

映画の四場面、ドイツ映画三本とオーストリア映画一本、それぞれおよそ二、三分:

  • Knockin' on Heaven's Door(1997):食堂で主人公二人が早口で話し、ギャングからの電話が割り込む。
  • Der Untergang(2004):地下壕での作戦会議。五人以上の将校が互いの話を遮る。
  • Sophie Scholl(2005):法廷での尋問に、群衆の叫び声が重なる。字幕が音声と一語一句一致しているのはこの音声だけなので、WER に意味があるのはここだけです。
  • Hundstage(2001):ウィーン方言、酒席でのいじめ。使える基準は 1 分 42 秒分しかありません。

ほかにも候補の映画はいくつかありましたが、YouTube の年齢制限を越えられなかったり、「全編」が英語のあらすじ動画だったりしました。難しいドイツ語の映画の会話を得られる良い素材は多くありません。

最初の記事 の三つの層で言えば、Knockin'Sophie Scholl は中間の層の近く、Der UntergangHundstage は最も難しい層です。基本の層はカバーしていません。

候補

ElevenLabs、AssemblyAI、Doubao、Speechmatics(二つのモデル)、Soniox、Gladia、Deepgram、FunASR、そして後から Gemini。

六つのレッドライン、エンジンごとに

作り出された単語と文。 Sophie Scholl で群衆は「Frechheit」(けしからん)と叫びます。三つのエンジンがそれぞれ別の単語を作り出しました。Soniox は「Brecher als sowas Brecher Schwein oder Schwein」、Deepgram は「Wecker」(目覚まし時計)、Gladia は「Lecker als sowas Lecker Lecker」(おいしい)。Knockin' では、Soniox が「Frankie ist harmlos」(フランキーは無害だ)を「ein Harvard」と聞き、自前の文を一つ足しました。Der Untergang では、Deepgram が「kulturlosen Bestien」を造語の羅列にしました。

言語ドリフト。 冒頭の場面がそれです。再確認すると、AssemblyAI はオーストリアの音声で三回別々に英語に切り替わっていました。

意味の反転。 オーストリアの音声で、Speechmatics は「Dir vergeht die Lust, wenn du tot bist」(死んだらその気も失せる)を「Ich will dich los wenn du tot bist」にし、主語と意味の両方を変えたうえ、「du Schwein」という罵倒を足しました。

一節の脱落。 Deepgram は Knockin' で約 30 秒分のセリフを飛ばしました。オーストリアの音声では 25 語しか返さず、約 90% が抜けていました。

繰り返し。 Soniox はオーストリアの音声で軽い繰り返しを見せ、一つの単語が四回連続で出てきました。この四つの音声で、ほかのエンジンにはそうした記録はありません。

何を選んだか

メイントラック:ElevenLabs Scribe v2。 言語が切り替わることも、文を作り出すこともなく、置換は音声一つあたりゼロから三か所でした。

リファレンストラック(優先順):

  1. AssemblyAI(universal-2):標準ドイツ語の三つの音声で最もきれいで、Der Untergang の作戦会議では誤りゼロ。
  2. Doubao:四つの音声すべてでドイツ語のままで、作り話の文も大きな抜けもありません。オーストリア方言では AssemblyAI より安定していました。
  3. Gemini:2026年8月26日に追加。26 の言語にわたってテストしたとき、ドイツ語はそのまま投入できるグループに入りました。Hundstage ではレッドラインがなく、AssemblyAI が英語に切り替わった箇所でも切り替わりませんでした。

私たちの選択に不利な証拠

  • Doubao は意味をねじ曲げる。「Frankie ist harmlos」(フランキーは無害だ)を「hart vor」と書き、意味を逆方向に押しやりました。「Ja, no problem」は「ja nur Brot」(パンだけ)に、「Acht, Acht」(八、八)は数字の 88 になりました。
  • メイントラックも意味を変えた。 Der Untergang で、ElevenLabs は「In einem Krieg wie diesem」(このような戦争では)を「In einem Kollektiv dieser Art」(この種の集団では)にしました。
  • Gemini はドイツ語で文を作り出した。 Der Untergang で、誰も言っていない「Flucht oder Berlin wird ein gewaltiger Rückschlag」という行を書き、「Are you mad?」を「He's mad.」にしました。
  • 唯一信頼できる WER の勝者は選ばれなかった。 Sophie Scholl で WER が最も低かったのは Speechmatics です。標準ドイツ語では実際に安全で、失敗の大半は脱落です。しかしオーストリア方言では、ある行の主語と意味の両方を変えました。

未解決の問いと限界

  • オーストリアの音声は一つだけで、使える基準は 1 分 42 秒分しかありません。スイスドイツ語はまったくテストしていません。
  • 四つの音声はすべて映画からで、本物のインタビューは一つもなく、基本の層のものもありません。
  • Sophie Scholl の数秒間の群衆の叫び声では、三つのエンジンがそれぞれ単語を作り出し、AssemblyAI と Speechmatics は空白のままにしました。空白は作り出された単語より安全ですが、その数秒が多くのエンジンにとってまだ難しいことを示しています。

ドイツ語の文字起こしページ

執筆Zeyu Si