ハンガリー語：「チケット」を 23 回書いたエンジンを残した理由

ハンガリー映画 Kontroll（2003）には、地下鉄での切符をめぐる乱闘の場面があります。検札係は「Jegy!」（切符）と叫び続けます。AssemblyAI はこの単語を 23 回続けて書き、その後のセリフがまるごと消えました。

別の音声、軽食スタンドでのテンポの速い注文のやり取りでは、同じエンジンは一度もループしませんでした。私たちはハンガリー語で AssemblyAI を残しました。ただ、残す根拠は最初に思っていたより弱いものでした。

テスト用の音声

五つの音声、すべて映画から：

後の三つは同じ映画からです。最近のハンガリー映画で完全かつきれいな素材は見つけにくく、使いたかった一本は、全編の唯一のコピーが年齢制限の向こうにありました。

テストしたエンジン

ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Deepgram、Gladia、FunASR、Doubao。Gemini は後から加わりました。

ハンガリー語は Doubao の対応言語ではなく、五つの音声すべてが意味不明な出力で返ってきました。Deepgram と FunASR は出力が少なすぎ、基準の語数のおよそ十分の一と十分の三でした。つまり音声の大半がそもそも書き起こされていなかったのです。

レッドライン

ループ：「Jegy」の連続がその一つです。タイヤ店の音声では、AssemblyAI が「Mi az hogy mi között van」を 18 回繰り返し、六つの別々のセリフを飲み込みました。Gemini も Kontroll で何度か繰り返しの連続を起こしました。

否定の反転：Speechmatics は「Ne csináljátok a fotót」（その写真を撮るな）を「Csináljátok a fotót」（撮れ）にしました。AssemblyAI は「このパーティーは最高だ」を「なんでこのパーティーは全然ダメなんだ」にしました。軽食スタンドでは megvennék（買うよ）を megvernék（あいつを殴るよ）と聞きました。Gemini は「口を挟むな」を「どうぞ、口を挟んで」にしました。

文のハルシネーション：パーティーの音楽が声をかき消したところで、Speechmatics は映画にない笑い声と文を出しました。AssemblyAI は Kontroll の一行をまるごと別の行に置き換えました。Gemini はタイヤ店で、誰も言っていない「乗せてもらう分は払うよ」という行を足しました。

一節の脱落：軽食スタンドで、AssemblyAI はトランシーバーのやり取りを二つ取りこぼしました。

内容の挿入：同じ音声で、Gemini はトランシーバーの呼び出しを会話の途中に六回押し込みました。

言語ドリフト：Doubao のみ。

ElevenLabs は五つの音声を通じてループも反転もありませんでした。間違いは szénád を színed とするような、音の似た語への置換でした。

何を選んだか

• メインエンジン：ElevenLabs Scribe v2。
• リファレンスエンジン：AssemblyAI、Soniox、Gemini。

AssemblyAI を残したのは、そのループが、長く続く互角の怒鳴り合いでしか起きなかったからです。二人の会話と軽食スタンドの音声では、ループすることも、まとまった部分を落とすこともありませんでした。本物のインタビューで、何人もが長時間互いに怒鳴り合うことはめったにありません。

Soniox は Speechmatics に置き換わりました。Speechmatics は雑音の中で文を作り出し、否定を落としたこともあるためで、今は緊急用のフォールバックです。見直しでは、Soniox は五つの音声すべてで AssemblyAI を上回り、失敗するときは、ひと目で崩れているとわかる断片を出す傾向がありました。

Gemini は八月に全言語に加わりました。音響エンジンとは違う形で間違えるので、二種類が互いを照合できます。

私たちの選択に不利な証拠

ハンガリー語にはそれがかなりあります。

• 「AssemblyAI は会話ではきれい」という主張は、AssemblyAI 自身の誤りで傷つきました。インタビューに最も近い軽食スタンドの音声で、「買う」が「殴る」になったのです。
• 見直しでは五つの音声すべてで Soniox が AssemblyAI より良かったのに、設定では今も AssemblyAI を Soniox より前に置いています。この順番は証拠に反しています。
• Gemini を判断できる会話の音声は一つしかなく、そこではきれいでした。二つの集団の場面では、反転、作り出された文、何度かのループがあり、軽食スタンドではトランシーバーの呼び出しを六回挿入しました。
• WER だけで見ると、二人の会話と軽食スタンドの両方で Speechmatics が最も低いスコアでした（20.5% と 33.5%、ElevenLabs は 27.6% と 36.3%）。私たちはその数字では選んでいません。WER はうそをつく を参照してください。

未解決のこと

• 会話の音声一つでは、ハンガリー語での Gemini の証拠として足りません。さらにテストが必要です。
• 五つの音声のうち三つが一本の映画からで、場面の幅が限られています。
• 見直しの結果に合わせてリファレンスエンジンの順番を入れ替えるかどうかは、まだ決めていません。