韓国語：三つのエンジンが、まったく同じ誤った否定を書いた

韓国語のテストで、ある一行が三つのエンジンからまったく同じ形で誤って出てきました。話者の言葉に否定はないのに、Doubao、AssemblyAI、Soniox がそろって「〜しなかった」を含む文、쓰지 않았어 と書いたのです。

三つのエンジンが同じ間違いをするとき、問題はどれか一つのエンジンではなく、その箇所の音声にあります。これを理由に Soniox を外していたら、すでに使っていた二つのエンジンも外さなければならなかったでしょう。そしてこれは、三者の投票でも否定に対しては守りにならないことを思い出させてくれました。

テスト用の音声

韓国映画の四場面。聴覚障害者向けの韓国語字幕と照らして採点しました。

• Memories of Murder、取り調べ：三人。笑い声、うめき声、話者の重なり。
• Memories of Murder、最後の取り調べ：四、五人。怒鳴り声と罵り言葉。
• Extreme Job、フライドチキンに名前を付ける場面：何人もが早口で話をかぶせ合い、歓声も入る。
• The Accidental Detective 2、依頼人への説明：四人のテンポの速いやり取りで、途中にハッキングの実演が入る。

三段階の難易度の尺度では、最初の二つが最上位、ほかの二つが中間です。易しい音声はありません。最初の二つは、制作会社が公開した公式の場面クリップです。

試したエンジン

第一ラウンドは ElevenLabs Scribe v2、AssemblyAI、Doubao、Speechmatics。追加の実行で Soniox、Gladia ほか。Gemini は別途テストしました。

エンジンがレッドラインを越えたところ

意味の反転。 上の共通の誤りのほか、Speechmatics は探偵の場面で独自の反転を起こし、오빠 넣으면 と否定の 안 오면（「彼が来なければ」）が入れ替わりました。

挿入された内容。 チキンの場面で、Speechmatics は 박동규야 という名前を作り出しました。Doubao の弱点は数字で、どこからともなく「5 존맛」を出し、泣き声の部分を「6 6」と書きました。

繰り返しのループ。 Memories of Murder の笑い声で、Doubao は笑いを ㅎ の 40 回繰り返しとして書きました。二つの中間の音声ではそのように崩れることはなく、極端な笑い声と怒鳴り声の中でだけ起きました。Gladia も韓国語でループしました。二つの最も難しい音声のどちらでも崩れなかったのは Soniox だけでした。

一節の脱落。 AssemblyAI の最大の問題は取りこぼしです。まとまった部分を飛ばし、四つのうち最も少ない文字数を返すことがよくあります。何かを作り出すことはめったにありませんが、失うものが多いのです。

何を選んだか

メイン：ElevenLabs Scribe v2。 四つの音声すべてで一位で、平均は 11.6%、二位は 17.0% でした。人名を安定して正しく書けるのもこのエンジンだけです。

リファレンス（順に）：Doubao、Soniox、Gemini。 三つとも韓国語のすべてのファイルで動きます。

• Doubao：平均で二位、二つの中間の音声ではどちらも安定した二位でした。崩れたのは極端な笑い声の中だけで、本物のインタビューではめったに起きません。
• Soniox：AssemblyAI に代わりましたが、スコアが理由ではありません。AssemblyAI の最悪の種類の誤りは Soniox もしがちで、しばしば同じ箇所で起きる一方、AssemblyAI に固有の誤りは大きな脱落だとわかったのです。Soniox に入れ替えると、リファレンストラック同士で間違える箇所の重なりが小さくなります。
• Gemini：三つ目のリファレンスとして動いています。

私たちの選択に不利な証拠

• 最初の四音声の韓国語レポートは別の構成を推奨していました。AssemblyAI は「落とすだけで作り出さないので最も安全」という理由で、Doubao と AssemblyAI の組み合わせです。その後の見直しで、AssemblyAI が共通の否定を書いた三つのエンジンの一つだとわかり、「最も安全」は成り立たなくなり、Soniox がその座に就きました。
• Gemini の韓国語の実績は弱いものです。テストしたとき、韓国語は「追加しない」グループに入りました。チキンの場面では意味を四、五回変え、「肉汁がまだ残っている」を「肉を赦す」にし、内容を落としました。探偵の場面では意味を三回変え、「死体だと思った」を「寝ていると思った」にし、「5%」を落としました。その大半は意味を変える置換で、私たちの六つのレッドラインには入りませんが、インタビューの書き起こしでは同じくらい危険です。今は設定に入っていますが、注意して見る必要があります。
• Doubao が出す幻の数字は、読み手が参加者の提供したデータと取り違えやすい種類のものです。

未解決の問題

• 二つの最も難しい音声は、当時は誤り率と崩壊しか確認しておらず、意味を一行ずつは確認していません。
• 四つの音声はすべて映画です。本物のインタビューはありません。設定には今も、本番で全面的に使う前に本物のインタビューでパイプライン全体を端から端まで通すべき、という注記が残っています。
• 三者共通の誤りは投票では直せません。だからエンジン同士で否定かどうかの意見が分かれたとき、統合のステップは多数派に従いません。確かな証拠がなければ、その行には人が確認するよう印を付けます。