チェコ語：エンジン構成を決めた二文字の接頭辞

チェコ語の「not」は多くの場合、動詞の頭に付いた ne- にすぎません。

チェコ語で最も難しい音声は、食卓を囲んだ全員が同時にしゃべる家族の場面です。ある重要な否定で、Speechmatics は ne- を落とし、文は正反対の意味になりました。Soniox は残しました。チェコ語のリファレンスエンジンを入れ替えたのは、この音声がきっかけです。

テスト用の音声

二本の映画から四つの音声：

テストしたエンジン

ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Deepgram、Gladia、FunASR、Doubao。Gemini は八月に加わりました。

Doubao はチェコ語に対応していません。四つの音声は、空か、英語と中国語が混ざった意味不明な出力で返ってきました。「No no no」のようなループも含みます。

レッドライン

否定の反転：冒頭で述べた Speechmatics のもの。

一節の脱落：AssemblyAI は最も難しい家族の音声で、まるごと二つの節を落としました。革命の音声では、Speechmatics の 154 語に対して合計 78 語。約半分です。

ループ：Doubao は該当。ElevenLabs は革命の音声で、群衆の「Už je to tady!」（来たぞ！）を六回書きましたが、字幕では二回です。群衆は実際に何度も繰り返し叫んでいたので、ループとは数えませんでしたが、記録はしました。

内容の挿入：革命の音声で、Gemini は英語のト書き「(Crowd noise and shouting)」を書き起こしに入れ、「鐘が鳴っている」を zabili（彼らが殺した）にしました。

言語ドリフト：Doubao のみ。

文のハルシネーション：最初の四音声の評価では、ElevenLabs、AssemblyAI、Speechmatics のいずれも文をまるごと作り出してはいません。誤りの大半は音の似た語で、意味を変えたものがいくつかありました。Speechmatics は「ゾウは三メートル七十だ！」の má slon を máslo（バター）と聞き、「絶対に飲み込まない」を「絶対に見分けられない」と聞きました。

何を選んだか

• メインエンジン：ElevenLabs Scribe v2。 四つのうち三つの音声で最も忠実でした。夕食の口論はほぼ一語一句そのままでした。
• リファレンスエンジン：Soniox、Speechmatics、Gemini。

Soniox：四つの音声を通じてレッドラインはゼロ。最も難しい家族の音声では ElevenLabs と並んで最良で、登場人物の名前 Brašule を正しく綴れた唯一のエンジンでした。重要な否定も残しました。

Speechmatics は残しますが、ルールを一つ付けます。ある文が否定かどうかについて、Speechmatics だけが特定の読み方をしている場合、統合のステップはそれに従いません。

AssemblyAI は、上で述べた一節の脱落のため予備に回しました。

Gemini は、はっきりした警察の事情聴取でレッドラインがゼロでした。

私たちの選択に不利な証拠

• 最初の四音声のレポートでは、AssemblyAI と Speechmatics は単語を落とすだけで意味を反転させることはなく、エンジンは三つで十分だと結論していました。最も難しい音声を再実行して、それが覆りました。最初の読みは楽観的すぎたのです。
• 革命の音声では、Speechmatics がラジオ放送を最も多く拾い、当時比較した三つのエンジンの中で最良でした。ElevenLabs は最下位でした。八月に Gemini をテストしたときも、その音声のメモには、ElevenLabs が冒頭の大部分を落として最下位だったと書かれています。メインエンジンは、放送と群衆が重なる騒がしい音声では当てになりません。
• Gemini がチェコ語で実績を持つ会話の音声は一つだけです。もう一つの音声では、ト書きを挿入し、意味を変えました。

未解決のこと

• 四つの音声はすべて二本の映画から取っています。本物のインタビューは一つもありません。
• Gemini にはもっと会話の素材が必要です。
• Speechmatics は否定を落としたことがあり、私たちの対処は「単独では信用しない」というルールです。これは統合のステップを補修するもので、エンジンの弱点自体は残っています。