フィンランド語：クリアな会話ではほぼ完璧、銃声の下では作り話の行

クリアな日常のフィンランド語の録音を二つテストしました。時間を決める電話と、カフェについての話から注文で終わるものです。ElevenLabs の WER は 2.7% と 2.9% で、一行ずつ読んでも実質的な誤りは見つかりませんでした。

次に来たのが、戦争映画 Unknown Soldier の突撃の場面です。機関銃の射撃と爆発の下で、ElevenLabs も含め、どのエンジンも文を作り出し始めました。

テスト用の音声

四つの音声：

フィンランド映画の完全な元音声は手に入りにくいものです。後の二つの音声は学習者向けポッドキャストからで、司会者自身が逐語の字幕を打ち込んでいます。これは小さな言語で基準の書き起こしを得るための、信頼できる情報源になってきました。ラップランドやカレリアのような、地方色の強い方言の場面は意図的に避けました。

テストしたエンジン

ElevenLabs Scribe v2、Speechmatics、AssemblyAI、Soniox、Doubao。Gemini は八月に加わりました。AssemblyAI が新モデルを出したときは、それもフィンランド語で試しました。

Doubao はフィンランド語に対応しておらず、英語の意味不明な出力を返しました。

レッドライン

文のハルシネーション。ほぼすべてが突撃の場面です。将校が「野郎ども、くそっ、前進！」と叫ぶところで、ElevenLabs は「生きたまま殴られて前進」のようなものを書きました。「第三、第四、左へ」では、ElevenLabs は「陣地に戻れ」、AssemblyAI は「パウルスが予言する、左」と書きました。Speechmatics はどこからともなく「ウサギたちの要望」を出し、さらに終わりには映画にない文を立て続けに並べました。

クリアな音声では一つだけでした。大佐の場面で、AssemblyAI は「中佐」という階級を意味のない音節の羅列にしました。

代名詞の入れ替え：突撃の場面で、AssemblyAI は「兵を動かせ」を「我々を動かせ」にしました。

一節の脱落：同じ音声で、AssemblyAI は冒頭をまるごと失いました。

ループ：突撃の場面で、Gemini は「Vihollinen!」（敵だ！）を 75 回以上書き、終盤全体を飲み込み、さらに冒頭で二つの文を作り出しました。

言語ドリフト：クリアな音声で、Soniox は英語の文「Drivers to load not there」を書き、同じ内容を繰り返しました。Doubao は全編英語でした。

何を選んだか

• メインエンジン：ElevenLabs Scribe v2。 四つの音声すべてで最良か最良と同率、クリアな会話ではほぼ完璧で、反転は一つもありませんでした。
• リファレンスエンジン：Speechmatics、AssemblyAI、Gemini。

Speechmatics が一番手です。四つの音声を通じて反転はなく、三つのクリアな音声すべてで AssemblyAI より WER が低い結果でした（大佐の場面で 32.7% 対 35.6%、電話で 9.4% 対 12.8%、カフェで 4.6% 対 7.5%）。クリアな会話での間違いは、capuccino の一文字抜けのような小さなにじみです。クリアな会話で文をでっち上げることはありません。

AssemblyAI が二番手です。あの軍の階級を除けば、クリアな音声でハルシネーションも反転もループもありませんでした。問題は、途切れない銃声と叫び声の中に集中しています。

Gemini：電話の音声で、一語一句、実質的な誤りはありませんでした。

フィンランド語では Soniox を使いません。 北欧・中欧のこれらの言語の中で使わないのはフィンランド語だけです。クリアなフィンランド語の録音の途中に英語の文が現れるのは、AssemblyAI のどの失敗よりも防ぎにくいため、ここでは Soniox は予備にとどめています。

私たちの選択に不利な証拠

• Gemini の 75 回に及ぶループは、本番での現実のリスクです。起きれば、書き起こしの一部分がまるごと消えます。それでも動かしているのは、二つの日常会話のどちらでも実質的な誤りがなかったからです。
• AssemblyAI の新モデルは、フィンランド語の四つの音声のうち三つで旧モデルより悪く、新たなハルシネーションもありました。私たちは切り替えず、その後、全言語でロールアウト自体が取り消されました。
• ElevenLabs も突撃の場面で二つの文を作り出しました。メインエンジンは極端な雑音の中では安全ではありません。

未解決のこと

• 二つのクリアな音声は、学習者向けにスタジオで収録されたポッドキャストからのものです。大半のインタビューの録音よりきれいです。
• 強い方言はテストしていません。
• 四つの音声のうち二つは同じ映画からです。