ロシア語：参照エンジンが二つとも間違えたセリフ

ロシア語は、二つの参照エンジンが同じセリフでまったく同じ誤りを犯し、主軸エンジンだけが正しかった場面を、私たちが初めて捉えた言語です。そのセリフを多数決で決めていたら、書き起こしは間違っていたことになります。

ここでは、ロシア語をどうテストしたか、そしてその一件が何を変えたかを説明します。

テスト音源

ロシア映画の場面四つを、映画に付いている聴覚障害者向けのロシア語字幕と照らして採点しました。四つとも難しさを基準に選んだので、私たちの三段階の尺度ではすべて最上位にあたります。

• Brother（1997）：ドア越しに怒鳴る男、外で割り込む数人、その下に市場の雑音。
• Brother 2（2000）：名前、地名、数字が詰まった早口の電話。背景でラジオが流れています。
• Leviathan（2014）：テーブルを囲んで企む数人の男たち。セリフが重なります。
• Kokoko（2012）：働きながらおしゃべりする女性たちでいっぱいの部屋。互いに重なって話します。

音声は公開していません。どれも普通のペースの一対一の会話ではなく、これは後で限界として戻ってきます。

試したエンジン

八種類：ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Doubao、Soniox、Deepgram、さらに対照として FunASR と Qwen。Gemini はその後に別途テストしました。

各エンジンがレッドラインを越えた箇所

私たちは主に六種類の失敗でエンジンを判断します。捏造された文、反転した否定、反復ループ、挿入された語、欠落した区間、別の言語へのずれです。ロシア語では次のものが見られました。

挿入された語。 Brother の場面で、Speechmatics は誰も言っていないところに呼びかけの語 Доченька（「娘や」）を足し、罵りの動詞 охерел を Кирилл という名前に変えました。検証では、ロシア語の出力全体でこうした捏造を少なくとも八つ数え、どの音源にもいくつかありました。Deepgram も捏造します。「大砲（пушки）でも彼を突破できなかった」の中に、町の名前 Пушкино を聞き取りました。

反転した否定。 Leviathan で誰かが «сегодня не в нашу пользу всё решится»（「今日は私たちに有利には決まらない」）と言います。AssemblyAI は не を落として «сегодня они в нашу пользу все решатся» と書き、正反対のことを言わせました。同じ区間にはほかに否定が四つか五つあり、それらはすべて正しく書けていたので、これはパターンではなく一回限りのものとして扱っています。

置き換えられた文。 «Двух жён в могилу свёл»（「彼は二人の妻を墓に送った」）は、Soniox では主語の違う «Да уже он в могилу свёл» になりました。当初これは Soniox だけの誤りとして記録されました。検証してみると、八種のエンジンのうち五種がこのセリフを間違えていました。そこの音声はとにかく難しいのです。

言語のずれ。 Doubao の最初のロシア語の実行は、英語、日本の地名、中国語がごちゃ混ぜになったものを出力しました。これは私たちのミスで、アダプターがロシア語の言語コードを送っておらず、エンジンが黙って中国語に戻っていたのです。ru-RU を設定すると、四本すべてで筋の通ったロシア語が返ってきました。

反復ループ： AssemblyAI は四本を通じて一つも出しませんでした。

何を選んだか

主軸：ElevenLabs Scribe v2。 四本のうち三本で WER が最低でした。Brother 2 で首位を逃した主な理由は、背景のラジオ（アナウンサーと歌詞の両方）を書き起こしたことで、字幕はそれを省いているため、すべて誤りとして数えられました。ロシア語での誤りは主に語の脱落で、たとえば отсюда（「ここから」）が抜けていました。文を捏造するところは見られませんでした。

参照、順に：AssemblyAI、Doubao、Gemini。 三つともロシア語のすべてのファイルで走ります。

• AssemblyAI：四本でループも捏造テキストの連続もなく、名前が最も密な Brother 2 で最低スコアでした。
• Doubao：言語コードを正しくしてからは、ゴミも挿入語もありません。間違えるときは一語だけで、たとえば торге（「値切り」）を твороге（「カッテージチーズ」）と聞くようなものです。ByteDance 製で、AssemblyAI とは技術的な系譜が大きく異なるため、両者は違う箇所で失敗しがちです。
• Gemini：私たちのロシア映画の音源はどれも怒鳴り声と群衆の場面で、普通の会話についてはあまり教えてくれません。そこで本物のテレビインタビュー（Vladimir Pozner と Edvard Radzinsky）を五分間取り、Gemini を主軸と一行ずつ照合しました。捏造テキストも、意味の反転も、ループもありません。四つの直接引用と、Cambridge、Oxford、Nicholas II を含むすべての固有名詞を正しく書き、「もちろん」のような相づちを三つ飛ばしました。

私たちの選択に不利な証拠

• AssemblyAI はロシア語でクリーンではありません。検証では危険な誤りが三つあり、上の否定のほかに、«Кто? Зинка я, открывай»（「誰？ ジンカよ、開けて」）を «Куда ты отдаёшь, Зинка» に丸ごと置き換えたものがあります。
• 二つのエンジンが一致していて両方とも間違っているケースこそ、三者投票を信頼できない理由です。エンジンの誤りは独立しておらず、否定や極性については票の多い側が正しいとは限りません。
• Brother 2 で、Gemini は背景のラジオを四文書き起こしに入れ、「十日券はありますか？」を「十日券を持っています」に変えました。その音源では四種の中で最悪の 43.6% でした。上で述べたとおり、主軸も別の実行でラジオを拾っています。本物のインタビューでいえば、会議室のテレビを参加者の発言であるかのように書き起こすのと同じことです。
• Soniox は Leviathan で主軸より低い 12.3% を出しましたが、検証で文ごとの置き換えが見つかったため、それでも見送りました。スコアだけで判断すれば、正反対の結論になります。

未解決の問題

• 私たちの検証担当者は、すべての行を判断できるほどロシア語を精読できません。最初の検討では客観的に判断できることだけを確認しました。筋の通ったロシア語かどうか、ゴミ文字、挿入語、入れ替わった文です。否定の反転は、後で否定語を一つずつ比べたときに見つかりました。まだ見つかっていない意味の誤りがあるかもしれません。
• 四本とも難しい映画の場面です。一人か二人が普通のペースで話す、採点済みの音源はありません。Gemini のインタビューには参照書き起こしがなく、主軸とだけ照合しています。
• テスト時点では、背景音が書き起こしに紛れ込むことへの専用の安全策はありませんでした。