トルコ語：一度のモデル更新がきれいな記録を壊した

トルコ語では、AssemblyAI はきれいな記録から始まりました。音源四本で、意味を反転させたセリフは一行もありません。その後、開発元が新世代のモデルを出し、私たちは一時的にそれに切り替えました。トルコ語の四本すべてが悪化し、エラー率がほぼ倍になったものもあり、命令形の indirin（「下ろせ」）を indirmez（「彼は下ろさない」）に変えました。これできれいな記録は終わりました。私たちは旧モデルに戻しました。

同じエンジンでもバージョンが違えば、結論はもはや成り立たないかもしれません。それがトルコ語の構成の背景です。

テスト音源

トルコ映画の場面四つ、それぞれ約一分半を、聴覚障害者向けのトルコ語字幕と照らして採点しました。

• Vizontele（2001）：村長が訪問者を迎える場面。速い受け答え、割り込み、怒鳴り声。
• Düğün Dernek（2013）：ラクダが花嫁を見失った場面。四人以上が同時に話し、つぶやき、罵ります。
• G.O.R.A.（2004）：SF コメディで宇宙船に乗り込む場面。濃い効果音と音楽の上に命令が次々と重なります。
• Bergen（2022）：生みの母が対決に現れる場面。アダナ方言での速く感情的なやりとりで、罵り言葉もあります。

最初の二本は私たちの三段階の難易度尺度で最上位、残りの二本は中程度です。易しい音源はありません。

試したエンジン

第一ラウンドは四種：ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Doubao。Soniox は後の検証で評価しました。Gemini は別途テストしました。

エンジンがレッドラインを越えた箇所

捏造された文。 Speechmatics は Vizontele で二つか三つ出しました。Hiç lüzüm yok（「その必要はない」）が İç sesim yok（「私には内なる声がない」）になり、そうは言っていない文に gazeteye getirip（「新聞に持っていって」）を付け足しました。

付け加えられた否定。 同じエンジン、同じ音源で、Fikri benim adım（「私の名前は Fikri だ」）の末尾に yok（「ない」）が付いて返ってきました。

欠けた結末。 難しい音源二本で、Gemini の書き起こしは最後の区間までは問題ないのですが、そこで 20〜25 語が抜けており、ある例では文が四つまるごと抜けていました。WER ではどちらも二位だったので、スコアからは何の手がかりも得られません。

言語のずれ。 Doubao の最初のトルコ語の実行は、たとえば「I'm shaking these diseases」のような意味不明な英語で返ってきました。トルコ語の言語コードを送っていなかったのです。tr-TR を設定すると、四本すべてで筋の通ったトルコ語が返ってきました。

AssemblyAI（旧モデル）と Doubao は、四本を通じて文の捏造も反転もありませんでした。

何を選んだか

主軸：ElevenLabs Scribe v2。 効果音で全員が横並びになる G.O.R.A. を除き、すべての音源で首位でした。

参照、順に：AssemblyAI、Doubao、Gemini。 三つともトルコ語のすべてのファイルで走ります。

• AssemblyAI：主軸に次いで最も正確なエンジンで、文の捏造も反転もありません。名前の聞き違いはあり、たとえば Belgin を belli（「明らかな」）としましたが、この種の誤りはほかのトラックが捉えられます。
• Doubao：WER ではすべての音源で最下位で、方言の場面では 28.6% まで落ちます。誤りのほぼすべては綴りです。方言の発音を聞こえたとおりに書くので、pabuç が pafuç になります。しかし何かを捏造したり反転させたりすることは一度もありませんでした。参照トラックについては、順位よりも、自信たっぷりに間違ったことを書くかどうかを重視しました。
• Gemini：三番目の参照として走ります。

Soniox は検証で良い結果でした。レッドラインの誤りは一切なく、主軸以外のエンジンの中で二位です。入れ替えなかったのは、AssemblyAI がすでに主軸以外で最強のエンジンで、乗り換えても得るものがなかったからです。予備の筆頭で、本番運用で Doubao が結果の足を引っ張り始めたら代わりに入ります。

私たちの選択に不利な証拠

• モデル更新の一件が示すとおり、AssemblyAI の「反転なし」は一つのモデルバージョンの記録です。新しいバージョンが出たら、テストし直す必要があります。
• Doubao は四種の中で最も弱いものです。強い方言と早口では、加えられる情報は限られます。
• Gemini のトルコ語の会話形式のテスト音源は一本しかなく、判断するには足りません。G.O.R.A. では欠けた結末に意味の変化も伴っていました。「眼鏡を外せ」が「目をえぐり出せ」になり、Ölmüş（「彼は死んだ」）のような語がどこからともなく現れました。
• レポートは、最初の二本それぞれで主軸による小さな捏造の言い回しを一つずつ記録しています。しかし検証では、これらの字幕は多くを省いており、そのせいで本物の発話が二度ハルシネーションと誤判定されていたこともわかりました。その二つが主軸の失点になるのか、完全には確信できません。

未解決の問題

• 四本とも映画です。本物のインタビューも、易しい日常会話もありません。
• 字幕の省略が多いため、複数のエンジンが字幕にない内容で一致したときは、ハルシネーションと判断する前に字幕のほうを確認し直す必要があります。
• Gemini の欠けた結末はスコアに現れません。一行ずつ読まなければ捉えられません。