本文へスキップ

シリーズ27言語の検証記録

ウクライナ語:54 秒の沈黙が講義に変わった

· Zeyu Si

このページの内容

あるウクライナ映画に、背景でテレビがついていて約一分間誰も話さない居間の場面があります。字幕はそこに一行だけ印を付けています。[背景でテレビの音]。

Soniox はその隙間に 54 秒分の内容を書き込みました。毒のある植物についての何かで、途中で小さなループにはまっています。Speechmatics は 29 秒分を埋めました。本当にテレビを拾っていたのかもしれません。インタビューの書き起こしにとっては同じことです。長い一節がどこからともなく現れ、インタビュー対象者が言ったかのように読めてしまいます。

これはテストセット全体で最大の捏造の挿入でした。Soniox はいくつかの言語でほかのエンジンと入れ替わっています。ウクライナ語で使っていないのは、その 54 秒のためです。

テスト音源:見つけること自体が仕事の半分だった

  • My Thoughts Are Silent(Мої думки тихі、2019) の三場面:国境での密輸の尋問(強い雑音、強いザカルパッチャ方言、最高難度)、それに続く口紅の捜索(より速く、重なりも多い、最高難度)、教師の居間(標準ウクライナ語、クリア、基準難度)。
  • Stop-Zemlia(Стоп-Земля、2021):教室でのインタビューと路上の場面。早口、頻繁な話し手の交代、路上の雑音。中〜高難度。

ウクライナ語の素材は集めるのが難しいのです。最近の映画はライセンスが厳しく、戦争映画は完全版がないか字幕がないことが多く、ドンバスを舞台にした映画は半分がロシア語です。最初の三本は一本の映画から取らざるをえなかったので、所見が一本の映画に限った話にならないよう、四本目は別の映画から取りました。

テストしたエンジン

ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Doubao(uk-UA)。Soniox、Deepgram、Qwen の書き起こしは全エンジンを対象にした別の実行から取り、検証の際に比較しました。Gemini は 2026年8月に追加しました。

エンジン別のレッドライン

ElevenLabs:四本を通じてループもハルシネーションも反転もありません。方言の処理が最も優れており、たとえば файні трави(「いい薬草」)や тя роздеру як жабу(「カエルみたいに引き裂いてやる」)です。

AssemblyAI:口紅の場面の終わりで、一行「Треба цього конючку」を三回繰り返しました。同じ場面で подозрітєльний(「怪しい」)を правдивий(「正直な」)に変えており、反転に近い誤りです。また規則が読み上げられる一節をまるごと落としました。四本目では「А якщо не вступиш?」(「もし受からなかったら?」)が наступиш(「踏む」)になりました。

Doubao:当初のレポートでは反転なしとされていました。検証では反転級の誤りが三つ見つかりました。「怪しい」が приємний(「感じのいい」)になり、「受からない」が「踏む」になり、「彼はそこへ行かなかった」から否定が消えました。路上の場面では、誰も言っていない罵り言葉と російський(「ロシアの」)という語も挿入しました。

Speechmatics:テレビの雑音を会話に変え、否定を二度落とし(「Це скоріше не пушка」(「これはむしろ銃ではない」)が「これはむしろ銃だ」になったものを含む)、стресорну(「ストレス」)反応を сенсорну(「感覚」)と書きました。

Soniox:上の 54 秒を参照してください。

何を選んだか、そしてその理由

主軸:ElevenLabs Scribe v2。 四本を通じて最も安定しており、三種類の失敗のどれもありませんでした。

参照 1:AssemblyAI。 ループは一回だけで、強い方言、早口、密な重なりがすべてそろった箇所に限られます。クリアな居間の場面とインタビュー形式の四本目ではクリーンでした。

参照 2:Doubao。 四本すべてで筋の通ったウクライナ語を出し、ループもゴミ出力もありません。

参照 3:Gemini。 これは判断が二転三転しました。次の節を参照してください。

私たちの選択に不利な証拠

  • 二つの参照トラックが一緒に間違えることがある。 「怪しい」と「受からない」で、AssemblyAI と Doubao は同じ箇所で同じ方向に失敗し、私たちが見送った Soniox は両方とも正しく書きました。二つの参照トラックが一致しても、それで正しいことにはなりません。特に否定や、良し悪しの判断に関わる箇所ではそうです。
  • 当初のレポートは既存のエンジンに甘すぎました。Doubao の反転はゼロから三つになりました。「『受からない』を正しく書けたのは ElevenLabs だけ」という主張は成り立ちませんでした。ElevenLabs、Speechmatics、Soniox、Deepgram、Qwen がすべて正しく書いていました。
  • Gemini は映画の音源で成績が悪かった。 口紅の場面では途中でロシア語に切り替わり(базаришь что такое)、罵り言葉を挿入しました。クリアな居間の場面では、ほかの三つのどれも出さなかった 40 語を足しました。一時はウクライナ語を「追加しない」と記録していました。その後、五分間の本物の政治インタビューのポッドキャストを走らせました。ハルシネーションも反転もループもなく、ElevenLabs が間違えた語を一つ正しく書きました(двієчник、「劣等生」)。一方で直接引用を二つ、合わせて約 30 語落とし、Сповідь(「告白」)を Ковід(「コロナ」)に変えました。このポッドキャストには人手による参照書き起こしがなく、Gemini は ElevenLabs とだけ比べています。

未解決の点

  • 四本のうち三本は一本の映画から来ています。素材の基盤が狭いのです。
  • 最初の三本は当初、出力の形だけで判断しており、一行ずつの読み込みは後の検証で加わりました。
  • 本物の調査インタビューはまだありません。Gemini を入れた根拠は五分間のポッドキャスト一本だけです。

ウクライナ語の文字起こしページ

執筆Zeyu Si