本文へスキップ

シリーズ27言語の検証記録

ポーランド語:「nie」が一つ抜けると「子どもは持たない」が「持つ」になる

· Zeyu Si

このページの内容

父と息子の場面で、息子が言います。「Ja nie będę miał dzieci.」子どもは持たない、という意味です。

Speechmatics は「Będę miał dzieci.」と書きました。「nie」が一つ欠けただけで、文は完全に自然に読めるまま、正反対のことを言っています。ポーランド語の四本の音源で見つかった否定の反転はこれだけでした。この一行が、Speechmatics がポーランド語の参照トラックでない理由です。

テスト音源:映画四本、三段階の難易度すべて

  • Dzień świra(2002):父と息子のテンポの速いやりとり、クリーンなスタジオ音声。基準となる難易度で、エンジンの差が最もよく出た音源です。
  • Psy(1992):警察の強制捜査。速いやりとり、割り込み、罵り言葉、背景雑音。中〜高難度。
  • Kiler(1997):銃の型式や都市名などの固有名詞が詰まった矢継ぎ早の尋問。中〜高難度。
  • Wesele(2004):崩壊していく結婚披露宴。酔った客が互いに怒鳴り合い、電話が鳴り、雑音が絶えません。最高難度。

四本とも標準ポーランド語で、地方の方言はありません。

テストしたエンジン

第一ラウンドは四種:ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Doubao(pl-PL)。Soniox の書き起こしは全エンジンを対象にした別の実行から取り、後で検証しました。Gemini は 2026年8月に追加しました。Gladia と Deepgram はほかのヨーロッパ言語ですでに不合格だったため、ここでは再テストしていません。

エンジン別のレッドライン

Speechmatics:否定の反転のほかに、結婚式の場面で誰も言っていない三語「Myślisz że to」(「あなたはそう思う」)を挿入しました。

AssemblyAI:文の捏造も反転もありませんが、単語は捏造します。強制捜査の場面に「Zjemy」(「食べよう」)が、結婚式の場面に「otestował」が現れ、クリーンな音源ではリーバイスのジャケットについてのセリフに「lewicką」(「左派の」)を足しました。

Doubao:クリーンな音源で、ショパンの曲をめぐる矢継ぎ早のやりとりの最中に「chwalony」(「称賛された」)を紛れ込ませました。その区間ではどのエンジンも苦戦しました。最初の二本では、Doubao は当初 111% と 118% というスコアで、意味不明な英語を出力しました。これは私たちのミスで、言語コードを誤ったために中国語モードに戻っていたのです。正しいコードでは、筋の通ったポーランド語を出力しました。

全員が失敗した箇所:結婚式の場面で誰かが「Psy go zabrali」(「サツが彼を連れて行った」)と言います。Psy は警察を指すスラングです。ElevenLabs と Doubao はどちらも「Wszyscy」(「みんな」)と聞き、AssemblyAI は「Psego」と書きました。複数のエンジンが同じ箇所で失敗するときは音声そのものが問題なので、どれか一つのせいにはしません。

結婚式の混沌の中でも、四種のどれも文をまるごと捏造することはありませんでした。

クリーンな音源でのエラー率:ElevenLabs 5.7%、AssemblyAI 7.8%、Doubao 10.2%、Speechmatics 10.6%。ElevenLabs が音源全体で犯した本当の誤りは一つだけで、「Idź」を「Iść」と書いたことです。

何を選んだか、そしてその理由

主軸:ElevenLabs Scribe v2。 四本すべてで最もきれいで、反転はなく、クリーンな音源ではほぼ完璧でした。

参照 1:Soniox。 レッドラインゼロの基準で改めて確認したところ、四本すべてで単語の捏造も反転もセリフの欠落もありませんでした。同じ物差しで見ると、AssemblyAI には弱い捏造が三つ以上あり、セリフを三行落としていました。結婚式の場面では Soniox が全体で最良でした。「Co jest?」(「どうした?」)を拾えた唯一のエンジンで、複数形の「z nimi」(「彼らと」)を正しく書けた唯一のエンジンでもあります。Doubao は「z nią」(「彼女と」)と書きました。

参照 2:Doubao。 反転はなく、ほかのエンジンとは作りが違うので、誤りがほかと重なりにくいのです。この枠を Speechmatics ではなく Doubao が得た主な理由は、否定の反転です。

参照 3:Gemini。 八月のラウンドでは、ポーランド語でレッドラインはありませんでした。強制捜査の場面でハルシネーションも反転もなく、罵り言葉もそのまま残っていました。結婚式の場面では語順と人称の小さなずれだけで、実際に話された内容を字幕よりも多く書き起こしました。

AssemblyAI は現在、予備の筆頭です。

私たちの選択に不利な証拠

  • Soniox は一回目の検討では勝っていません。七月初めの最初の検証では「クリーンな音源では正確だが AssemblyAI や Doubao より良いわけではなく、互角なら乗り換える理由にはならない」と結論づけました。数日後、より厳しいレッドライン基準で数え直し、AssemblyAI の弱い捏造が不利に数えられたことで、判断が逆転しました。物差しが違えば順位も変わりえます。
  • エラー率では、尋問の音源で AssemblyAI が首位でした(28.2%)。
  • 主軸エンジンも誤ります。ElevenLabs も「Psy」というスラングを聞き逃しました。

未解決の点

  • 四本とも映画です。本物の調査インタビューはありません。
  • 方言はテストしていません。
  • 固有名詞(銃の型式、ショパンの曲名)はほぼすべてのエンジンをつまずかせます。これらは書き起こしの後に走る用語の工程で直す必要があります。

ポーランド語の文字起こしページ

執筆Zeyu Si