本文へスキップ

シリーズ27言語の検証記録

中国語(普通話):銃声と悲鳴の中でエンジンを選ぶ

· Zeyu Si

このページの内容

The Wandering Earth の救出の場面では、普通話の叫び声を英語の災害放送が貫きます。Speechmatics はその放送を「Team Violence Eduardo Saverin Fear」に変えました。Eduardo Saverin は別の映画 The Social Network の登場人物です。同じ区間で、AssemblyAI は英語を崩れた中国語に翻訳し、FunASR は何も返しませんでした。

中国語は、私たちが参照トラックを四本走らせている唯一の言語です。この記事では、それをどう選んだかを説明します。

テスト音源

中国映画の場面四つ、それぞれ三〜五分で、すべて普通話です。

  • Let the Bullets Fly、冒頭の強奪の交渉:クリーンな録音、早口、互いに遮り合う人々、多くの名前。
  • Assembly、戦場の包囲戦:発話に銃声がかぶり、命令はまばらで、負傷兵が重なって叫びます。
  • The Wandering Earth、上海での救出:災害現場の雑音と、普通話の中の英語の放送。
  • Aftershock、地震の瓦礫:子どもを呼んで叫ぶ母親、余震の地鳴り、こもった音声。

このシリーズの最初の記事の三段階の尺度でいえば、Let the Bullets Fly は中程度に近く、残りの三本は最高難度です。基本難度、つまり静かな部屋で一人か二人が落ち着いて話す場面を扱う音源はありません。

四本のうち三本には意図的に強い雑音を詰め込みました。最も危険な誤りである文の捏造は、発話が半分しか聞き取れず雑音に埋もれているときにしか現れません。クリーンな音声ではどのエンジンもそれを出さないので、そこではテストできないのです。

候補

Doubao、iFlytek、FunASR(フラッグシップ版と flash 版)、Alibaba の Qwen の二モデル、ElevenLabs、AssemblyAI、Speechmatics、Soniox、Deepgram。合わせて十一種です。後にオープンソースの Whisper large-v3 をベースラインとして走らせました。

六つのレッドライン、エンジン別

捏造された文。 Speechmatics は雑音の多い三本すべてででっち上げをしました。Assembly では、おおよそ「ずっと前に言ったでしょう…誰かにそばにいてほしいんでしょう、と私は笑って言った」と読める文を出しました。Aftershock では「スポーツが好き、元気です、皆さんこんにちは」を出し、悲鳴を「baa baa baa baa」に変えました。Whisper は The Wandering Earth の叫び声の中に「李社長、早く、早く」を捏造し、Aftershock の「ここに子どもがいる、誰か早く来て!」を「饅頭だ、饅頭だ、饅頭」と書きました。

反復ループ。 Whisper はクリーンな一本も含め、四本すべてでループしました。Let the Bullets Fly の終わりでは、「こらえろ!」にあたる語が意味のないトークンになり、その後に同じ音節が十三回続きました。Qwen の omni-plus モデルは Aftershock の悲鳴で完全に崩壊しました。

反転した否定。 Doubao、ElevenLabs、AssemblyAI、iFlytek は、どの音源でも明確な否定の反転を出しませんでした。Whisper は一度それに近く、「Heizi は持ちこたえた」を「Heizi は止まった」に変えました。

欠落した区間。 AssemblyAI は雑音が強くなると止まりがちです。Assembly では最初のおよそ 30 文字を書き起こしただけで、その後は何もありません。Aftershock では雑音の多い冒頭を飛ばしました。何も捏造はしませんでしたが、穴の開いた参照トラックは何も確認できません。Whisper はさらに悪く、Aftershock の最初の 70 秒が二文字の繰り返しの連続として出力され、母親の助けを求める叫びが消えました。

言語のずれ。 冒頭の英語放送のことです。検証では、Doubao、ElevenLabs、iFlytek、Soniox はいずれも英語を英語のまま残しました。FunASR と omni-plus はそれを落とし、AssemblyAI は中国語に翻訳し、Speechmatics は名前に変えました。

挿入された内容。 ElevenLabs は Assembly で、おおよそ「機関銃手が副連隊長を捕らえた」という一行を足しました。ほかの十種のエンジンはどれもそれを出しておらず、参照もその区間は空白です。本当に言われたのかどうか判断できないため、未検証として記録しました。

何を選んだか

主軸トラック:ElevenLabs Scribe v2。 雑音の多い三本で否定の反転はなく、上の未検証の一行を除けば、確認された文の捏造もありません。話者ラベルはこのトラックだけから取ります。

参照トラック、優先順:

  1. Doubao:四本のどれでも文の捏造も反転もなく、出力が最も欠けが少なく、英語の放送もそのまま残しました。
  2. FunASR:雑音の多い三本で一度も文を捏造しませんでした。誤りは脱落と聞き違いです。
  3. iFlytek:音声がクリーンなときは最も正確なエンジンの一つで、Let the Bullets Fly の CER は 12.2% でした。
  4. Gemini:2026年8月25日に追加。エンドツーエンドの大規模モデルなので、三つの音響エンジンとは違う形で失敗します。単語単位のタイミングではなく文単位で返し、誰が話しているかの判定には関与しません。

四つともすべてのファイルで走ります。

私たちの選択に不利な証拠

  • FunASR は三つの音響トラックの中で最も弱い。 「二十万」を「20.1 million」(二千十万)と書きました。Let the Bullets Fly では場面を支える短い返答を二つ落とし、普通話と英語が混ざる箇所では英語を丸ごと失いがちです。残しているのは雑音に強く捏造しないからで、正確さが理由ではありません。
  • iFlytek と Doubao の順番は決着していない。 クリーンな音源からは iFlytek が少なくとも Doubao と同等で、FunASR が最下位だと示唆されました。しかしそれはクリーンな音源一本の話で、再確認はそれ以来保留のままです。
  • 捏造を避けるために、より正確なエンジンを見送った。 Qwen の omni-plus は AssemblyThe Wandering Earth の両方で CER が最低でした。一方で The Wandering Earth の終わりのかすかな区間で文を捏造し、Aftershock では崩壊したので、外しました。
  • 主軸トラックもひどい誤りを犯す。 Aftershock で、ElevenLabs は母親が叫び続ける名前「Daqiang」を最後まで「お姉さん」と聞き、「ガラスがもたない」を「私はもう持ちこたえられない」に変えました。

未解決の問題と限界

  • 四本とも映画です。本物のインタビューはなく、基本難度のものもありません。
  • ElevenLabs はクリーンな Let the Bullets Fly の音源では一度も走らせていません。難しい三本では持ちこたえましたが、その欄は空白です。
  • この公開音源四本で Gemini を一行ずつ確認していないため、ここでお見せできる普通話での根拠はありません。
  • 名前は採点していません。「Daqiang」のような誤りは用語集で扱うもので、今回のテストではそれを評価していません。

中国語の文字起こしページ

執筆Zeyu Si