シリーズ:27言語の検証記録
イタリア語:メイントラックが落胆を賛辞と聞いたとき
· Zeyu Si
I soliti ignoti で、泥棒志望の一味が隠し撮りの映像を見終えたところ、一人がいら立って「é finita la pellicola」、つまりフィルムが終わったと言います。メイントラックの ElevenLabs は「il film è bellissimo」、「この映画はすばらしい」と書きました。落胆が賛辞に変わったのです。
この音声で動いた十のエンジンのうち、その行を正しく書けたのは Doubao だけでした。AssemblyAI は「benzina」(ガソリン)、Gladia は「bestia」(獣)と聞き、Speechmatics は落としました。イタリア語は、リファレンストラックがメイントラックを正す、最もわかりやすい例です。
テスト用の音声
四つの地方アクセントをカバーする映画の四場面:
- I soliti ignoti(1958、ローマ):一味が監視映像を見て金庫の品定めをし、それから錠前屋と値段交渉をする。話者の重なりが多い。
- Baarìa(2009、シチリア):床屋、郵便局、借りたマルクスの本が出てくる、混み合った村の広場の場面。
- Ammore e malavita(2017、ナポリ):葬儀でのお悔やみ、そして未亡人が復讐に値段を付ける。
- Il Capitale Umano(2013、ミラノ/北部):劇場の理事会が演目について議論する。クリアな標準イタリア語。
最初の記事 の三つの層で言えば、Il Capitale Umano は中間の層の近く、ほかの三つは最も難しい層です。基本の層はカバーしていません。
いくつかの映画には劇伴、ミュージカルの場面、背景の歌があるため、音楽がセリフをかき消す部分は避けて切り出しました。
候補
ElevenLabs、AssemblyAI、Doubao、Speechmatics(二つのモデル)、Soniox、Gladia、Deepgram、FunASR、Qwen、そして後から Gemini。
六つのレッドライン、エンジンごとに
一節の脱落。 Deepgram は難しい三つの音声すべてで崩れました。I soliti ignoti は基準が 324 語のところ、Deepgram は 134 語を返しました。Baarìa は 121 語のところ 64 語。ナポリの場面は 103 語のところ 15 語で、お悔やみと非難の最初の 90 秒がまるごと失われました。
意味の反転。 メイントラックのあの行のほか、Gladia は「è stato Ciro che ha venduto Vincenzo」(Vincenzo を売ったのは Ciro だった)を、「vincenza」に裏切られたという行にし、誰が誰を裏切ったのかを逆にしました。Speechmatics は「darà un milione」(百万出すだろう)を「Non era 1.000.000」にし、否定を足しました。
作り出された単語と文。 Speechmatics はマフィアのボスの姓 Strozzalone を、女性に向けた侮辱語「stronza」にしました。Gladia は「ho fatto un regalo」(プレゼントをした)を罵り言葉にしました。Soniox はナポリの場面に、誰も言っていない「Il ciccio di Masellini」という文を丸ごと挿入しました。
繰り返しのループ。 Qwen はループに陥って一か所で十回繰り返し、さらに否定語 mica を落として意味を反転させました。
言語ドリフト。 下の Gemini の項を参照してください。
ミラノの場面は対照群です。クリアな標準イタリア語では、七つのエンジンすべてがきれいで、Deepgram でさえ崩れませんでした。上に挙げた有害な誤りは、どれも話者の重なりか強い方言から生じています。
何を選んだか
メイントラック:ElevenLabs Scribe v2。 四つのうち三つの音声できれいで、ナポリ方言ではほかを大きく引き離しました。I soliti ignoti での反転が、この言語での唯一のレッドラインです。
リファレンストラック(優先順):
- AssemblyAI(universal-2):四つの音声と四つのアクセントのすべてで、作り出された文も反転も崩壊もありませんでした。
- Doubao:同じく作り出された文も反転も崩壊もなし。ローマとシチリアの音声では最もきれいで、pellicola の行を正しく書けた唯一のエンジンでした。
- Gemini:2026年8月26日に追加。
このラウンドで、どの音声でも一度も作り出さず、一度も意味を反転させず、一度も崩壊しなかったのは、AssemblyAI と Doubao の二つだけでした。
私たちの選択に不利な証拠
- メイントラックが重要な一行を反転させた。 イタリア語での私たちの構成に対する、最も直接的な反証です。それを捉えるのはリファレンストラック頼みで、これはたまたまその箇所でリファレンストラックが正しい場合にしか機能しません。
- イタリア語での Gemini の証拠は薄い。 26 言語のテストで、イタリア語は「さらにテストが必要」に分類されました。会話の音声は一つしかなく、Gemini はそこではきれいでした。方言の強い二つの群衆の場面では、二回とも最下位でした。Baarìa で、実際のセリフが「パパ、僕も招待された?」のところ、Gemini は「なんてすてきなボール、子どもがいっぱい、それが欲しい!」といった意味の無関係な文を書きました。Ammore では、どこからともなく英語の一節を出しました。「Don't leave us alone, don't be shy. When I was a child, I used to make.」。Gemini は今もリファレンストラックに入っていますが、この言語での根拠は、あの一つの会話の音声に尽きます。
- Speechmatics のもう一つのモデルは害が少ないが、無害ではない。 Melia-1 は侮辱語を繰り返すことも否定を足すこともありませんでしたが、「un bianco」を四回繰り返しました。
未解決の問いと限界
- 四つの音声はすべて映画からで、最も古いのは 1958 年です。音声は現代のインタビューの録音とはかけ離れています。
- 基本の層の音声も本物のインタビューもありません。特に Gemini は、イタリア語でしっかりした会話のサンプルがまだありません。
- 人名は採点していません。エンジンはしょっちゅう間違えますが、それは用語集で対処します。
執筆:Zeyu Si