シリーズ:27言語の検証記録
ポルトガル語:意味が反転した三行と、救い出された鍵の一文
· Zeyu Si
ポルトガルのテレビの詳細なインタビューで、最も重要な一文に「no chão da cozinha」、つまり台所の床で、という言葉が含まれています。主軸トラックの ElevenLabs は「no som da coxinha」と書きました。意味のない音の並びです。Gemini は正しく書けました。
同じインタビューで、Gemini は「nunca disse isto」(そんなことは一度も言っていない)を「Tu disseste isto」(あなたがそう言った)に変えました。Gemini をテストするために追加した三本の会話のそれぞれで、Gemini はこのように一行ずつ意味を反転させました。
Gemini を入れるかどうかは、ポルトガル語で最も議論になった判断でした。
テスト音源
音響エンジンを選ぶための映画の場面三本。すべてブラジルポルトガル語で、それぞれ二〜三分です。
- Meu Nome Não É Johnny(2008、リオ):麻薬の取引とやじが飛び交うパーティー。スラングが多く、声が重なります。
- Que Horas Ela Volta?(2015、サンパウロ):プールサイドの六人。いちゃつきが突然、全員が命令を怒鳴り合う場面に変わります。
- O Auto da Compadecida(2000、北東部):山賊の一団がある人物の正体に気づく場面。五、六人が強い北東部訛りで早口に話します。
Gemini をテストするために追加した本物の会話三本。それぞれ五分で、参照書き起こしはなく、Gemini と ElevenLabs を一行ずつ比べました。一本はブラジルの政治インタビュー、一本はポルトガルのテレビの詳細なインタビュー(セグメントの間に音楽が入ります)、一本は三人が重なって話すポッドキャストです。後の二本は欧州ポルトガル語です。
最初の記事の三段階でいえば、映画の場面三本はすべて最高難度です。会話は本物のインタビューに近いものの、参照書き起こしがないため、エンジン同士を突き合わせることしかできません。
候補
ElevenLabs、AssemblyAI、Doubao、Speechmatics(二つのモデル)、Soniox、Gladia、Deepgram、FunASR、Qwen、Gemini。
六つのレッドライン、エンジン別
捏造された文。 サンパウロの群衆の場面の切り替わりで、AssemblyAI は英語の一行「That's so good.」を出力しました。北東部の音源では「Oxente, e agora é de dois」(おい、今度は二人だ)を「Oxe o Diogo agora é de 12」に変え、名前を足し、数も間違えました。Speechmatics はリオの音源に「Não mais na escuridão」(もう暗闇の中ではない)を挿入し、サンパウロの音源ではあるセリフを「Hoje é um divã Família.」に潰しました。Soniox と Gladia はどちらも、北東部の音源で同じ感情的なセリフ「eu adorei」(すごく気に入った)を捏造しました。
意味の反転。 映画の音源では、Gemini はリオの場面で「あなたはもう別のチームにいる」を「私はもう別のチームにいる」に変えました。この記事の冒頭の反転のほかに、会話からはさらに二つ見つかりました。「Não, imagina」(まさか、とんでもない)が「Imagino」(そうだと思う)になり、「E não acertei logo de início」(最初はうまくいかなかった)が否定の抜けた「E acertei」になりました。直後の「eu falhei」(私は失敗した)と矛盾するにもかかわらずです。三つとも短い話し言葉の節で起き、三つとも否定か人称を反転させたもので、無から捏造されたものは一つもありません。
挿入された内容。 テレビのインタビューで、Gemini はセグメント間の音楽を発話であるかのように三か所で書き起こしました。そのうち一つは崩れた英語の断片です。三つとも ElevenLabs が何も出力していない隙間に落ちていました。音楽のないポッドキャストでは起きませんでした。
区間の欠落。 北東部の音源で、Gladia はパン屋のやりとり全体、約八文を飛ばしました。
反復ループ。 これらのポルトガル語の音源では記録されていません。
もう一つ注目すべき誤りがあります。Speechmatics は女性の「eu sou casada」(私は結婚している、女性形)を男性形の「casado」に変えました。
何を選んだか
主軸トラック:ElevenLabs Scribe v2。 映画の場面三本すべてで最も欠けが少なく、挿入された語はわずかでした。
参照トラック:
- AssemblyAI(universal-2):全体として国際系エンジンの中で最も正確です。サンパウロと北東部の音源でそれぞれ一つずつ捏造し、リオの音源では何も捏造せず、そこでは WER も最良でした。
- Doubao:ブラジルの三地域すべてで安定しており、文の捏造も反転もありません。
- Gemini:2026年8月26日に追加。
構成で AssemblyAI を Doubao より先に並べているのは、ほかのヨーロッパ言語に合わせるためです。順番は優劣を意味しません。
私たちの選択に不利な証拠
- 意味の面では Doubao のほうが AssemblyAI より安全。 映画の音源三本で、Doubao は何も捏造しませんでしたが、AssemblyAI は二つ捏造しました。
- 名前は三トラックすべての死角。 João Guilherme や Dona Bárbara といった名前は三トラックとも、それぞれ違う形で間違えたため、統合の工程には頼れるものがありません。名前の多いインタビューには用語集が必要です。
- Gemini の三つの反転は本物。 いずれも前後の行から矛盾が見て取れます。ただし、これらの会話は主軸トラックとしか比べておらず、ほかの二つの参照トラックは走らせていません。
- 八月の記録の時点で、背景音が発話として書き込まれることへの専用の安全策はありませんでした。 インタビュー現場で流れているテレビやラジオが、こうして書き起こしに紛れ込む可能性があります。
未解決の問題と限界
- 欧州ポルトガル語のテスト音源がありません。 唯一の候補だった映画はフランス製作で台詞の大半がフランス語だとわかり、入手できたソースもそもそも間違っていました。欧州ポルトガル語の映画にはネイティブの字幕がほとんどないため、参照書き起こしを作れません。欧州ポルトガル語の根拠は Gemini のために追加した二本の会話だけで、それにも参照はありません。
- Doubao は欧州ポルトガル語では信頼できないかもしれません。 Doubao にはブラジルポルトガル語の言語コードを送っています。私たちの記録では欧州ポルトガル語で黙って崩れた文字列に劣化するとされていますが、テスト音源がないため自分たちで確かめたことはありません。欧州ポルトガル語の予備エンジン候補として Speechmatics Melia-1 が一つあり、検証待ちです。
- 映画の場面三本はすべて群衆の場面で、基本難度の音源はありません。
執筆:Zeyu Si