ベトナム語：「ハルシネーション」は市場の売り子だった

ベトナム語のテストで、ある市場の場面の終わりに、Doubao は字幕にない一行を書きました。「Ai mua gà kìa」、おおよそ「鶏を買う人はいない？」です。最初のレポートはこれをハルシネーションとして記録しました。検証してみると、背景で本物の売り子が呼び込みをしていたのでした。字幕はそれを省き、Doubao は聞き取っていたのです。

この言語の根拠は多くなく、有効な音源は二本だけです。それが教えてくれること、教えてくれないことを説明します。

テスト音源

ベトナム映画二本を、Netflix の聴覚障害者向けベトナム語字幕と照らして採点しました。

• Furie（2019）：市場の質屋の屋台での借金の取り立て、続いてすりの告発。複数の人が南部方言で速く罵り合い、市場の雑音と声の重なりがあります。私たちの三段階の難易度尺度で最上位です。
• Song Lang（2018）：伝統オペラの一座の楽屋に、ファンがおしゃべりに立ち寄る場面。群衆の雑音の中での速いやりとり。中程度で、一本目よりはるかにクリアです。

会話のより密な音源をあと二本欲しかったのですが、YouTube で見つけた「フル映画」はどれも、字幕と合わない別チャンネルによる再編集版か、年齢確認の向こうにブロックされたもので、制作会社自身のチャンネルには予告編しかありませんでした。検証できない音声でセットを水増しするより、二本で打ち切りました。

試したエンジン

第一ラウンドは ElevenLabs Scribe v2、AssemblyAI、Doubao、Speechmatics。Soniox は後の検証で評価しました。Gemini は別途テストしました。

エンジンがレッドラインを越えた箇所

区間の欠落。 AssemblyAI は両方の音源でこれをしました。Song Lang の最初の四文をまるごと飛ばしており、クリアな音源で最下位だった主な理由はこれです。

名前に化ける置換。 AssemblyAI は dị ứng（「アレルギー」）を、人名のように読める Dĩ Ấn と三回書きました。Furie では名前の Mai を công an（「警察」）に、ăn cắp（「盗む」）を Anh Cất に、tang chứng（「証拠」）を ăn trứng（「卵を食べる」）に変えました。この場面全体が誰かが何かを盗んだかどうかをめぐるもので、こうした誤りで話の筋が変わってしまいます。

捏造された文。 主軸エンジンの ElevenLabs は、Furie の終盤で最も騒がしく重なりの多い箇所で、存在しない名前を二つと、文を一つ Họ đang buôn bán（「彼らは商売をしている」）作り出しました。Speechmatics は Song Lang の冒頭に、誰も言っていない ca sĩ（「歌手」）を置きました。

Soniox はどちらの音源でも、いかなる種類のレッドラインの誤りもゼロでした。

何を選んだか

主軸：ElevenLabs Scribe v2。 両方の音源で最上位グループに入り、冒頭から中盤にかけて最も欠けが少なかった。

参照、順に：Doubao、Soniox、Gemini。 三つともベトナム語のすべてのファイルで走ります。

• Doubao：両方の音源で主軸と首位を分け合い、字幕に最も近いものでした。唯一の「ハルシネーション」は検証で覆りました。
• Soniox：AssemblyAI と入れ替えました。レッドラインの誤りはなく、クリアな音源で 9.1%、雑音の多い音源では最も多くの内容を拾いました。
• Gemini：私たちのベトナム映画の音源はどれも口論と群衆の場面で、普通の会話についてはあまり語りません。そこでベトナム語のポッドキャスト五分間を Gemini と主軸に通し、互いに照合しました。両者ともちょうど 1,018 語を出力しました。Gemini の本当の誤りは一つで、chôn（「埋める」）が trốn（「隠れる」）になりました。

私たちの選択に不利な証拠

• 主軸エンジンは Furie の終わりで内容を捏造しました。ベトナム語では、主軸がでっち上げをしないと仮定することはできません。録音の騒がしい終盤は参照トラックで確認する必要があります。
• Gemini をこの映画の音源二本だけでテストしたときの判定は「追加しない」でした。それはポッドキャストのテストの後に覆りましたが、そのポッドキャストには参照書き起こしがなく、Gemini と主軸は互いに照合しただけです。
• 音源の一本は極めて騒がしく、一本はかなりクリアです。その中間はありません。

未解決の問題

この言語の構成に対する確信度は中程度と評価しています。理由は単純で、二本の音源では何かが系統的だという主張を支えられないからです。さらに二本分の字幕は用意できています。足りないのは、それに合うライセンス済みの音声です。手に入れば、同じ方法でセットを四本に広げられます。