ノルウェー語：「浮気はしていない」が「浮気することにした」になった

『わたしは最悪。』（The Worst Person in the World／Verdens verste menneske）には、誰かが「Vi var ikke utro」、つまり浮気はしていないと言うパーティーの場面があります。AssemblyAI は「Vi valgte utro」、浮気することにしたと書きました。否定が消え、動詞が変わり、意味が反転したのです。このセリフは場面の中で繰り返し出てきますが、AssemblyAI は毎回間違えました。全部で三回です。

原因は雑音ではありません。場面は普通のペースで、持続的な発話の重なりもありません。

テスト音源

三本の映画から五つの音源：

五本とも映画です。二本は比較的クリアですが、それでも台本のあるドラマです。そこで八月に Gemini を評価したときは、ノルウェー語のポッドキャストから五分間の抜粋も使いました。

テストしたエンジン

ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Gemini、Qwen、FunASR、Doubao。ノルウェー国立図書館のオープンソースモデル NB-Whisper も検討しましたが、採用しませんでした。

Doubao はノルウェー語に対応していません。ノルウェー語の言語コードを三つとも試しましたが、意味不明な英語が出るか、何も出ませんでした。FunASR は参照の約半分の語数しか出力しませんでした。

レッドライン

ここで最も重要なのは否定の反転です。冒頭のセリフのほかにも、AssemblyAI は「何でもするつもりだ」を「それはしない」に、「あなたは絶対にやめてはいけない」を「私は…」に変えました。Speechmatics も反転しますが、方向が逆です。ikke を足しがちで、「知っている」が「知らない」になります。五本を通じて三回以内です。そしてある一か所の否定では、比較したエンジンのうち ElevenLabs 以外の全員が間違えました。

捏造された名前：AssemblyAI はクリアな感情的な場面の冒頭に Bård という人物を登場させ、空襲の場面に Martha という人物を入れました。どちらの人物もその場面には存在しません。Qwen は Hågen という姓をでっち上げました。

挿入された内容：軍艦の音源で、Gemini は映画にない号令をいくつか作り出しました。たとえば「Gun 1 in position」や「Torpedo battery 3/4」です。

言語のずれ：一度、Gemini はノルウェー語の音源を中国語訳で返しました（「お名前は？ Julia です。」）。同じ音声で再実行すると、普通のノルウェー語が出ました。

ループ：Gemini は空襲の音源で同じ内容を繰り返しました。そこでの WER は 89.6% で、ほかの三種のエンジンの 41.8%〜47.8% に対し、42 ポイントの差がありました。

何を選んだか

• 主軸エンジン：ElevenLabs Scribe v2。 五本を通じて、ハルシネーションも反転も名前の捏造もありません。誤りは聞き違いです。冒頭のセリフを「Vi var ikke ute」、私たちは外出していなかったと書きましたが、否定は残しました。
• 参照エンジン：Soniox、Speechmatics、Gemini。

AssemblyAI は外しました。五本のうち四本で、クリアな音源も含めて、反転か名前の捏造がありました。

Soniox は七月に加わりました。それまでノルウェー語の参照エンジンは Speechmatics だけでした。音源ごとに比べると Soniox は Speechmatics に四勝一分けで、両者の誤りはほとんど違う箇所に出ました。Soniox は冒頭のセリフと Julie という名前を正しく書きました。

Speechmatics は五本の中で文も名前も一度も捏造せず、冒頭のセリフも正しく書きました。

Gemini は五分間のポッドキャストで、ハルシネーションも反転もループもありませんでした。音の似た語の誤りが三つあり、ElevenLabs より正確だった箇所が二つありました。

私たちのノルウェー語の構成には追加のルールが一つあります。エンジン同士で ikke の有無について意見が割れた箇所は、書き起こしで「存疑」として印を付け、人が確認するようにしています。

私たちの選択に不利な証拠

• Gemini は五本の映画音源すべてでレッドラインを越えました。反転、捏造された号令、ループ、そして中国語の出力です。Gemini を使う根拠は、参照書き起こしのない五分間のポッドキャスト一本だけで、それも ElevenLabs との照合しかしていません。七月には不採用にしていました。
• Soniox と Speechmatics は、感情的な場面で方向の同じ誤りを三つ共有しました。「間違える場所が違う」という論拠は、最も重要な場面で常に成り立つわけではありません。
• 初期の自動スキャンでは、ノルウェー語で Soniox が参照の 1.5 倍の語数を出力していました。

未解決の点

• 参照書き起こしのある本物の会話が一本もありません。Gemini の根拠は特に薄いものです。
• ノルウェー語では否定が依然として最大のリスクです。ElevenLabs だけが正しく書けたあの一か所の否定のようなケースは、投票では救えません。今のところは存疑として印を付け、人が聞いて確認するようにしています。