シリーズ:27言語の検証記録
デンマーク語:最もインタビューに近い音声で一番きれいだったエンジンを外した
· Zeyu Si
デンマーク語のテスト音声五つのうち、本物のインタビューに最も近いのはリハビリ施設での会話です。一人が尋ね、もう一人が答え、二人で目標を一緒に決めていきます。この音声で、最もきれいな書き起こしを出したのは AssemblyAI でした。
それでも私たちは、AssemblyAI をリファレンスエンジンから外しました。
テスト用の音声
二人の監督による二本の映画から五つの音声:
| 音声 | 場面 | 難易度 |
|---|---|---|
| Jagten(2012)パート 1 | 家族の対決が乱闘に発展する。怒鳴り声、強い背景雑音 | 極めて高い |
| Jagten パート 2 | クリスマスイブにスーパーが客への販売を拒み、店員が客を突き飛ばして殴る。店内の雑音 | 極めて高い |
| Adam's Apples(2005)パート 1 | 司祭とネオナチがヨブ記と悪魔について言い争う。感情的だがはっきり話している | やや高い |
| Adam's Apples パート 2 | ギャングが騒ぎを起こす。罵倒、銃声、何人もが同時に叫ぶ | 極めて高い |
| Adam's Apples パート 3 | リハビリ施設での目標設定の会話。一問一答、速いターン交代、クリアな屋内音声 | 基本 |
Festen(1998)の夕食の場面を使いたくて字幕まで用意しましたが、デンマーク語の元の音声が見つかりませんでした。全編の唯一のコピーは年齢制限付きで、もう一つはフランス語吹き替えでした。
テストしたエンジン
ElevenLabs Scribe v2、AssemblyAI、Speechmatics、Soniox、Doubao。Gemini は八月に加わりました。
Doubao はデンマーク語に対応していません。出てきたのは漢字の混ざった英語の意味不明な文とループでした。
レッドライン
ループ:Jagten の乱闘のクライマックスで、AssemblyAI は約 28 秒の間に「Nej det er satan」を 23 回書き、本来のセリフを飲み込みました。ほかの四つの音声では一度もループしていません。
否定の反転:Speechmatics は「Det gør jeg ikke」(しない)を「Det gør jeg」(する)にし、否認が自白になりました。スーパーでは、「じゃあ客を殴ってもいいのか?」という非難が「普段は客といい打ち合わせをしている」になりました。Adam's Apples では、「彼に撃たれた」が「俺を撃て」という命令になりました。
文のハルシネーション:乱闘の場面で、ElevenLabs は「Tror du ikke det」(そう思わない?)を「Jeg dør dig」にしました。これは実在する文ではありません。
意味を変える置換:AssemblyAI は音の似た単語を作り出しがちです。Koteletter(ポークチョップ)は koaguletter に、「レイヤーケーキ」は「法律」に、「なぜ嘘をつく」は「なぜスパイする」になりました。リハビリ施設の音声では、Soniox が「ケーキ」を「バナナケーキ」に、「私の目標は焼くこと」を「母が作る」にしました。見直しの結果、この二つは音響的な根拠のある区切り誤りと分類し、反転とはしませんでした。
言語ドリフト:Doubao のみ。
何を選んだか
- メインエンジン:ElevenLabs Scribe v2。 五つの音声すべてで最もきれい、または最もきれいなものと同率で、一度もループしませんでした。乱闘での一回のハルシネーションも、場面の残りを崩しはしませんでした。
- リファレンスエンジン:Speechmatics、Soniox、Gemini。
新しいリファレンスエンジンの基準は、六つのカテゴリーすべてでレッドラインがゼロであること、そしてメイン以外のエンジンの総合順位で上位二位以内に入ることです。Soniox は見直しでこれを満たし、AssemblyAI に置き換わりました。総合順位は Speechmatics が一位、Soniox が二位、AssemblyAI が三位でした。
Speechmatics が一位にとどまるのは、単語の正確さが Soniox よりわずかに良かったからです。ループすることはなく、出力の構造も崩れません。
Gemini はリハビリ施設の音声できれいで、全体でも少なくとも二つの会話の音声できれいでした。
私たちの選択に不利な証拠
デンマーク語では、それがたくさんあります。
- AssemblyAI がループしたのは一回、激しい殴り合いの場面で、本物のインタビューにはまず出てこない種類の場面です。最もインタビューに近い音声では最もきれいなエンジンでした。「本番に最も近い音声での出来」を「越えたレッドラインの数」より重く見るなら、AssemblyAI を残すのも筋の通った判断です。
- Soniox は静かなリハビリ施設の音声でも意味を変えました。その自信満々な誤りは、雑音のせいではありません。
- 八月に Gemini をテストしたとき、同じ音声で Soniox の問題をさらに記録しました。乱闘では「嘘をつく」を二回「約束する」と聞き、最後に作り話の文を足しました。銃撃の場面では「彼に撃たれた」が二回「撃ってくれる?」になりました。これはレッドラインゼロという評価と矛盾しますが、まだ再評価していません。
- Speechmatics は五つの音声を通じて何度か意味を反転させました(一つの音声につき最大一回)。それでもリファレンスの首位にいます。AssemblyAI はレッドラインを理由に外したのに、Speechmatics には同じ基準を当てていません。一貫していません。
- Gemini は銃撃の場面で「君は行くべきだ」を「私は行くべきだ」にし、乱闘では代名詞を変えました。
未解決のこと
- Soniox の評価は、八月のメモと照らして再確認する必要があります。
- 五つの音声はすべて二本の映画から取っていて、本物のリサーチのインタビューは一つもありません。Festen の元の音声が手に入れば、食卓での話者の重なりの場面が加わります。
執筆:Zeyu Si