Norvégien : « nous n'avons pas été infidèles » est devenu « nous avons choisi d'être infidèles »

Dans The Worst Person in the World (Verdens verste menneske), il y a une scène de fête où quelqu'un dit "Vi var ikke utro" : nous n'avons pas été infidèles. AssemblyAI a écrit "Vi valgte utro" : nous avons choisi d'être infidèles. La négation a disparu, le verbe a changé, et le sens s'est inversé. La réplique revient dans la scène, et AssemblyAI s'est trompé à chaque fois. Trois fois en tout.

Le bruit n'y est pour rien. La scène a un rythme normal, sans chevauchement de paroles prolongé.

Les extraits de test

Cinq extraits tirés de trois films :

Les cinq sont des films. Deux sont relativement clairs, mais restent des fictions scénarisées. Aussi, lorsque nous avons évalué Gemini en août, nous avons aussi pris un extrait de cinq minutes d'un podcast norvégien.

Les moteurs testés

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Gemini, Qwen, FunASR et Doubao. Nous avons aussi regardé NB-Whisper, le modèle open source de la Bibliothèque nationale de Norvège, sans l'adopter.

Doubao ne prend pas en charge le norvégien. Nous avons essayé les trois codes de langue norvégiens et obtenu du charabia en anglais ou rien du tout. FunASR n'a produit qu'environ la moitié des mots de la référence.

Les lignes rouges

Les inversions de négation comptent le plus ici. Outre la réplique d'ouverture, AssemblyAI a transformé « je suis prêt à tout faire » en « je ne le ferai pas », et « tu ne dois jamais abandonner » en « je dois… ». Speechmatics inverse aussi, dans l'autre sens : il a tendance à ajouter un ikke, si bien que « savoir » devient « ne pas savoir ». Pas plus de trois fois sur les cinq extraits. Et sur une négation, tous les moteurs de la comparaison se sont trompés sauf ElevenLabs.

Noms inventés : AssemblyAI a ouvert la scène émotionnelle claire avec un personnage nommé Bård, et a placé une certaine Martha dans le raid aérien. Aucun de ces personnages n'existe dans ces scènes. Qwen a inventé un nom de famille, Hågen.

Contenu inséré : dans l'extrait du navire de guerre, Gemini a inventé plusieurs ordres qui ne sont pas dans le film, comme « Canon 1 en position » et « Batterie de torpilles 3/4 ».

Dérive de langue : une fois, Gemini a rendu un extrait norvégien sous forme de traduction chinoise (« Comment tu t'appelles ? Julia. »). Relancé sur le même audio, il a produit du norvégien normal.

Boucles : Gemini s'est répété dans l'extrait du raid aérien. Son WER y était de 89,6 %, contre 41,8 % à 47,8 % pour les trois autres moteurs, soit un écart de 42 points.

Ce que nous avons choisi

• Moteur principal : ElevenLabs Scribe v2. Aucune hallucination, aucune inversion, aucun nom inventé sur les cinq extraits. Ses erreurs sont des mauvaises écoutes : il a écrit la réplique d'ouverture "Vi var ikke ute", nous n'étions pas sortis, mais a conservé la négation.
• Moteurs de référence : Soniox, Speechmatics, Gemini.

AssemblyAI est écarté. Quatre des cinq extraits comportaient des inversions ou des noms inventés, y compris les extraits clairs.

Soniox est arrivé en juillet. Jusque-là, Speechmatics était le seul moteur de référence pour le norvégien. Extrait par extrait, Soniox a battu Speechmatics quatre fois et fait jeu égal une fois, et les deux se trompaient surtout à des endroits différents. Soniox a eu juste la réplique d'ouverture, ainsi que le prénom Julie.

Speechmatics n'a jamais inventé de phrase ni de nom sur les cinq extraits, et il a lui aussi eu juste la réplique d'ouverture.

Gemini, sur le podcast de cinq minutes : aucune hallucination, inversion ni boucle. Trois erreurs sur des mots proches à l'oreille, et deux endroits où il était plus précis qu'ElevenLabs.

Notre configuration norvégienne comporte une règle supplémentaire : là où les moteurs ne sont pas d'accord sur un ikke, la transcription le marque comme incertain pour qu'une personne le vérifie.

Les éléments qui plaident contre nos choix

• Gemini a franchi une ligne rouge sur chacun des cinq extraits de films : inversions, ordres inventés, boucles, et la sortie en chinois. Notre argument pour le faire tourner repose sur un seul podcast de cinq minutes sans transcription de référence, vérifié uniquement par rapport à ElevenLabs. En juillet, nous l'avions rejeté.
• Soniox et Speechmatics ont fait trois erreurs identiques, dans le même sens, dans la scène émotionnelle. L'argument « ils se trompent à des endroits différents » ne tient pas toujours là où c'est le plus important.
• Un premier balayage automatisé avait trouvé que Soniox produisait 1,5 fois plus de mots que la référence en norvégien.

Questions encore ouvertes

• Nous n'avons pas une seule vraie conversation avec une transcription de référence. Les preuves pour Gemini sont particulièrement minces.
• La négation reste le plus grand risque en norvégien. Un cas comme cette négation que seul ElevenLabs a eue juste ne peut pas être rattrapé par un vote. Pour l'instant, nous le marquons comme incertain et laissons une personne écouter.