Finnois : presque parfait sur une parole claire, des répliques inventées sous les tirs

Nous avons testé deux enregistrements finnois clairs de la vie quotidienne : un appel téléphonique pour convenir d'un horaire, et une discussion sur un café qui se termine par une commande. ElevenLabs a obtenu 2,7 % et 2,9 % de WER, et à la lecture ligne par ligne, nous n'avons trouvé aucune vraie erreur.

Puis est venue la scène d'assaut du film de guerre Unknown Soldier. Sous le feu des mitrailleuses et les explosions, tous les moteurs se sont mis à inventer des phrases, ElevenLabs compris.

Les extraits de test

Quatre extraits :

L'audio original complet des films finnois est difficile à trouver. Les deux derniers extraits viennent de podcasts pour apprenants où les présentateurs ont eux-mêmes tapé des sous-titres mot à mot, ce qui s'est révélé une source fiable de transcriptions de référence pour les langues moins répandues. Nous avons délibérément évité les scènes dans des dialectes régionaux marqués, comme ceux de Laponie ou de Carélie.

Les moteurs testés

ElevenLabs Scribe v2, Speechmatics, AssemblyAI, Soniox et Doubao, avec Gemini ajouté en août. Quand AssemblyAI a publié un nouveau modèle, nous l'avons aussi essayé sur le finnois.

Doubao ne prend pas en charge le finnois ; il a renvoyé du charabia en anglais.

Les lignes rouges

Phrases hallucinées, presque toutes dans la scène d'assaut. Un officier hurle « Les gars, bon sang, en avant ! » et ElevenLabs a écrit quelque chose comme « vous avez été battus vivants en avant ». Pour « troisième et quatrième, à gauche », ElevenLabs a écrit « retour à la position » et AssemblyAI a écrit « Paulus prédit, à gauche ». Speechmatics a produit « la demande des lapins » sorti de nulle part, plus une série de phrases à la fin qui ne sont pas dans le film.

Il n'y en a eu qu'une sur les extraits clairs : dans la scène du colonel, AssemblyAI a transformé le grade « lieutenant-colonel » en une suite de syllabes dénuées de sens.

Pronoms intervertis : dans l'assaut, AssemblyAI a transformé « faites avancer les hommes » en « faites-nous avancer ».

Passages sautés : dans le même extrait, AssemblyAI a perdu tout le début.

Boucles : dans la scène d'assaut, Gemini a écrit « Vihollinen! » (L'ennemi !) plus de 75 fois, avalant toute la fin, et a inventé deux phrases au début.

Dérive de langue : sur un extrait clair, Soniox a écrit une phrase en anglais, « Drivers to load not there », et s'est répété. Doubao était en anglais du début à la fin.

Ce que nous avons choisi

• Moteur principal : ElevenLabs Scribe v2. Le meilleur ou ex aequo sur les quatre extraits, presque parfait sur une parole claire, et pas une seule inversion.
• Moteurs de référence : Speechmatics, AssemblyAI, Gemini.

Speechmatics est en premier. Aucune inversion sur les quatre extraits, et un WER plus bas qu'AssemblyAI sur les trois extraits clairs (32,7 % contre 35,6 % sur la scène du colonel, 9,4 % contre 12,8 % sur l'appel téléphonique, 4,6 % contre 7,5 % au café). Ses erreurs sur une parole claire sont de petites bavures, comme capuccino auquel il manque une lettre. Sur une parole claire, il n'invente pas de phrases.

AssemblyAI est deuxième. En dehors de ce grade militaire, il n'a eu ni hallucination, ni inversion, ni boucle sur les extraits clairs. Ses difficultés se concentrent dans les tirs et les cris prolongés.

Gemini : aucune vraie erreur, mot pour mot, sur l'appel téléphonique.

Nous n'utilisons pas Soniox pour le finnois, la seule de ces langues nordiques et d'Europe centrale où c'est le cas. Une phrase en anglais qui apparaît au milieu d'un enregistrement finnois clair est plus difficile à contrer que tout ce qu'a fait AssemblyAI, donc Soniox n'est ici qu'une solution de secours.

Les éléments qui contredisent nos choix

• La boucle de Gemini répétée 75 fois est un vrai risque en production : quand elle se produit, toute une section de la transcription disparaît. Nous le faisons tourner parce qu'il n'a fait aucune vraie erreur sur les deux conversations du quotidien.
• Le nouveau modèle d'AssemblyAI a fait moins bien que l'ancien sur trois des quatre extraits finnois, avec de nouvelles hallucinations. Nous n'avons pas basculé, et le déploiement a ensuite été annulé pour toutes les langues.
• ElevenLabs a lui aussi inventé deux phrases dans la scène d'assaut. Notre moteur principal n'est pas sûr dans un bruit extrême.

Ce qui reste en suspens

• Les deux extraits clairs viennent de podcasts conçus pour des apprenants, enregistrés en studio. C'est plus propre que la plupart des enregistrements d'entretiens.
• Nous n'avons pas testé les dialectes marqués.
• Deux des quatre extraits proviennent du même film.