Japonais : le moteur qui semblait le meilleur supprimait les mots de remplissage

Sur deux extraits d'entretiens japonais actuels, AssemblyAI a d'abord semblé le plus précis des quatre moteurs essayés, avec un taux d'erreur de caractères descendant jusqu'à 8,4 % sur l'un d'eux. Puis nous avons compris d'où venait cette avance. Les sous-titres qui nous servent de référence omettent les mots de remplissage et les hésitations de l'oral. AssemblyAI les omet aussi. Soniox les note, et chacun de ceux qu'il a écrits a compté comme une erreur. Retirez les mots de remplissage des deux côtés et Soniox remporte les quatre extraits, atteignant 2,0 % sur le dernier, moins que notre moteur principal.

Cette découverte a changé la composition des pistes de référence pour le japonais.

Les extraits de test

Quatre extraits en deux paires :

• Seven Samurai (1954) : dialecte du Tōhoku, cris denses, souffle de vieux film.
• Rashomon (1950) : japonais standard, mais forte pluie et trois personnes qui s'interrompent mutuellement.
• Un entretien à deux personnes trouvé sur YouTube : tours de parole fréquents, son de studio propre.
• Un épisode d'une émission YouTube en japonais : deux animateurs qui ponctuent sans cesse d'acquiescements (そうだね, うん et autres), avec des changements de locuteur tous les quelques mots.

Sur notre échelle de difficulté à trois niveaux, les films sont au niveau le plus élevé et les extraits actuels au niveau intermédiaire. Nous n'avons pas testé d'extrait japonais facile à part (une ou deux personnes, rythme régulier, pas de bruit).

Pour les extraits actuels, nous avons pris comme référence les sous-titres faits à la main par la personne qui a mis la vidéo en ligne, jamais les sous-titres automatiques. Le premier entretien que nous avions choisi s'est révélé, à la vérification ligne par ligne, être de l'anglais parlé avec des sous-titres de traduction en japonais. Noter une transcription par rapport à une traduction n'aurait eu aucun sens, donc nous l'avons remplacé.

Les moteurs essayés

ElevenLabs Scribe v2, AssemblyAI, Doubao et Speechmatics au premier tour. Soniox, Gladia, Deepgram, FunASR et Qwen lors de passages complémentaires. Gemini a été testé séparément.

Là où les moteurs ont franchi les lignes rouges

Boucles de répétition. Dans les cris de Seven Samurai, AssemblyAI a répété un même son 95 fois. Sur le même extrait, Gladia l'a répété 447 fois. Une fois qu'une transcription se remplit d'une seule syllabe, tout ce qui venait après est perdu.

Phrases inventées. Toujours sur Seven Samurai, AssemblyAI a inventé des phrases entières, et sur Rashomon il a accolé des mots jamais prononcés à la fin d'une réplique.

Contenu inséré. Sur les vieux films, Doubao a une fois écrit un ordre violent que personne n'avait donné. Son bilan propre ne vaut que pour les extraits actuels.

Sens inversé. Soniox a inversé le sens de deux répliques dans le passage de Seven Samurai mêlant dialecte et cris. Sur ce même extrait, AssemblyAI bouclait et inventait des phrases. Écarter Soniox pour ces deux erreurs tout en gardant AssemblyAI reviendrait à les juger selon des règles différentes, donc nous l'avons traité comme un problème propre à cette scène.

Dérive de langue. Quand nous avons essayé Gemini comme moteur principal de remplacement, son japonais est sorti avec certains kanji sous leur forme chinoise simplifiée : 绍介, 连络, 结婚 au lieu de 紹介, 連絡, 結婚. Les bons caractères, la mauvaise écriture.

Substitutions (pas des lignes rouges, mais trompeuses) : Speechmatics a entendu 人前式, un mariage célébré devant la famille et les amis, comme 人権意識, « conscience des droits de l'homme ». Doubao et AssemblyAI ont tous deux écrit 酌み交わす (« partager un verre ») sous la forme de son homophone 組み交わす.

Ce que nous avons choisi

Moteur principal : ElevenLabs Scribe v2. Le seul moteur à ne s'être effondré sur aucun des quatre extraits, et 5,1 % sur l'émission YouTube.

Références, dans l'ordre : Soniox, Doubao, Gemini. Les trois tournent sur chaque fichier japonais.

• Soniox : remporte les quatre extraits une fois les mots de remplissage retirés. Nous avons imputé ses deux inversions sur le vieux film à la scène.
• Doubao : nous avons d'abord cru qu'il ne savait pas faire le japonais parce qu'il renvoyait des déchets. Nous ne lui avions simplement pas envoyé le bon code de langue. Avec ja-JP, il a été propre sur les extraits actuels, troisième sur Rashomon, et en milieu de tableau mais intact sur Seven Samurai. Il vient d'une lignée très différente de celle de Soniox, si bien que les deux échouent rarement au même endroit.
• Gemini : aucune erreur franchissant une ligne rouge sur les deux extraits actuels.

AssemblyAI est devenu une solution de secours.

Les éléments qui contredisent notre choix

• AssemblyAI est réellement précis sur les entretiens actuels, et sur une vraie conversation propre, ses problèmes disparaissent en grande partie. Nous l'avons remplacé principalement à cause des boucles et des phrases inventées sur les vieux films, et parce qu'il n'est plus premier une fois les mots de remplissage retirés.
• Une série de tests antérieure était arrivée à la conclusion inverse. À ce moment-là, Soniox ne semblait pas meilleur que les deux moteurs en place sur les entretiens, et la règle était « pas de changement en cas d'égalité ». La découverte sur les mots de remplissage l'a renversée. La décision repose donc sur un seul choix de notation : compter ou non les mots de remplissage.
• Gemini a fait beaucoup d'erreurs sur les deux vieux films. Dans Seven Samurai, il a transformé 米 (« riz ») en nom de famille, 亀岡. Dans Rashomon, il a écrit le titre policier de l'époque de Heian 検非違使 sous la forme 蛇石 (« pierre de serpent »), a transformé « assez de sermons » en « assez de toux », et a laissé tomber la dernière phrase. Rashomon est un dialogue clair, donc le problème suit la qualité d'enregistrement plus que le bruit. Si l'enregistrement d'un client est de mauvaise qualité, cette piste risque de décrocher avec lui.

Problèmes en suspens

• Nous n'avons que deux vrais entretiens, et tous deux sont propres. Nous n'avons aucun exemple noté d'entretien japonais actuel dans une pièce bruyante.
• Si un client veut du mot à mot strict avec chaque えーと conservé, l'habitude de Soniox d'écrire les mots de remplissage est un atout. S'il veut une transcription nettoyée, le fondement du classement doit être réexaminé.
• Le problème des kanji simplifiés est apparu quand Gemini remplaçait le moteur principal. Nous n'avons pas de données séparées pour savoir s'il se produit quand Gemini tourne comme piste de référence.