Coréen : trois moteurs, une même négation erronée

Dans nos tests en coréen, une réplique est sortie fausse exactement de la même manière chez trois moteurs. Il n'y a aucune négation dans ce que dit la personne, et pourtant Doubao, AssemblyAI et Soniox ont tous écrit 쓰지 않았어, une phrase qui contient « n'a pas ».

Quand trois moteurs font la même erreur, c'est l'audio à cet endroit qui pose problème, pas un moteur en particulier. Si nous avions écarté Soniox pour cela, il aurait aussi fallu écarter les deux moteurs déjà en service. C'était aussi un rappel qu'un vote à trois ne protège pas sur les négations.

Les extraits de test

Quatre scènes de films coréens, évaluées par rapport aux sous-titres coréens pour sourds et malentendants :

• Memories of Murder, un interrogatoire : trois personnes, avec des rires, des gémissements et des paroles qui se chevauchent.
• Memories of Murder, l'interrogatoire final : quatre ou cinq personnes, des cris et des jurons.
• Extreme Job, la scène où ils baptisent le poulet frit : plusieurs personnes qui parlent vite les unes par-dessus les autres, plus des acclamations.
• The Accidental Detective 2, un briefing client : quatre personnes en échanges rapides, avec une démonstration de piratage au milieu.

Les deux premières sont au niveau le plus élevé de notre échelle de difficulté à trois niveaux et les deux autres au niveau intermédiaire. Il n'y a pas d'extrait facile. Les deux premières viennent d'extraits de scènes officiels publiés par le studio.

Les moteurs essayés

ElevenLabs Scribe v2, AssemblyAI, Doubao et Speechmatics au premier tour. Soniox, Gladia et d'autres lors de passages complémentaires. Gemini a été testé séparément.

Là où les moteurs ont franchi les lignes rouges

Sens inversé. Outre l'erreur partagée ci-dessus, Speechmatics a eu sa propre inversion dans la scène du détective, où 오빠 넣으면 et la négation 안 오면 (« s'il ne vient pas ») ont été intervertis.

Contenu inséré. Dans la scène du poulet, Speechmatics a inventé un nom, 박동규야. Le point faible de Doubao, ce sont les nombres : il a produit « 5 존맛 » sorti de nulle part et a écrit un passage de pleurs sous la forme « 6 6 ».

Boucles de répétition. Dans les rires de Memories of Murder, Doubao a écrit le rire sous la forme de ㅎ répété 40 fois. Il ne s'est jamais effondré ainsi sur les deux extraits de niveau intermédiaire ; cela ne s'est produit que dans des rires et des cris extrêmes. Gladia a aussi bouclé en coréen. Soniox a été le seul moteur à ne s'effondrer sur aucun des deux extraits les plus difficiles.

Passages sautés. Le plus gros problème d'AssemblyAI, ce sont les omissions. Il saute des morceaux entiers et renvoie souvent le moins de caractères des quatre. Il invente rarement quoi que ce soit, mais il perd beaucoup.

Ce que nous avons choisi

Moteur principal : ElevenLabs Scribe v2. Premier sur les quatre extraits, avec une moyenne de 11,6 % contre 17,0 % pour le deuxième. C'est aussi le seul qui a régulièrement les noms propres justes.

Références, dans l'ordre : Doubao, Soniox, Gemini. Les trois tournent sur chaque fichier coréen.

• Doubao : deuxième en moyenne, et un deuxième régulier sur les deux extraits de niveau intermédiaire. Ses effondrements ne se sont produits que dans des rires extrêmes, qui surviennent rarement dans un vrai entretien.
• Soniox : il a remplacé AssemblyAI, et pas à cause des scores. Nous avons constaté que le pire type d'erreur d'AssemblyAI était un type que Soniox avait tendance à faire aussi, souvent au même endroit, alors que les erreurs propres à AssemblyAI étaient ses grands morceaux sautés. Faire entrer Soniox laisse aux pistes de référence moins de recoupements dans ce sur quoi elles se trompent.
• Gemini : tourne comme troisième référence.

Les éléments qui contredisent notre choix

• Notre premier rapport sur quatre extraits coréens recommandait autre chose : Doubao plus AssemblyAI, au motif qu'AssemblyAI « ne fait qu'omettre, n'invente jamais, donc c'est le plus sûr ». La relecture a ensuite montré qu'AssemblyAI était l'un des trois moteurs à l'origine de la négation partagée, donc « le plus sûr » n'a pas tenu, et Soniox a pris sa place.
• Le bilan de Gemini en coréen est faible. Quand nous l'avons testé, le coréen s'est retrouvé dans le groupe « ne pas ajouter ». Dans la scène du poulet, il a changé le sens quatre ou cinq fois, transformant « le jus est encore dedans » en « absoudre la chair », et a omis du contenu. Dans la scène du détective, il a changé le sens trois fois, transformant « on croyait que c'était un cadavre » en « on croyait qu'il dormait », et a laissé tomber un « 5% ». La plupart sont des substitutions qui changent le sens, qui ne font pas partie de nos six lignes rouges, mais qui sont tout aussi dangereuses dans une transcription d'entretien. Il fait maintenant partie de la configuration, et il faut le surveiller.
• Les nombres fantômes de Doubao sont le genre de chose qu'un lecteur pourrait facilement prendre pour des données fournies par la personne interrogée.

Problèmes en suspens

• Les deux extraits les plus difficiles n'ont été vérifiés à l'époque que pour le taux d'erreur et les effondrements, pas ligne par ligne pour le sens.
• Les quatre extraits sont des films. Nous n'avons aucun vrai entretien. La configuration porte toujours une note indiquant que toute la chaîne doit être testée de bout en bout sur un vrai entretien avant une utilisation pleinement en production.
• Une erreur partagée à trois ne peut pas être corrigée par un vote. Donc, quand les moteurs ne s'accordent pas sur la présence d'une négation, notre étape de fusion ne suit pas la majorité ; faute de preuve solide, elle signale la réplique à une personne.