Turc : comment une mise à jour de modèle a brisé un bilan sans faute

En turc, AssemblyAI avait commencé avec un bilan sans faute : quatre extraits et pas une seule réplique au sens inversé. Puis son éditeur a sorti une nouvelle génération du modèle et nous y sommes brièvement passés. Les quatre extraits turcs se sont dégradés, certains avec un taux d'erreur presque doublé, et il a transformé l'ordre indirin (« baissez-le ») en indirmez (« il ne le baissera pas »). Le bilan sans faute s'est arrêté là. Nous sommes revenus à l'ancien modèle.

Même moteur, autre version, et la conclusion peut ne plus tenir. C'est la toile de fond de la configuration du turc.

Les extraits de test

Quatre scènes de films turcs d'environ une minute et demie chacune, notées par rapport aux sous-titres turcs pour sourds et malentendants :

• Vizontele (2001) : un chef de village qui accueille des visiteurs, avec des réponses rapides, des interruptions et des cris.
• Düğün Dernek (2013) : un chameau a perdu la mariée ; quatre personnes ou plus parlent à la fois, en marmonnant et en jurant.
• G.O.R.A. (2004) : l'embarquement à bord d'un vaisseau spatial dans une comédie de science-fiction, des ordres qui s'empilent sur des effets sonores et une musique denses.
• Bergen (2022) : une mère biologique se présente pour une confrontation ; des échanges rapides et chargés d'émotion en dialecte d'Adana, avec des jurons.

Les deux premiers sont au niveau le plus élevé de notre échelle de difficulté à trois niveaux, et les deux autres au niveau intermédiaire. Il n'y a pas d'extrait facile.

Les moteurs essayés

Quatre au premier tour : ElevenLabs Scribe v2, AssemblyAI, Speechmatics et Doubao. Soniox a été évalué lors d'une relecture ultérieure. Gemini a été testé séparément.

Où les moteurs ont franchi des lignes rouges

Phrases inventées. Speechmatics en a produit deux ou trois dans Vizontele. Hiç lüzüm yok (« ce n'est pas la peine ») est devenu İç sesim yok (« je n'ai pas de voix intérieure »), et il a accolé gazeteye getirip (« l'apporter au journal ») à une phrase qui ne dit rien de tel.

Une négation ajoutée. Même moteur, même extrait : Fikri benim adım (« je m'appelle Fikri ») est revenu avec un yok (« pas ») à la fin.

Fins perdues. Sur deux extraits difficiles, la transcription de Gemini est correcte jusqu'au dernier passage, puis 20 à 25 mots manquent, quatre phrases entières dans un cas. Il est arrivé deuxième au WER sur les deux, le score ne vous donne donc aucun indice.

Dérive de langue. Les premiers passages de Doubao en turc sont revenus en charabia anglais, par exemple "I'm shaking these diseases". Nous n'avions pas envoyé de code de langue turc. Avec tr-TR défini, les quatre extraits sont revenus en turc cohérent.

AssemblyAI (avec l'ancien modèle) et Doubao n'ont eu ni phrase inventée ni inversion sur les quatre extraits.

Ce que nous avons choisi

Principal : ElevenLabs Scribe v2. Premier sur tous les extraits sauf G.O.R.A., où les effets sonores mettent tout le monde à égalité.

Références, dans l'ordre : AssemblyAI, Doubao, Gemini. Les trois tournent sur chaque fichier turc.

• AssemblyAI : le moteur le plus précis après le principal, sans phrase inventée ni inversion. Il entend mal des noms, par exemple Belgin en belli (« évident »), mais les autres pistes peuvent rattraper ce type d'erreur.
• Doubao : dernier au WER sur tous les extraits, jusqu'à 28,6 % sur la scène en dialecte. Presque toutes ses erreurs sont orthographiques. Il écrit la prononciation dialectale telle qu'il l'entend, si bien que pabuç devient pafuç. Mais il n'a jamais rien inventé ni inversé. Pour une piste de référence, nous tenions davantage à savoir si un moteur écrit des choses fausses avec assurance qu'à son rang.
• Gemini : tourne comme troisième référence.

Soniox s'est bien comporté à la relecture : aucune erreur de ligne rouge d'aucune sorte, et deuxième parmi les moteurs autres que le principal. Nous ne l'avons pas intégré, car AssemblyAI est déjà le moteur non principal le plus fort et un changement n'avait rien à apporter. Il est le premier moteur de secours et prendrait le relais si Doubao se mettait à tirer les résultats vers le bas en production.

Les éléments qui plaident contre notre choix

• L'histoire de la mise à jour montre que le « aucune inversion » d'AssemblyAI est le bilan d'une version de modèle. Une nouvelle version implique de tester à nouveau.
• Doubao est le plus faible des quatre. Avec un dialecte marqué et un débit rapide, il apporte peu d'information.
• Gemini n'a qu'un seul extrait de test turc de type conversation, ce qui ne suffit pas pour le juger. Sur G.O.R.A., sa fin perdue s'est aussi accompagnée de changements de sens : « enlève tes lunettes » est devenu « arrache-toi les yeux », et des mots comme Ölmüş (« il est mort ») sont apparus de nulle part.
• Le rapport relève une petite expression inventée par le principal sur chacun des deux premiers extraits. Mais la relecture a aussi montré que ces sous-titres omettent beaucoup de choses, et à deux reprises de vraies paroles avaient été prises à tort pour une hallucination pour cette raison. Nous ne pouvons pas être tout à fait sûrs que ces deux cas soient à mettre au passif du principal.

Problèmes ouverts

• Les quatre extraits sont des films. Il n'y a ni vraie interview ni conversation courante et facile.
• Les sous-titres omettent tellement de choses que, lorsque plusieurs moteurs s'accordent sur quelque chose qui manque aux sous-titres, il faut revérifier les sous-titres avant de parler d'hallucination.
• Les fins perdues de Gemini n'apparaissent pas dans le score. Seule une lecture ligne par ligne les repère.