Hongrois : pourquoi nous avons gardé le moteur qui a écrit « ticket » 23 fois

Le film hongrois Kontroll (2003) comporte une bagarre autour des tickets dans le métro. Le contrôleur ne cesse de crier « Jegy! » (ticket). AssemblyAI a écrit le mot 23 fois d'affilée, et tout le passage de dialogue qui suivait a disparu.

Dans un autre extrait, une commande rapide avec échanges vifs dans un snack, le même moteur n'a pas bouclé une seule fois. Nous l'avons gardé pour le hongrois. Les arguments pour le garder se sont toutefois révélés plus faibles que nous ne le pensions au départ.

Les extraits de test

Cinq extraits, tous tirés de films :

Les trois derniers viennent du même film. Des sources complètes et propres pour les films hongrois récents sont difficiles à trouver ; la seule copie intégrale d'un film que nous voulions était bloquée derrière une vérification d'âge.

Les moteurs testés

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR et Doubao, avec Gemini ajouté plus tard.

Le hongrois ne fait pas partie des langues prises en charge par Doubao, et les cinq extraits sont revenus sous forme de déchets. Deepgram et FunASR ont produit beaucoup trop peu de texte, environ un dixième et trois dixièmes du nombre de mots de la référence, ce qui signifie que la majeure partie de l'audio n'a tout simplement pas été transcrite.

Les lignes rouges

Boucles : la série de « Jegy » en est une. Dans l'extrait de l'atelier de pneus, AssemblyAI a répété « Mi az hogy mi között van » 18 fois, avalant six répliques différentes. Gemini a lui aussi eu plusieurs séries de répétitions dans Kontroll.

Négations inversées : Speechmatics a transformé « Ne csináljátok a fotót » (ne prenez pas cette photo) en « Csináljátok a fotót » (prenez-la). AssemblyAI a transformé « cette fête est géniale » en « pourquoi cette fête n'est-elle pas bien ». Au snack, il a entendu megvennék (je l'achèterais) comme megvernék (je le tabasserais). Gemini a transformé « ne t'en mêle pas » en « vas-y, mêle-t'en ».

Phrases hallucinées : là où la musique de la fête couvrait les voix, Speechmatics a produit un éclat de rire et une phrase qui ne sont pas dans le film. AssemblyAI a remplacé une réplique entière de Kontroll par une autre. Gemini a ajouté dans l'atelier de pneus une réplique que personne n'a prononcée, « on paiera la course ».

Passages sautés : au snack, AssemblyAI a manqué deux échanges au talkie-walkie.

Contenu inséré : dans le même extrait, Gemini a placé l'appel au talkie-walkie au milieu de la conversation six fois.

Dérive de langue : Doubao uniquement.

ElevenLabs n'a eu ni boucle ni inversion sur les cinq extraits. Ses erreurs étaient des substitutions de mots qui sonnent pareil, comme színed pour szénád.

Ce que nous avons choisi

• Moteur principal : ElevenLabs Scribe v2.
• Moteurs de référence : AssemblyAI, Soniox, Gemini.

AssemblyAI est resté parce que ses boucles ne se sont produites que dans de longues engueulades à armes égales. Dans le dialogue à deux et l'extrait du snack, il n'a ni bouclé ni sauté de passages entiers. Les vrais entretiens impliquent rarement plusieurs personnes qui crient les unes par-dessus les autres pendant longtemps.

Soniox a remplacé Speechmatics, qui invente des phrases dans le bruit et a déjà laissé tomber une négation ; Speechmatics est désormais une solution de secours d'urgence. À la relecture, Soniox a battu AssemblyAI sur les cinq extraits, et quand il échouait, il avait tendance à produire des fragments visiblement cassés.

Gemini a été ajouté à toutes les langues en août. Il se trompe différemment des moteurs acoustiques, si bien que les deux types peuvent se vérifier mutuellement.

Les éléments qui contredisent nos choix

Le hongrois en fournit un bon nombre.

• L'affirmation selon laquelle AssemblyAI est propre sur la conversation a été ébranlée par sa propre erreur : « acheter » est devenu « tabasser » dans l'extrait du snack, celui qui se rapproche le plus d'un entretien.
• La relecture a trouvé Soniox meilleur qu'AssemblyAI sur les cinq extraits, et pourtant notre configuration place toujours AssemblyAI devant Soniox. L'ordre va à l'encontre des éléments recueillis.
• Gemini n'avait qu'un seul extrait de conversation sur lequel être jugé, et il y a été propre. Dans les deux scènes de groupe, il a eu une inversion, une phrase inventée et plusieurs boucles, et au snack il a inséré l'appel au talkie-walkie six fois.
• Au seul WER, Speechmatics a obtenu le score le plus bas à la fois sur l'extrait à deux et sur le snack (20,5 % et 33,5 %, contre 27,6 % et 36,3 % pour ElevenLabs). Nous n'avons pas choisi sur ce chiffre ; voir Le WER ment.

Ce qui reste en suspens

• Un seul extrait de conversation ne suffit pas comme preuve pour Gemini en hongrois. Il faut le tester davantage.
• Trois des cinq extraits proviennent d'un seul film, ce qui limite la variété des scènes.
• Rien n'a été décidé sur le fait de réordonner les moteurs de référence pour les aligner sur la relecture.