Vietnamien : l'« hallucination » était une vendeuse du marché

À la fin d'une scène de marché dans nos tests en vietnamien, Doubao a écrit une réplique absente des sous-titres : "Ai mua gà kìa", en gros « qui achète du poulet ? ». Le premier rapport l'a consignée comme une hallucination. À la relecture, il s'agissait d'une vraie vendeuse qui interpellait les passants en fond. Les sous-titres l'avaient omise, et Doubao l'avait entendue.

Il n'y a pas beaucoup de preuves pour cette langue, seulement deux extraits valides. Voici ce qu'ils nous disent et ce qu'ils ne nous disent pas.

Les extraits de test

Deux films vietnamiens, notés par rapport aux sous-titres vietnamiens pour sourds et malentendants de Netflix :

• Furie (2019) : un recouvrement de dettes à l'étal d'un prêteur sur gages au marché, puis une accusation de vol à la tire. Plusieurs personnes qui échangent rapidement des insultes dans un dialecte du Sud, le bruit du marché, des voix qui se chevauchent. Niveau le plus élevé sur notre échelle de difficulté à trois niveaux.
• Song Lang (2018) : les coulisses d'une troupe d'opéra traditionnel, des admirateurs qui passent bavarder. Des échanges rapides avec un bruit de foule. Niveau intermédiaire, et bien plus clair que le premier.

Nous voulions deux extraits de plus avec une conversation plus dense. Chaque « film complet » trouvé sur YouTube était soit un remontage d'une autre chaîne qui ne correspondait pas aux sous-titres, soit bloqué derrière une vérification d'âge, et les chaînes des studios eux-mêmes ne proposent que des bandes-annonces. Nous nous sommes arrêtés à deux plutôt que de gonfler le corpus avec un audio que nous ne pouvions pas vérifier.

Les moteurs essayés

ElevenLabs Scribe v2, AssemblyAI, Doubao et Speechmatics au premier tour. Soniox a été évalué lors d'une relecture ultérieure. Gemini a été testé séparément.

Où les moteurs ont franchi des lignes rouges

Passages perdus. AssemblyAI l'a fait sur les deux extraits. Il a entièrement sauté les quatre premières phrases de Song Lang, ce qui est la principale raison de sa dernière place sur l'extrait clair.

Des substitutions qui deviennent des noms. AssemblyAI a écrit dị ứng (« allergie ») sous la forme Dĩ Ấn, qui se lit comme un nom de personne, trois fois. Dans Furie, il a transformé le prénom Mai en công an (« police »), ăn cắp (« voler ») en Anh Cất, et tang chứng (« preuve ») en ăn trứng (« manger des œufs »). Toute la scène tourne autour de la question de savoir si quelqu'un a volé quelque chose, et avec ces erreurs l'histoire change.

Phrases inventées. Notre moteur principal, ElevenLabs, a inventé deux noms qui n'existent pas au moment le plus bruyant et le plus chevauché vers la fin de Furie, ainsi qu'une phrase, Họ đang buôn bán (« ils font du commerce »). Speechmatics a ouvert Song Lang avec un ca sĩ (« chanteur ») que personne n'a prononcé.

Soniox n'a eu aucune erreur de ligne rouge d'aucune sorte sur les deux extraits.

Ce que nous avons choisi

Principal : ElevenLabs Scribe v2. En tête du classement sur les deux extraits, et le plus complet sur le début et le milieu.

Références, dans l'ordre : Doubao, Soniox, Gemini. Les trois tournent sur chaque fichier vietnamien.

• Doubao : à égalité avec le principal en tête sur les deux extraits et le plus proche des sous-titres. Sa seule « hallucination » n'a pas résisté à la relecture.
• Soniox : a remplacé AssemblyAI. Aucune erreur de ligne rouge, 9,1 % sur l'extrait clair, et c'est lui qui a récupéré le plus de contenu sur l'extrait bruyant.
• Gemini : nos extraits de films vietnamiens ne sont que disputes et scènes de foule, qui en disent peu sur une conversation normale. Nous avons donc passé cinq minutes d'un podcast vietnamien dans Gemini et dans le principal, et les avons vérifiés l'un par rapport à l'autre. Les deux ont produit exactement 1 018 mots. Gemini a fait une seule vraie erreur : chôn (« enterrer ») est devenu trốn (« se cacher »).

Les éléments qui plaident contre notre choix

• Le moteur principal a inventé du contenu à la fin de Furie. En vietnamien, on ne peut pas supposer que le principal n'invente rien ; la fin bruyante d'un enregistrement a besoin des pistes de référence pour la vérifier.
• Quand Gemini n'avait été testé que sur ces deux extraits de films, le verdict était « ne pas ajouter ». Il a été inversé après le test sur le podcast, et ce podcast n'avait pas de transcription de référence : Gemini et le principal n'ont donc été vérifiés que l'un par rapport à l'autre.
• Un extrait est extrêmement bruyant et l'autre assez clair. Nous n'avons rien entre les deux.

Problèmes ouverts

Nous évaluons notre confiance dans la configuration de cette langue comme moyenne, pour une raison simple : deux extraits ne permettent pas d'affirmer que quoi que ce soit est systématique. Les sous-titres de deux extraits supplémentaires sont prêts ; ce qui manque, c'est un audio sous licence qui leur corresponde. Une fois que nous l'aurons, la même méthode pourra porter le corpus à quatre.