Indonésien : quelqu'un hurle à l'aide, le moteur écrit « merci »

L'une de nos scènes de test en indonésien montre une secte qui assiège une maison. À travers les hurlements, quelqu'un crie « Bu, tolong selamatkan anak-anakku, bu! » (« Maman, sauvez mes enfants, je vous en prie ! »). Notre moteur principal, ElevenLabs, a capté cette réplique. Au même moment, AssemblyAI a écrit « Terima kasih », qui signifie « merci ».

Gladia est allé plus loin. Il a produit « Jangan lupa like share dan subscribe », « n'oubliez pas de liker, partager et vous abonner », la formule de fin d'une vidéo de youtubeur.

Les deux vont dans le même sens. Quand l'audio devient trop confus pour être déchiffré, certains moteurs comblent le vide avec une formule familière.

Les extraits de test

Les quatre extraits viennent d'un seul film, Satan's Slaves (Pengabdi Setan, 2017), évalué par rapport à ses sous-titres indonésiens pour sourds et malentendants. Nous avons utilisé un seul film parce que tous les autres « films complets » indonésiens trouvés sur YouTube étaient des faux : une vidéo de critique, un autre film portant le même titre, ou un remontage dont le minutage ne correspondait pas aux sous-titres.

Les quatre scènes mettent chacune à l'épreuve quelque chose de différent :

• En feuilletant un magazine : musique de cordes en fond, deux personnes qui se renvoient les répliques.
• Dîner de famille : vaisselle qui s'entrechoque, frères et sœurs cadets qui chahutent, chevauchements constants.
• Demande d'aide : deux personnes qui racontent calmement une histoire de famille en phrases complètes.
• Le siège : hurlements de panique, tonnerre, quelqu'un qui frappe la porte à coups redoublés.

Sur notre échelle de difficulté à trois niveaux, les deux premières se situent entre le niveau intermédiaire et le plus élevé, le siège est au niveau le plus élevé, et la scène de demande d'aide est proche du facile, le seul extrait clair de l'ensemble.

Les moteurs essayés

ElevenLabs Scribe v2, AssemblyAI, Doubao et Speechmatics au premier tour, avec FunASR, Gladia, Deepgram, Soniox et Qwen passés en parallèle pour mémoire. Gemini a été testé séparément.

Là où les moteurs ont franchi les lignes rouges

Phrases inventées. Les deux du début : le « merci » d'AssemblyAI et le « liker, partager et vous abonner » de Gladia. AssemblyAI n'a rien inventé dans les trois premiers extraits. Seul le siège l'a poussé à en inventer une.

Mots insérés. Dans le siège, quelqu'un dit « kalau kita bersatu » (« si nous restons unis »), et aucun des quatre moteurs ne l'a eu. ElevenLabs a écrit « se liguer contre », AssemblyAI et Speechmatics ont écrit « livrer », et Doubao a écrit « kalau kita nggak serahkan » (« si nous ne livrons pas »), ajoutant une négation que personne n'a prononcée. Au dîner, Speechmatics a aussi collé deux mots en trop, « hati kau » (« ton cœur »), à la fin d'une réplique.

Boucles de répétition. Dans le siège, les gens ne cessent de crier le nom Bondy. ElevenLabs, Soniox et Doubao ont chacun écrit le nom de cinq à neuf fois. Gemini l'a écrit Bodoh (« idiot ») dix fois de suite.

Passages sautés. AssemblyAI est celui qui a le plus perdu dans le siège, omettant de longs passages de hurlements.

Dérive de langue. Les deux premiers extraits de Doubao sont revenus sous la forme d'un mélange de charabia chinois et anglais, parce que nous n'avions pas envoyé le code de langue indonésien. Avec id-ID défini, sa transcription de la scène de demande d'aide était presque mot pour mot identique à celle du moteur principal.

Aucun des moteurs n'a inversé le sens d'une phrase entière dans aucun des quatre extraits.

Ce que nous avons choisi

Moteur principal : ElevenLabs Scribe v2. Le WER le plus bas sur les deux premiers extraits, quasiment aucune erreur de sens sur l'extrait clair, le plus de contenu récupéré dans le siège, et le seul moteur à avoir capté l'appel à l'aide.

Références, dans l'ordre : Soniox, Doubao, Gemini. Les trois tournent sur chaque fichier indonésien.

• Soniox : a remplacé AssemblyAI. La relecture a confirmé l'absence d'erreur franchissant une ligne rouge, et il s'est classé premier ou deuxième parmi les moteurs non principaux. Ses deux passages douteux sont tous deux survenus dans des passages extrêmement bruyants où tous les moteurs ont échoué, et ce qu'il a écrit correspondait à des sons présents dans l'audio ; ils comptent donc comme des erreurs d'écoute, pas comme des inventions.
• Doubao : une fois le code de langue corrigé, aucune phrase inventée et aucune inversion sur quatre extraits. Il vient d'un univers technique très différent de celui de Soniox, si bien que les deux ont peu tendance à échouer au même endroit.
• Gemini : sur la scène claire de demande d'aide, il a rejoint le moteur principal et Soniox presque mot pour mot.

AssemblyAI est devenu une solution de secours. Le « merci » inventé et les hurlements qu'il a laissé tomber le placent plus près de nos lignes rouges que Soniox, selon la même exigence.

Les éléments qui contredisent notre choix

• Soniox a une habitude. Quand il n'arrive pas à distinguer quelque chose, il a tendance à écrire une phrase fluide au lieu de laisser un charabia évident, et une phrase fluide mais fausse est la plus difficile à repérer pour un lecteur. Une première analyse automatisée avait aussi relevé des signes de surgénération et de répétition dans sa sortie indonésienne. La configuration précise que, pendant le premier mois de production, les répliques fluides difficiles à entendre produites par Soniox seul doivent faire l'objet de vérifications ponctuelles.
• La négation ajoutée par Doubao dans la réplique « restons unis » est exactement le genre d'erreur qui fait le plus de dégâts quand les transcriptions sont fusionnées.
• AssemblyAI a été propre sur les trois premiers extraits. Les arguments pour le remplacer reposent surtout sur une seule scène.

Problèmes en suspens

• Les quatre extraits viennent d'un seul film, avec la même distribution et les mêmes conditions d'enregistrement. D'autres films et d'autres accents pourraient donner une autre réponse.
• Les scores du siège sont inutilisables, donc le classement y repose entièrement sur la lecture ligne par ligne.
• Nous n'avons aucun enregistrement d'entretien réel.