Espagnol : le moteur que notre propre code faisait passer pour défaillant

L'une de nos toutes premières conclusions sur l'espagnol disait : « Doubao s'effondre sur l'espagnol difficile, 98,7 % de taux d'erreur. » Sur cet extrait, il avait produit un charabia de chinois et d'anglais.

Le problème venait de nous. Nous envoyions à Doubao le code de langue es-ES (l'espagnol d'Espagne). Doubao n'accepte pas ce code. Il ne renvoyait pas d'erreur non plus ; il se rabattait silencieusement sur le chinois. Nous sommes passés à es-MX (espagnol du Mexique) et avons refait passer les quatre extraits. Doubao n'a produit aucune phrase inventée, a conservé la plupart des formes verbales argentines, et a battu Speechmatics, le moteur qui l'avait remplacé.

L'« effondrement » initial reposait sur un seul extrait. Par la suite, les « effondrements » de Doubao dans neuf autres langues se sont révélés avoir la même cause.

Les extraits de test

Quatre scènes de films de trois pays :

• El Método (2005, Espagne) : une salle de candidats à un poste qui se disputent pour savoir qui est la taupe, en espagnol castillan.
• El crimen del Padre Amaro (2002, Mexique) : des prêtres qui se disputent au sujet d'un match de football avec la télévision allumée en fond, jusqu'à ce que cela tourne à l'accusation de collusion avec des hors-la-loi.
• Nueve Reinas (2000, Argentine) : une dispute à grands cris autour d'un héritage, plus une scène où l'on escroque une vieille dame. Les Argentins pratiquent le voseo, qui change la conjugaison des verbes.
• La Comunidad (2000, Espagne) : des voisins qui se pressent dans l'embrasure d'une porte et crient après avoir découvert l'appartement d'un locataire mort.

Nous traitons La Comunidad comme un échantillon du niveau le plus difficile ; les trois autres se situent entre le niveau intermédiaire et le plus difficile. Le niveau de base n'est pas couvert (les niveaux sont expliqués dans le premier article).

Les candidats

ElevenLabs, AssemblyAI, Doubao, Speechmatics (deux modèles), Soniox, Gladia (deux modèles), Deepgram, FunASR, Qwen, et plus tard Gemini.

Les six lignes rouges, moteur par moteur

Négation inversée. La ligne rouge la plus fréquente en espagnol. Dans El Método, Speechmatics a transformé « Quiero probar cosas nuevas » (je veux essayer de nouvelles choses) en « No quiero » (je ne veux pas), et « si hay un topo » (s'il y a une taupe) en « Soy un topo » (je suis la taupe). Gladia a transformé « Apaguen ya esa tele » (éteignez cette télé) en « ¡No apaguen » (ne l'éteignez pas). Deepgram a transformé « no sé » (je ne sais pas) en « lo sé » (je sais).

Mots et phrases inventés. Gladia a entendu « nuestra situación laboral » (notre situation professionnelle) comme « nuestra situación, Laura », inventant une femme prénommée Laura. Deepgram a transformé « porque está sola » (parce qu'elle est seule) en « orquesta sola », faisant surgir un orchestre.

Dérive de langue. Le modèle Melia-1 de Speechmatics a écrit « Soy abogado » (je suis avocat) sous la forme portugaise « Sou advogado », et a fait basculer toute la fin de La Comunidad en portugais. L'espagnol et le portugais sont assez proches pour que le fait de fixer explicitement la langue ne l'en empêche pas.

Passages sautés. Deepgram a sauté les bavardages footballistiques qui se chevauchent au début de Padre Amaro et a coupé le paroxysme des cris à la fin de La Comunidad.

Accents aplanis. Ce n'est pas une ligne rouge, mais cela compte pour les entretiens latino-américains. Soniox a changé les formes argentines « Oíme / hablás / andás » en formes neutres « Óyeme / hablas / andas ». ElevenLabs et AssemblyAI ont conservé les originales.

Répétition. Gladia a montré des signes précoces de répétition du même mot sur les extraits espagnols. Aucun des autres ne l'a fait sur ces quatre extraits.

Il y a eu aussi des nouvelles rassurantes. La Comunidad est la scène la plus bruyante, et pourtant six moteurs ont convergé vers le même dialogue et aucun n'a rien inventé. Le sous-titre ne contient qu'une ligne, « Habrán dejado el grifo abierto », et les six ont transcrit la phrase complète telle qu'elle a réellement été prononcée, ce qui va plus loin que le sous-titre.

Ce que nous avons choisi

Piste principale : ElevenLabs Scribe v2. Solide sur les trois accents, le meilleur pour conserver le voseo argentin, et aucune phrase inventée ni sens inversé sur aucun des quatre extraits.

Pistes de référence, par ordre de priorité :

1. AssemblyAI (universal-2) : aucune phrase inventée et aucune inversion sur aucun extrait ; le plus propre et le plus complet du groupe.
2. Doubao (avec le code es-MX) : aucune phrase inventée et aucun effondrement sur les quatre extraits, et la plupart des formes verbales argentines intactes. Il a récupéré de vrais mots que les sous-titres condensés avaient omis (complacencias, rumbos), et il a bien eu la réplique dont Deepgram avait fait un orchestre.
3. Gemini : ajouté le 26 août 2026.

Speechmatics est désormais une solution de secours d'urgence. Il n'invente pas, mais il a inversé deux répliques dans El Método et a été le plus faible sur l'extrait argentin.

Les éléments qui contredisent notre choix

• Doubao a lui aussi inversé une réplique, au même endroit que Speechmatics. Dans El Método, Doubao a également écrit « Quiero » sous la forme « No quiero ». Speechmatics ne tourne pas en production, donc cette réplique précise ne recevra pas deux votes erronés. Mais nous avons vu plusieurs moteurs se tromper au même endroit dans cinq langues, et quand cela arrive, un simple vote à la majorité choisit la mauvaise réponse. C'est pourquoi notre étape de fusion ne tranche pas la négation à la majorité : sans preuve solide, la réplique est signalée à une personne.
• Gemini a ses propres inversions en espagnol. Dans Padre Amaro, il a transformé « éteignez la télé » en « n'éteignez pas la télé » et « je ne sais pas » en « je sais ». Les trois autres pistes ont eu les deux justes. Dans La Comunidad, il a changé « laissé le gaz allumé » en « laissé la maison allumée », ce qui ne colle plus avec la réplique suivante où tout le monde risque de sauter.
• Qwen était propre en espagnol, et nous l'avons quand même écarté. Sur les quatre extraits, il n'a eu aucune boucle ni aucune phrase inventée, et il a conservé toutes les formes verbales argentines. Nous l'avons laissé de côté parce qu'il n'a pas d'horodatage au niveau du mot, appartient à la même famille de grands modèles que Gemini, et était moins régulier que nos trois moteurs actuels sur un audio propre.

Questions ouvertes et limites

• En Amérique latine, nous n'avons testé que le Mexique et l'Argentine. Il n'y a pas d'extraits pour les accents caribéens, colombiens, chiliens ou autres.
• Les quatre extraits proviennent de films. Aucun n'est un vrai entretien, et aucun n'est du niveau de base.
• Quand Doubao reçoit un code de langue qu'il n'accepte pas, il ne signale aucune erreur ; il produit simplement du charabia. Le code est correct maintenant, mais ce genre de problème n'apparaît jamais dans les journaux d'erreurs. On ne le repère qu'en lisant la sortie.