Anglais : deux pistes de référence qui se trompent à des endroits différents

Dans une scène d'interrogatoire dans un bar, tirée de The Departed, quelqu'un dit « I don't know what they do. » Doubao l'a transcrit « You know what they do », ce qui inverse le sens. AssemblyAI a bien eu cette réplique. Mais dans la même scène, AssemblyAI a laissé tomber une dénégation clé tout entière, « I am not a fucking cop! », que les deux autres pistes peuvent combler.

Après avoir lu les quatre extraits ligne par ligne, nous avons constaté que ces deux moteurs ne trébuchent presque jamais au même endroit. C'est le principe qui sous-tend nos pistes de référence pour l'anglais.

Les extraits de test

Quatre scènes de films américains et britanniques, chacune construite autour d'un type de difficulté :

• Gosford Park (2001) : accents britanniques de la haute société, un dîner des domestiques à l'office, échanges rapides et interruptions sur fond de bruit.
• The Social Network (2010) : anglais américain net et rapide lors d'une déposition, dense en termes juridiques et en noms.
• The Departed (2006) : accents de Boston, bruit de bar, argot et jurons, interrogatoire menaçant à voix basse.
• August: Osage County (2013) : toute une famille qui parle en même temps à table.

Sur les trois niveaux du premier article de cette série, The Social Network se situe vers le niveau intermédiaire et les trois autres dans le plus difficile. Le niveau de base n'est pas couvert.

Les candidats

ElevenLabs, AssemblyAI, Doubao, Speechmatics (deux modèles), Soniox, Deepgram, Gladia (deux modèles) et Gemini, plus deux modèles Qwen et FunASR. iFlytek n'a été essayé que sur le premier extrait ; il n'a pas de mode anglais seul, donc nous nous sommes arrêtés là.

Les six lignes rouges, moteur par moteur

Phrases inventées. Dans Gosford Park, « I heard Lady Sylvia spoke out of turn » est sorti de Soniox sous la forme « My hand, ladies, don't be a stroke out at 20 minutes PC. » Deepgram a ajouté dans le même extrait deux noms que personne n'a prononcés, « Sister Fredrick » et « Percy ». L'un des modèles Qwen a écrit dans The Departed une phrase entière qui n'est pas dans l'audio : « buy some bananas ».

Négation inversée. C'était la ligne rouge la plus fréquente en anglais. Dans The Departed, Soniox et Deepgram ont tous deux laissé tomber le « not » de « you're still not a cop ». Speechmatics a transformé « Unless I stop them » en « as I stop them ». L'inversion de Doubao est celle du début de cet article. Nous avons donné à Qwen une consigne plus stricte qui lui demandait explicitement de conserver les négations. Il a quand même laissé tomber le « not ».

Boucles et effondrement. Dans August: Osage County, quelqu'un crie « Eat your fish » cinq fois. Gladia l'a transcrit une fois, puis s'est interrompu, perdant environ neuf mots.

Passages sautés. Deepgram a sauté un gros morceau de Gosford Park et y a fait plus d'erreurs que tout autre moteur.

Dérive de langue. Aucune sur ces quatre extraits.

Contenu inséré. Outre les noms inventés ci-dessus, Speechmatics a transformé « a 3L » (un étudiant en troisième année de droit) en « a three year old ».

Ce que nous avons choisi

Piste principale : ElevenLabs Scribe v2. Il a été le plus propre ou le deuxième plus propre sur trois des quatre extraits et ne s'est effondré sur aucun.

Pistes de référence, par ordre de priorité :

1. AssemblyAI (universal-2) : aucune phrase inventée et aucune inversion sur les quatre extraits, avec la structure globale la plus solide. Son seul raté a été la dénégation dans The Departed, et c'était une omission, pas une invention.
2. Doubao : aucune phrase inventée sur aucun extrait. Il a capté les cinq cris « Eat your fish », et sur cet extrait il a été plus précis qu'AssemblyAI. Il est construit différemment d'AssemblyAI et fait ses erreurs à d'autres endroits.
3. Gemini : ajouté le 26 août 2026. Quand nous l'avons testé sur 26 langues, l'anglais s'est retrouvé dans le groupe où il pouvait entrer directement. Sur la dispute à grands cris d'August: Osage County, il n'a franchi aucune ligne rouge.

Les éléments qui contredisent notre choix

• La piste principale a fait exactement l'erreur de Doubao. Quand nous avons refait passer les extraits plus tard, ElevenLabs a lui aussi produit « You know what they do. » Au premier passage, il avait brouillé une réplique entière dans Gosford Park ; au second, cette erreur avait disparu. La même entrée ne donne pas la même sortie à chaque fois, donc nous jugeons les moteurs sur le type d'erreurs qu'ils font, pas sur le nombre que nous avons eu l'occasion de compter.
• Gemini inverse aussi les négations. Quand nous l'avons d'abord testé comme piste principale de secours, il a transformé « Yes. Yes, yes. » dans The Departed en « No. Yes! Yes, yes! » et « I don't know » en « I know ». Lors de la série d'août, il a réécrit la réplique de Lady Sylvia dans Gosford Park en deux phrases sans rapport. Nous l'avons ajouté parce que, en tant que grand modèle de langage, il se trompe différemment des moteurs acoustiques. Pourtant, sur cette réplique de The Departed, Doubao, Gemini et le second passage d'ElevenLabs se sont tous trompés. Les erreurs des moteurs ne sont pas toujours indépendantes, et nous n'avons pas encore de bonne parade à cela.
• Les moteurs au WER le plus bas n'ont pas été retenus. Speechmatics avait le WER le plus bas sur Gosford Park (11,4 %), et Soniox le plus bas sur August: Osage County (4,7 %). Tous deux ont inventé des phrases ou inversé des négations sur d'autres extraits, donc nous les avons écartés.

Questions ouvertes et limites

• Les quatre extraits proviennent de films. Aucun n'est un vrai entretien, et aucun n'est du niveau de base.
• Accents couverts : britannique et américain, dont Boston. Aucun autre accent anglais n'a été testé.
• Nous n'avons vu l'inversion de Doubao qu'une fois, mais c'est le type d'erreur le plus dangereux. Après le second passage, AssemblyAI était la seule des quatre pistes à avoir bien eu cette réplique. C'est pourquoi, sur la négation et le sens inversé, notre étape de fusion ne suit pas la majorité : faute de preuve solide tirée du contexte, la réplique est signalée pour qu'une personne la vérifie.