Français : trois moteurs, une phrase, le même contresens

Dans la dispute du dîner du Prénom, quelqu'un dit « même s'ils se trompent », c'est-à-dire « même s'ils ont tort ». Deepgram, Gladia et Soniox ont tous les trois écrit « même s'ils ne se trompent pas » : « même s'ils n'ont pas tort ». Trois moteurs sans lien entre eux, même endroit, même sens inversé.

Faire voter plusieurs moteurs ne fonctionne que si leurs erreurs sont indépendantes. Cette seule phrase montre qu'elles ne le sont pas toujours.

Les extraits de test

Quatre scènes de films, chacune représentant une façon différente d'avoir du mal à suivre le français :

• La Haine (1995) : la banlieue parisienne, l'argot de la rue (verlan), un fort bruit de fond. Une équipe de télévision se fait chahuter par une foule, puis la voiture d'un voisin est saccagée et tout le monde se met à crier.
• Le Prénom (2012) : accent parisien standard, un débat rapide à table plein de noms propres.
• Le Dîner de Cons (1998) : accent parisien standard, échanges comiques rapides, une farce téléphonique fondée sur une confusion de nom.
• Bon Cop, Bad Cop (2006, Canada) : joual québécois, avec une leçon complète de jurons québécois.

La troisième place devait revenir à Bienvenue chez les Ch'tis, pour le dialecte du nord de la France. La source que nous avions trouvée avait le bon titre et la bonne durée, mais un essai a montré qu'il s'agissait d'une compilation d'entretiens avec le réalisateur et d'images de tournage. Nous avons dû changer de film, et le dialecte du Nord n'a donc pas été testé. La première source du quatrième extrait était fausse elle aussi : une critique de film en anglais générée par IA.

Sur les trois niveaux du premier article, les quatre extraits se situent entre le niveau intermédiaire et le plus difficile, La Haine et Bon Cop étant les plus difficiles. Le niveau de base n'est pas couvert.

Les candidats

ElevenLabs, AssemblyAI, Doubao, Speechmatics (deux modèles), Soniox, Gladia, Deepgram, FunASR, et plus tard Gemini.

Les six lignes rouges, moteur par moteur

Négation inversée. Outre l'inversion à trois moteurs ci-dessus, Speechmatics a transformé dans La Haine « c'est pas moi qui ai les tunes » (ce n'est pas moi qui ai l'argent) en « c'est pas moi qui t'ai tué » (ce n'est pas moi qui t'ai tué). L'autre modèle de Speechmatics, Melia-1, a lui aussi inversé la réplique du Prénom.

Phrases inventées. La Haine s'ouvre sans dialogue, et Gladia comme Soniox ont chacun inventé une réplique d'ouverture. Gladia a réécrit « Est-ce que vous avez participé aux émeutes » (avez-vous pris part aux émeutes) en une phrase confuse avec une négation qui n'existait pas. Speechmatics a inventé « niveau budget » à la fin du Dîner de Cons. Deepgram a transformé le « Golden Gate » de San Francisco en charabia.

AssemblyAI a lui aussi inventé des choses. Le juron québécois « je m'en câlice » (je m'en fiche complètement) est devenu « je mets un cornichon ». Et dans un film de 1995, il a transcrit les mots « YouTube » et « Covid », qui n'existaient ni l'un ni l'autre à l'époque.

Boucles de répétition. Speechmatics a rendu « Oh là là » par dix-huit « la » d'affilée. Lors de son premier passage sur Le Dîner de Cons, Gemini a répété « là » 1 659 fois et n'a jamais produit de transcription. Un second passage s'est terminé normalement en 35 secondes.

Passages sautés. Sur La Haine, Deepgram a renvoyé 109 mots là où les autres en renvoyaient environ 620 ; la seconde moitié, la bagarre autour de la voiture saccagée, avait tout simplement disparu. Doubao a lui aussi beaucoup omis sur l'extrait québécois, ne renvoyant que 142 mots.

Dérive de langue. Aucun basculement important vers une autre langue sur ces quatre extraits.

Ce que nous avons choisi

Piste principale : ElevenLabs Scribe v2. Aucun sens inversé sur aucun extrait, il garde le verlan intact, et il a été le deuxième plus robuste sur l'extrait québécois.

Pistes de référence, par ordre de priorité :

1. AssemblyAI (universal-2) : aucune inversion sur aucun extrait, et le plus propre du groupe sur le verlan, le débat et la comédie.
2. Doubao : le seul moteur non principal à n'avoir jamais inventé ni inversé de réplique sur les quatre extraits. Il s'est fortement dégradé sur l'extrait québécois, mais seulement en entendant mal et en laissant tomber des mots.
3. Gemini : ajouté le 26 août 2026. Les quatre extraits de films sont tous des scènes de foule et de cris, qui ne nous ont rien appris d'utile à son sujet. Nous avons donc pris un passage de cinq minutes d'un vrai long entretien avec Nicolas Sarkozy et comparé Gemini à ElevenLabs ligne par ligne : aucune phrase inventée, aucune inversion, aucune boucle, deux changements de sens mineurs, et un endroit où il était plus précis qu'ElevenLabs. Les grosses omissions qu'il avait montrées sur les extraits de films ne sont pas apparues dans l'entretien.

Les éléments qui contredisent notre choix

• AssemblyAI n'est pas propre en français. Le cornichon et les deux anachronismes sont de son fait. Il a eu quatre passages inventés sur les quatre extraits.
• Les deux pistes de référence peuvent échouer en même temps. Dans une scène bruyante, Doubao a laissé tomber tout le passage pendant qu'AssemblyAI y inventait quelque chose, laissant la piste principale comme seul témoin exploitable.
• La piste principale a aussi inventé des choses. ElevenLabs n'a eu aucune inversion, mais il a eu deux passages inventés, dont l'un au début d'un extrait.
• Nous avons écarté le meilleur moteur pour le français québécois. Speechmatics a le mieux géré Bon Cop. Mais il a inversé un sens dans La Haine et inventé des répliques ailleurs, donc nous l'avons laissé de côté.
• Nos éléments sur Gemini en français sont minces. Un seul entretien de cinq minutes, sans transcription de référence, vérifié uniquement par rapport à la piste principale. Sur les extraits de films, il a aussi à son actif cet échec à 1 659 répétitions, même si un nouveau passage a abouti.

Questions ouvertes et limites

• Le dialecte ch'ti du Nord n'a pas été testé, et nous n'avons aucun extrait de français belge, suisse ou africain.
• Les quatre extraits de référence proviennent tous de films, et aucun n'est du niveau de base. Le seul entretien est celui que nous avons ajouté pour Gemini.
• L'inversion à trois moteurs rappelle que les désaccords autour d'une négation ne peuvent pas se trancher en comptant les votes. Nous ajustons encore la façon dont l'étape de fusion traite ces endroits.