Mandarin : choisir des moteurs sous les coups de feu et les cris

Dans une scène de sauvetage de The Wandering Earth, une annonce de catastrophe en anglais perce à travers les cris en mandarin. Speechmatics a transformé cette annonce en "Team Violence Eduardo Saverin Fear". Eduardo Saverin est un personnage d'un autre film, The Social Network. Sur le même passage, AssemblyAI a traduit l'anglais en un chinois incohérent, et FunASR n'a rien renvoyé du tout.

Le chinois est la seule langue pour laquelle nous faisons tourner quatre pistes de référence. Cet article explique comment nous les avons choisies.

Les extraits de test

Quatre scènes de films chinois, de trois à cinq minutes chacune, toutes en mandarin :

• Let the Bullets Fly, la négociation du braquage d'ouverture : enregistrement propre, débit rapide, des gens qui se coupent la parole, beaucoup de noms.
• Assembly, un siège sur le champ de bataille : des coups de feu par-dessus la parole, des ordres épars, des soldats blessés qui crient les uns par-dessus les autres.
• The Wandering Earth, le sauvetage de Shanghai : le bruit d'une scène de catastrophe, avec une annonce en anglais au milieu du mandarin.
• Aftershock, les ruines du tremblement de terre : une mère qui hurle le nom de ses enfants, le grondement des répliques, un son brouillé.

Sur l'échelle à trois niveaux du premier article de cette série, Let the Bullets Fly se situe près du niveau intermédiaire et les trois autres au niveau le plus difficile. Aucun extrait ne couvre le niveau de base : une ou deux personnes qui parlent calmement dans une pièce silencieuse.

Nous avons volontairement chargé trois des quatre extraits de bruit fort. L'erreur la plus dangereuse, la phrase inventée, n'apparaît que lorsque la parole est à moitié intelligible et noyée dans le bruit. Sur un audio propre, aucun des moteurs ne la produit, on ne peut donc pas la tester dans ces conditions.

Les candidats

Doubao, iFlytek, FunASR (versions flagship et flash), deux modèles Qwen d'Alibaba, ElevenLabs, AssemblyAI, Speechmatics, Soniox et Deepgram : onze en tout. Nous avons ensuite fait tourner le modèle open source Whisper large-v3 comme point de comparaison.

Les six lignes rouges, moteur par moteur

Phrases inventées. Speechmatics a inventé des choses sur les trois extraits bruyants. Dans Assembly, il a produit une phrase qui se lit à peu près « je te l'avais dit il y a longtemps… tu veux quelqu'un avec toi, ai-je dit en souriant ». Dans Aftershock, il a produit « j'adore le sport, je vais bien, bonjour à tous », et transformé les cris en « bêê bêê bêê bêê ». Whisper a inventé « Président Li, tôt, tôt » dans les cris de The Wandering Earth, et a rendu « il y a un enfant ici, venez vite ! » dans Aftershock par « c'est une brioche, c'est une brioche, brioche ».

Boucles de répétition. Whisper a bouclé sur les quatre extraits, même le propre. À la fin de Let the Bullets Fly, le mot pour « tiens bon ! » est devenu un élément sans signification suivi de la même syllabe treize fois. Le modèle omni-plus de Qwen s'est complètement effondré sur les cris d'Aftershock.

Négation inversée. Doubao, ElevenLabs, AssemblyAI et iFlytek n'ont produit aucune inversion de négation nette sur aucun extrait. Whisper s'en est approché une fois, en transformant « Heizi a tenu bon » en « Heizi s'est arrêté ».

Passages perdus. AssemblyAI a tendance à s'arrêter quand le bruit devient fort. Sur Assembly, il a transcrit à peu près les 30 premiers caractères et plus rien ensuite ; sur Aftershock, il a sauté l'ouverture bruyante. Il n'a rien inventé, mais une piste de référence trouée ne peut rien vérifier non plus. Whisper a fait pire : les 70 premières secondes d'Aftershock sont sorties sous la forme d'une suite de deux caractères répétés, et les appels à l'aide de la mère ont disparu.

Dérive de langue. C'est l'annonce en anglais du début de l'article. À la relecture, Doubao, ElevenLabs, iFlytek et Soniox ont tous gardé l'anglais en anglais. FunASR et omni-plus l'ont perdu, AssemblyAI l'a traduit en chinois, et Speechmatics en a fait un nom.

Contenu inséré. ElevenLabs a ajouté une réplique dans Assembly, en substance « le mitrailleur a capturé le commandant adjoint du régiment ». Aucun des dix autres moteurs ne l'a produite, et la référence est vide sur ce passage. Nous ne pouvons pas savoir si elle a vraiment été dite, nous l'avons donc consignée comme non vérifiée.

Ce que nous avons choisi

Piste principale : ElevenLabs Scribe v2. Aucune inversion de négation sur les trois extraits bruyants et aucune phrase inventée confirmée, hormis la réplique non vérifiée ci-dessus. Les étiquettes d'interlocuteur viennent de cette seule piste.

Pistes de référence, par ordre de priorité :

1. Doubao : aucune phrase inventée et aucune inversion sur les quatre extraits, la sortie la plus complète, et il a gardé l'annonce en anglais intacte.
2. FunASR : n'a jamais inventé de phrase sur les trois extraits bruyants. Ses erreurs étaient des omissions et des mauvaises écoutes.
3. iFlytek : parmi les moteurs les plus précis quand l'audio est propre, avec 12,2 % de CER sur Let the Bullets Fly.
4. Gemini : ajouté le 25 août 2026. C'est un grand modèle de bout en bout, il échoue donc différemment des trois moteurs acoustiques. Il renvoie des phrases entières, pas des horodatages au niveau des mots, et ne joue aucun rôle dans la détermination de qui parle.

Les quatre tournent sur chaque fichier.

Les éléments qui plaident contre notre choix

• FunASR est la plus faible des trois pistes acoustiques. Il a écrit « deux cent mille » sous la forme « 20,1 millions ». Dans Let the Bullets Fly, il a perdu deux réponses courtes qui portent la scène, et là où le mandarin et l'anglais se mélangent, il a tendance à perdre entièrement l'anglais. Nous le gardons parce qu'il tient dans le bruit et n'invente pas. La précision n'est pas la raison.
• L'ordre entre iFlytek et Doubao n'a jamais été tranché. L'extrait propre suggérait qu'iFlytek était au moins aussi bon que Doubao, avec FunASR en dernier. Mais ce n'est qu'un extrait propre, et la revérification est en attente depuis.
• Nous avons écarté un moteur plus précis pour éviter l'invention. Le modèle omni-plus de Qwen avait le CER le plus bas à la fois sur Assembly et sur The Wandering Earth. Il a aussi inventé une phrase dans un passage faible à la fin de The Wandering Earth et s'est effondré sur Aftershock, nous l'avons donc laissé de côté.
• La piste principale fait aussi de graves erreurs. Dans Aftershock, ElevenLabs a entendu tout du long le nom que la mère ne cesse de crier, « Daqiang », comme « grande sœur », et a transformé « la vitre ne tiendra pas » en « je ne peux pas tenir ».

Questions ouvertes et limites

• Les quatre extraits viennent de films. Aucun n'est une vraie interview, et aucun n'est au niveau de base.
• ElevenLabs n'a jamais été lancé sur l'extrait propre de Let the Bullets Fly. Il a tenu sur les trois extraits plus difficiles, mais cette case est vide.
• Nous n'avons pas vérifié Gemini ligne par ligne sur ces quatre extraits publics, nous n'avons donc aucune preuve en mandarin à vous montrer ici à son sujet.
• Les noms n'ont pas été notés. Les erreurs comme « Daqiang » sont traitées par le glossaire, et cette série de tests ne l'évalue pas.