Russe : la réplique que les deux moteurs de référence ont ratée

C'est en russe que nous avons pour la première fois pris deux moteurs de référence en train de faire exactement la même erreur sur la même réplique, alors que le moteur principal l'avait juste. Si nous avions tranché cette réplique par un vote à la majorité, la transcription aurait été fausse.

Voici comment nous avons testé le russe et ce que cet épisode a changé.

Les extraits de test

Quatre scènes de films russes, notées par rapport aux sous-titres russes pour sourds et malentendants des films. Nous les avons toutes choisies pour leur difficulté, si bien que sur notre échelle à trois niveaux, elles se situent toutes en haut :

• Brother (1997) : un homme qui crie à travers une porte, plusieurs personnes qui l'interrompent de l'extérieur, le bruit d'un marché en fond.
• Brother 2 (2000) : une conversation téléphonique rapide, bourrée de noms, de lieux et de nombres, avec une radio qui joue en fond.
• Leviathan (2014) : une poignée d'hommes qui complotent autour d'une table, des répliques qui se chevauchent.
• Kokoko (2012) : une pièce pleine de femmes qui travaillent et bavardent, en parlant les unes par-dessus les autres.

Nous ne publions pas l'audio. Aucun de ces extraits n'est une conversation ordinaire en tête-à-tête à un rythme normal, ce qui revient plus loin comme une limite.

Les moteurs essayés

Huit : ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Doubao, Soniox et Deepgram, plus FunASR et Qwen comme témoins. Gemini a été testé séparément ensuite.

Où chaque moteur a franchi une ligne rouge

Nous jugeons les moteurs principalement sur six types de défaillance : phrases inventées, négations inversées, boucles de répétition, mots insérés, passages perdus et dérive vers une autre langue. En russe, nous avons vu ceux-ci :

Mots insérés. Dans la scène de Brother, Speechmatics a ajouté une formule d'adresse, Доченька (« ma petite fille »), là où personne ne la prononce, et a transformé le verbe grossier охерел en prénom, Кирилл. À la relecture, nous avons compté au moins huit inventions de ce genre dans sa production en russe, certaines dans chaque extrait. Deepgram invente aussi : dans « on ne pourrait pas le traverser même avec un canon (пушки) », il a entendu un nom de ville, Пушкино.

Une négation inversée. Dans Leviathan, quelqu'un dit «сегодня не в нашу пользу всё решится» (« aujourd'hui, ça ne se réglera pas en notre faveur »). AssemblyAI a perdu le не et écrit «сегодня они в нашу пользу все решатся», qui dit le contraire. Le même passage contient quatre ou cinq autres négations et il les a toutes eues justes, nous traitons donc ce cas comme ponctuel plutôt que comme une tendance.

Une phrase remplacée. «Двух жён в могилу свёл» (« il a mené deux épouses au tombeau ») est sortie de Soniox sous la forme «Да уже он в могилу свёл», avec un autre sujet. Au départ, cela avait été imputé à Soniox seul. À la relecture, cinq des huit moteurs s'étaient trompés sur cette réplique. L'audio y est tout simplement difficile.

Dérive de langue. Le premier passage de Doubao en russe a produit un fatras d'anglais, de noms de lieux japonais et de chinois. Celui-là était de notre faute : l'adaptateur n'envoyait pas de code de langue russe, si bien que le moteur retombait silencieusement sur le chinois. Avec ru-RU défini, les quatre extraits sont revenus en russe cohérent.

Boucles de répétition : AssemblyAI n'en a produit aucune sur les quatre extraits.

Ce que nous avons choisi

Principal : ElevenLabs Scribe v2. Le WER le plus bas sur trois des quatre extraits. Il a perdu la première place sur Brother 2 surtout parce qu'il a transcrit la radio en fond, à la fois l'animateur et les paroles de la chanson, que les sous-titres omettent, si bien que tout cela a compté comme des erreurs. Ses erreurs en russe étaient surtout des mots perdus, comme un отсюда (« d'ici ») manquant. Nous ne l'avons pas vu inventer de phrase.

Références, dans l'ordre : AssemblyAI, Doubao, Gemini. Les trois tournent sur chaque fichier russe.

• AssemblyAI : aucune boucle et aucune suite de texte inventé sur quatre extraits, et le score le plus bas sur Brother 2, l'extrait le plus dense en noms.
• Doubao : une fois le code de langue correct, pas de déchets et pas de mots insérés ; quand il se trompe, c'est sur un seul mot, comme entendre торге (« marchandage ») comme твороге (« fromage blanc »). Il vient de ByteDance et d'une lignée technique très différente de celle d'AssemblyAI, si bien que les deux ont tendance à se tromper à des endroits différents.
• Gemini : nos extraits de films russes ne sont que cris et scènes de foule, qui en disent peu sur une conversation normale. Nous avons donc pris cinq minutes d'une vraie interview télévisée (Vladimir Pozner avec Edvard Radzinsky) et vérifié Gemini ligne par ligne par rapport au principal. Aucun texte inventé, aucun sens inversé, aucune boucle. Il a eu justes les quatre citations directes et tous les noms propres, dont Cambridge, Oxford et Nicolas II, et a sauté trois relances du type « bien sûr ».

Les éléments qui plaident contre notre choix

• AssemblyAI n'est pas propre en russe. À la relecture, il avait trois erreurs dangereuses, dont la négation ci-dessus et un remplacement complet de «Кто? Зинка я, открывай» (« Qui est là ? C'est Zinka, ouvre ») par «Куда ты отдаёшь, Зинка».
• Le cas des deux moteurs d'accord et tous deux dans l'erreur est exactement la raison pour laquelle on ne peut pas se fier à un vote à trois. Les erreurs des moteurs ne sont pas indépendantes, et sur la négation et la polarité, le camp qui a le plus de voix n'a pas forcément raison.
• Sur Brother 2, Gemini a écrit quatre phrases de la radio en fond dans la transcription et transformé « vous avez un forfait de dix jours ? » en « j'ai un forfait de dix jours ». C'est le moins bon des quatre sur cet extrait, avec 43,6 %. Comme indiqué plus haut, le principal a lui aussi capté la radio lors d'un autre passage. Dans une vraie interview, cela revient à transcrire la télévision de la salle de réunion comme si le participant l'avait dit.
• Soniox a obtenu 12,3 % sur Leviathan, moins que le principal, et nous l'avons tout de même écarté parce que la relecture a trouvé des remplacements de phrases entières. À ne regarder que le score, on arriverait à la décision inverse.

Problèmes ouverts

• Nos relecteurs ne lisent pas le russe assez finement pour juger chaque réplique. Le premier passage n'a vérifié que ce qui peut être jugé objectivement : russe cohérent ou non, caractères parasites, mots insérés, phrases remplacées. La négation inversée n'est apparue que plus tard, quand nous avons comparé chaque mot négatif un par un. Il reste peut-être des erreurs de sens que nous n'avons pas encore trouvées.
• Les quatre extraits sont des scènes de films difficiles. Nous n'avons aucun extrait noté d'une ou deux personnes parlant à un rythme normal. L'interview de Gemini n'avait pas de transcription de référence, elle n'a donc été vérifiée que par rapport au principal.
• Au moment des tests, il n'existait aucune protection dédiée contre le son de fond qui se retrouve dans la transcription.