Ukrainien : 54 secondes de silence transformées en conférence

Un film ukrainien comporte une scène de salon où une télévision est allumée en fond et où personne ne parle pendant environ une minute. Les sous-titres la signalent par une seule ligne : [télévision allumée en fond].

Soniox a écrit 54 secondes de contenu dans ce trou, quelque chose à propos de plantes vénéneuses, coincé dans une petite boucle en cours de route. Speechmatics en a rempli 29 secondes. Peut-être captaient-ils vraiment la télévision. Pour une transcription d'interview, cela ne change rien : un long passage surgit de nulle part et se lit comme si la personne interviewée l'avait dit.

C'est la plus grosse insertion fabriquée de tout notre corpus de test. Soniox a remplacé d'autres moteurs dans plusieurs langues. Il n'est pas utilisé pour l'ukrainien, et ces 54 secondes en sont la raison.

Les extraits de test : les trouver a représenté la moitié du travail

• My Thoughts Are Silent (Мої думки тихі, 2019), trois scènes : un interrogatoire de contrebande à la frontière (bruit fort, fort dialecte transcarpatique ; niveau le plus difficile) ; la fouille pour un rouge à lèvres qui suit (plus rapide, plus de chevauchements ; niveau le plus difficile) ; le salon d'une enseignante (ukrainien standard, clair ; niveau de base).
• Stop-Zemlia (Стоп-Земля, 2021) : des interviews dans une salle de classe et des scènes de rue. Débit rapide, changements d'interlocuteur fréquents, bruit de la rue. Niveau moyen à élevé.

Le matériel ukrainien est difficile à rassembler. Les films récents sont soumis à des licences strictes, les films de guerre n'ont souvent pas de sortie complète ou pas de sous-titres, et les films situés dans le Donbass sont à moitié en russe. Les trois premiers extraits ont dû venir d'un même film, nous avons donc pris le quatrième dans un autre pour nous assurer que les conclusions ne tenaient pas à un seul film.

Les moteurs testés

ElevenLabs Scribe v2, AssemblyAI, Speechmatics et Doubao (uk-UA). Les transcriptions de Soniox, Deepgram et Qwen provenaient d'une passe séparée avec tous les moteurs et ont été comparées pendant la relecture. Gemini a été ajouté en août 2026.

Lignes rouges, moteur par moteur

ElevenLabs : aucune boucle, aucune hallucination, aucune inversion sur les quatre extraits. C'est lui qui a le mieux géré le dialecte, par exemple файні трави (« de bonnes herbes ») et тя роздеру як жабу (« je vais te déchiqueter comme une grenouille »).

AssemblyAI : à la fin de la scène du rouge à lèvres, il a répété une réplique, "Треба цього конючку", trois fois. Dans la même scène, il a transformé подозрітєльний (« suspect ») en правдивий (« sincère »), presque une inversion, et a perdu tout un passage où l'on lit des règles à voix haute. Dans le quatrième extrait, "А якщо не вступиш?" (« et si tu n'es pas admis ? ») est devenu наступиш (« marcher sur »).

Doubao : le rapport initial disait qu'il n'avait aucune inversion. La relecture a trouvé trois erreurs du niveau d'une inversion : « suspect » est devenu приємний (« agréable »), « tu n'es pas admis » est devenu « marcher sur », et « il n'y est pas allé » a perdu sa négation. Dans la rue, il a aussi inséré un juron et le mot російський (« russe ») que personne n'a prononcés.

Speechmatics : a transformé le bruit de la télévision en dialogue ; a perdu des négations deux fois, dont "Це скоріше не пушка" (« c'est plutôt pas une arme ») devenu « c'est plutôt une arme » ; et a écrit сенсорну (« sensorielle ») au lieu de стресорну (« de stress ») pour une réaction.

Soniox : voir les 54 secondes ci-dessus.

Ce que nous avons choisi, et pourquoi

Principal : ElevenLabs Scribe v2. Le plus régulier sur les quatre extraits, sans aucun des trois types de défaillance.

Référence 1 : AssemblyAI. Sa boucle ne s'est produite qu'une fois, uniquement là où dialecte marqué, débit rapide et chevauchements denses se cumulaient. Dans la scène claire du salon et dans le quatrième extrait, de type interview, il était propre.

Référence 2 : Doubao. De l'ukrainien cohérent sur les quatre extraits, aucune boucle, aucune sortie parasite.

Référence 3 : Gemini. Celui-ci a fait des allers-retours ; voir la section suivante.

Les éléments qui plaident contre notre choix

• Nos deux pistes de référence peuvent se tromper ensemble. Sur « suspect » et « tu n'es pas admis », AssemblyAI et Doubao ont échoué au même endroit et dans le même sens, et Soniox, le moteur que nous avons rejeté, a eu juste sur les deux. Quand les deux pistes de référence sont d'accord, cela ne veut pas dire qu'elles ont raison, surtout sur les négations et sur le fait que quelque chose soit bon ou mauvais.
• Le rapport initial était trop indulgent envers les moteurs en place. Les inversions de Doubao sont passées de zéro à trois. L'affirmation selon laquelle « seul ElevenLabs a eu juste "tu n'es pas admis" » n'a pas tenu : ElevenLabs, Speechmatics, Soniox, Deepgram et Qwen l'ont tous eu juste.
• Gemini s'est mal comporté sur les extraits de films. Dans la scène du rouge à lèvres, il est passé au russe en cours de route (базаришь что такое) et a inséré un juron. Dans la scène claire du salon, il a ajouté 40 mots qu'aucun des trois autres n'avait produits. À un moment, nous avions classé l'ukrainien en « ne pas ajouter ». Puis nous avons lancé un vrai podcast d'interview politique de cinq minutes. Aucune hallucination, aucune inversion, aucune boucle, et un mot qu'il a eu juste là où ElevenLabs s'est trompé (двієчник, « cancre »). Il a aussi omis deux citations directes, environ 30 mots en tout, et transformé Сповідь (« confession ») en Ковід (« Covid »). Ce podcast n'avait pas de transcription de référence humaine ; nous avons seulement comparé Gemini à ElevenLabs.

Questions ouvertes

• Trois des quatre extraits viennent d'un même film. La base de sources est étroite.
• Les trois premiers extraits n'ont d'abord été jugés que sur la forme de la sortie ; la lecture ligne par ligne n'est venue que lors d'une relecture ultérieure.
• Pas encore de vraies interviews de recherche. L'inclusion de Gemini repose sur un seul podcast de cinq minutes.