Grec : perdez les accents et la moitié des mots s'effondrent

Une fois le bon code de langue grec donné à Doubao, il a produit du vrai grec, et le sens correspondait. Mais chaque voyelle portant un accent (le tonos) a entièrement disparu. κάνεις est devenu κνεις, έχουμε est devenu χουμε, et Μπήκε s'est réduit à Βκη. Environ la moitié des mots sont sortis cassés.

Nous avons d'abord soupçonné notre propre traitement de supprimer les accents. Ce n'était pas le cas. Dans la même chaîne, les quatre autres moteurs ont conservé leurs accents intacts (81 à 87 chacun) ; Doubao en avait zéro. C'est le comportement de Doubao lui-même. Il n'a rien inventé ni inversé aucun sens. Il était simplement trop cassé pour servir de piste de référence.

Les extraits de test : tous les quatre du côté clair

• Dogtooth (Κυνόδοντας, 2009), deux scènes : cinq personnes qui parlent autour d'une table de dîner, avec beaucoup de nombres ; et la visite d'un agent de sécurité suivie des questions médicales d'un père, avec des échanges rapides et un long mot médical pour l'appendicite (σκωληκοειδίτιδα).
• Alps (Άλπεις, 2011), deux scènes : un échange précipité à l'accueil d'un hôpital, avec le nom Jude Law ; et une visite à domicile où quelqu'un lit un magazine de mode, plein de noms étrangers comme Ferré, Guatemala et Winona Ryder.

Les quatre viennent du même réalisateur, dont le style est volontairement froid et lent : une personne finit, puis la suivante parle. Sur notre échelle à trois niveaux, l'essentiel relève du niveau de base. Nous avons parcouru plus de quarante films à la recherche d'une scène bruyante où les gens parlent en même temps, et n'en avons trouvé aucune qui ait à la fois l'audio et des sous-titres grecs disponibles.

Les moteurs testés

ElevenLabs Scribe v2, Speechmatics, AssemblyAI et Doubao (el-GR). Des transcriptions Soniox issues d'un passage séparé avec tous les moteurs ont été comparées pendant la relecture. Gemini a été ajouté en août 2026.

Lignes rouges, moteur par moteur

AssemblyAI a eu des problèmes sur les quatre extraits, et ils se sont reproduits quand nous avons changé de film :

• Sens inversé : « Μπήκε χειρουργείο » (est entré au bloc opératoire) est devenu « Βγήκε η χειρουργία » (l'opération est sortie). Complètement retourné.
• Passage perdu : dans la scène du magazine, le passage avec les trois noms étrangers manquait tout simplement.
• Boucle : à la fin, trois mots se sont empilés sur un seul horodatage, répétés.
• Mots inventés : Jude Law est devenu un nom qui n'existe pas, et dans « arroser le yucca », le yucca s'est transformé en un mot inventé, Ιούκαντ.

Speechmatics a surtout laissé tomber des articles et des prépositions, le type d'erreur le plus sûr. Mais il en a fait deux dangereuses : dans la scène du magazine, « entretien avec Winona Ryder » est devenu l'anglais « Coming soon » ; à l'hôpital, « un autre pareil » est devenu « et la vérité ». Il a aussi entendu « tu veux un café ? » (Θες καφέ) comme « hier café » (Χθες καφέ).

ElevenLabs : aucune hallucination. Il a correctement écrit le long mot médical, a bien eu Jude Law, et a bien eu les trois noms étrangers du magazine (il manquait une lettre à Ferré).

Ce que nous avons choisi, et pourquoi

Moteur principal : ElevenLabs Scribe v2. Le taux d'erreur le plus bas sur trois des quatre extraits ; sur le quatrième, il n'a perdu que sur sa façon d'écrire les nombres. À la lecture ligne par ligne, il n'a presque fait aucune erreur.

Référence 1 : Speechmatics. Un deuxième régulier sur les quatre extraits, proche du moteur principal. La plupart de ses erreurs étaient des omissions, et les dangereuses restaient isolées.

Référence 2 : Soniox. Meilleur qu'AssemblyAI sur les quatre extraits, avec les accents intacts.

Référence 3 : Gemini. Lors de la série d'août, il n'a franchi aucune ligne rouge sur la scène du dîner et y a eu le taux d'erreur le plus bas, 11,9 %. Sur la scène de la visite à domicile, il a fait un faux pas, transformant « schnitzel » (Σνίτσελ) en « d'habitude » (Συνήθως).

AssemblyAI ne fait pas partie de la configuration permanente, et Doubao est écarté.

Les éléments qui contredisent notre choix

• Speechmatics est placé devant Soniox par habitude, pas parce que nous l'avons mesuré. À la relecture, Soniox se lisait au moins aussi bien que Speechmatics sur trois extraits. Comme les deux pistes tournent, l'ordre n'a pas d'importance pour l'instant. S'il faut un jour n'en garder qu'une, nous devrons les comparer à nouveau.
• Le « Coming soon » de Speechmatics est de l'anglais sorti de nulle part, ce qui n'est pas anodin. Il reste parce que c'est arrivé une fois sur quatre extraits, et parce que Doubao est inutilisable pour le grec, si bien que peu de moteurs peuvent prendre sa place.
• Parmi les quatre moteurs initiaux, Speechmatics avait le taux d'erreur le plus bas sur la scène du dîner.

Encore en suspens

• Aucun extrait bruyant avec des voix qui se chevauchent. C'est la plus grosse lacune. AssemblyAI a trébuché même sur des extraits aussi clairs ; comment un moteur, quel qu'il soit, tient le coup dans une pièce bruyante, nous ne le savons pas.
• Aucun matériau d'entretien. Nous avions trouvé pour cela une production grecque avec d'excellents sous-titres, mais la seule copie « complète » en ligne avait le mauvais audio, donc nous avons dû l'abandonner.