Tchèque : le préfixe de deux lettres qui a décidé de nos moteurs

En tchèque, la négation se réduit souvent à ne- accolé devant un verbe.

Notre extrait tchèque le plus difficile est une scène de famille où tout le monde parle en même temps autour de la table. Sur une négation clé, Speechmatics a laissé tomber le ne- et la phrase a fini par dire l'inverse. Soniox l'a conservé. C'est sur cet extrait que nous avons changé nos moteurs de référence pour le tchèque.

Les extraits de test

Quatre extraits tirés de deux films :

Les moteurs testés

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR et Doubao. Gemini a été ajouté en août.

Doubao ne prend pas en charge le tchèque. Les quatre extraits sont revenus soit vides, soit sous la forme d'un mélange d'absurdités en anglais et en chinois, avec des boucles comme « No no no ».

Les lignes rouges

Négations inversées : celle du début, due à Speechmatics.

Passages sautés : AssemblyAI a perdu deux passages entiers dans l'extrait familial le plus difficile. Sur l'extrait de la révolution, il a produit 78 mots au total, contre 154 pour Speechmatics : environ la moitié.

Boucles : Doubao, oui. ElevenLabs a écrit six fois le « Už je to tady! » (Ça y est !) de la foule sur l'extrait de la révolution, là où les sous-titres ne l'ont que deux fois. La foule le scandait vraiment en boucle, donc nous ne l'avons pas compté comme une boucle, mais nous l'avons noté.

Contenu inséré : sur l'extrait de la révolution, Gemini a écrit une didascalie en anglais, « (Crowd noise and shouting) », dans la transcription, et a transformé « cloches qui sonnent » en zabili (ils ont tué).

Dérive de langue : Doubao uniquement.

Phrases hallucinées : dans l'évaluation initiale sur quatre extraits, ni ElevenLabs, ni AssemblyAI, ni Speechmatics n'a inventé de phrase entière. Leurs erreurs étaient surtout des homophones, et quelques-unes changeaient le sens. Speechmatics a entendu má slon dans « l'éléphant fait trois mètres soixante-dix ! » comme máslo (beurre), et « je ne l'avalerais jamais » comme « je ne le reconnaîtrais jamais ».

Ce que nous avons choisi

• Moteur principal : ElevenLabs Scribe v2. Le plus fidèle sur trois des quatre extraits. La dispute au dîner est sortie presque mot pour mot.
• Moteurs de référence : Soniox, Speechmatics, Gemini.

Soniox : zéro ligne rouge sur les quatre extraits. Sur l'extrait familial le plus difficile, il est arrivé ex aequo avec ElevenLabs en tête, et c'est le seul moteur à avoir correctement écrit le nom d'un personnage, Brašule. Il a conservé la négation clé.

Speechmatics reste, avec une règle associée : si Speechmatics est le seul moteur à donner une certaine lecture du caractère négatif ou non d'une phrase, l'étape de fusion ne le suit pas.

AssemblyAI est passé en secours à cause des passages sautés mentionnés plus haut.

Gemini n'a franchi aucune ligne rouge sur l'interrogatoire de police, à la diction nette.

Les éléments qui contredisent nos choix

• Notre premier rapport sur quatre extraits concluait qu'AssemblyAI et Speechmatics ne faisaient jamais que sauter des mots, sans jamais inverser le sens, et que trois moteurs suffisaient largement. Refaire passer l'extrait le plus difficile a renversé cette conclusion. Notre première lecture était trop optimiste.
• Sur l'extrait de la révolution, Speechmatics a capté la plus grande partie du bulletin radio et a été le meilleur des trois moteurs comparés à l'époque ; ElevenLabs est arrivé dernier. Lors de nos tests de Gemini en août, les notes sur cet extrait indiquent qu'ElevenLabs a sauté une grande partie du début et s'est classé dernier. Notre moteur principal n'est pas fiable sur un audio bruité mêlant radio et foule.
• En tchèque, Gemini n'a qu'un seul extrait de conversation à son actif. Sur l'autre, il a inséré une didascalie et changé un sens.

Ce qui reste en suspens

• Les quatre extraits proviennent de deux films. Aucun n'est un véritable entretien.
• Gemini a besoin de plus de matériau conversationnel.
• Speechmatics a déjà laissé tomber une négation, et notre correctif est une règle qui interdit de lui faire confiance quand il est seul. Cela rapièce l'étape de fusion ; la faiblesse du moteur, elle, est toujours là.