Danois : nous avons écarté le moteur le plus propre sur l'extrait le plus proche d'un entretien

Parmi nos cinq extraits de test en danois, celui qui ressemble le plus à un vrai entretien est une conversation dans un centre de réadaptation : une personne pose les questions, l'autre répond, et elles fixent des objectifs ensemble. Sur cet extrait, AssemblyAI a produit la transcription la plus propre de tous les moteurs.

Nous l'avons quand même retiré de nos moteurs de référence.

Les extraits de test

Cinq extraits, tirés de deux films de deux réalisateurs :

Nous voulions utiliser la scène du dîner de Festen (1998) et avions les sous-titres prêts, mais nous n'avons pas trouvé l'audio original en danois. La seule copie intégrale était soumise à une vérification d'âge ; une autre s'est révélée être le doublage français.

Les moteurs testés

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox et Doubao, avec Gemini ajouté en août.

Doubao ne prend pas en charge le danois. Il en est sorti du charabia en anglais mêlé de caractères chinois, plus des boucles.

Les lignes rouges

Boucles : au paroxysme de la bagarre de Jagten, AssemblyAI a écrit « Nej det er satan » 23 fois en 28 secondes environ, avalant le vrai dialogue. Il n'a pas bouclé une seule fois sur les quatre autres extraits.

Négations inversées : Speechmatics a transformé « Det gør jeg ikke » (je ne le fais pas) en « Det gør jeg » (je le fais), si bien qu'une dénégation est devenue un aveu. Au supermarché, l'accusation « donc c'est normal de frapper les clients ? » est devenue « vous avez normalement une bonne réunion avec les clients ». Dans Adam's Apples, « il m'a tiré dessus » est devenu l'ordre « tire-moi dessus ».

Phrases hallucinées : dans la bagarre, ElevenLabs a transformé « Tror du ikke det » (tu ne crois pas) en « Jeg dør dig », qui n'est pas une vraie phrase.

Substitutions qui changent le sens : AssemblyAI aime inventer des mots qui sonnent pareil. Koteletter (côtelettes de porc) est devenu koaguletter, « le gâteau à étages » est devenu « la législation », et « pourquoi tu mens » est devenu « pourquoi tu espionnes ». Sur l'extrait du centre de réadaptation, Soniox a transformé « gâteau » en « gâteau à la banane » et « mon objectif est de faire de la pâtisserie » en « ma mère fait ». À la relecture, nous avons classé ces deux cas comme des erreurs de segmentation ayant une base acoustique, pas comme des inversions.

Dérive de langue : Doubao uniquement.

Ce que nous avons choisi

• Moteur principal : ElevenLabs Scribe v2. Le plus propre, ou ex aequo, sur les cinq extraits, et il n'a jamais bouclé. Sa seule hallucination dans la bagarre n'a pas fait dérailler le reste de la scène.
• Moteurs de référence : Speechmatics, Soniox, Gemini.

Pour devenir moteur de référence, il faut zéro ligne rouge dans les six catégories, plus un classement global parmi les deux premiers des moteurs non principaux. Soniox a franchi la barre à la relecture et a remplacé AssemblyAI. Le classement global a donné Speechmatics premier, Soniox deuxième, AssemblyAI troisième.

Speechmatics reste en première place parce que sa précision au niveau du mot était légèrement meilleure que celle de Soniox. Il ne boucle jamais et sa sortie garde sa structure.

Gemini a été propre sur l'extrait du centre de réadaptation, et a eu au moins deux extraits de conversation propres au total.

Les éléments qui contredisent nos choix

Ils ne manquent pas pour le danois.

• AssemblyAI a bouclé une fois, dans une bagarre physique extrême, le genre de scène qu'un vrai entretien ne contient presque jamais. Sur l'extrait le plus proche d'un entretien, c'était le moteur le plus propre. Si l'on accorde plus de poids à « comment il s'en sort sur les extraits les plus proches de la production » qu'à « combien de lignes rouges il a franchies », garder AssemblyAI est un choix défendable.
• Soniox a aussi changé des sens sur l'extrait calme du centre de réadaptation. Ces erreurs assurées n'étaient pas provoquées par le bruit.
• Lors de nos tests de Gemini en août, nous avons relevé d'autres problèmes de Soniox sur les mêmes extraits : dans la bagarre, il a entendu deux fois « mentir » comme « promettre » et ajouté une phrase inventée à la fin ; dans la scène du coup de feu, « il m'a tiré dessus » est devenu deux fois « tu peux me tirer dessus ? ». Cela contredit sa note de zéro ligne rouge, et nous ne l'avons pas encore réévalué.
• Speechmatics a inversé le sens plusieurs fois sur les cinq extraits (au plus une fois par extrait), et pourtant il occupe la première place parmi les références. Nous avons retiré AssemblyAI pour des lignes rouges sans appliquer la même exigence à Speechmatics. Ce n'est pas cohérent.
• Gemini a transformé « tu devrais partir » en « je devrais partir » dans la scène du coup de feu, et changé un pronom dans la bagarre.

Ce qui reste en suspens

• La note de Soniox doit être revérifiée à la lumière des notes d'août.
• Les cinq extraits proviennent de deux films, et aucun n'est un véritable entretien de recherche. Si nous pouvons obtenir l'audio original de Festen, cela ajoutera une scène de repas où les voix se chevauchent.