Italien : quand notre piste principale a pris la consternation pour un compliment

Dans I soliti ignoti, une bande d'apprentis voleurs vient de regarder des images tournées en cachette, et l'un d'eux dit, dépité : « é finita la pellicola » : la pellicule est finie. Notre piste principale, ElevenLabs, a écrit « il film è bellissimo », « le film est magnifique ». La consternation s'est changée en compliment.

Sur les dix moteurs qui ont tourné sur cet extrait, seul Doubao a eu cette réplique juste. AssemblyAI a entendu « benzina » (essence), Gladia « bestia » (bête), et Speechmatics l'a laissée tomber. L'italien est notre exemple le plus net d'une piste de référence qui corrige la piste principale.

Les extraits de test

Quatre scènes de films couvrant quatre accents régionaux :

• I soliti ignoti (1958, Rome) : une bande qui regarde des images de surveillance, jauge un coffre-fort, puis marchande avec un serrurier, avec beaucoup de paroles qui se chevauchent.
• Baarìa (2009, Sicile) : une scène de place de village bondée avec un barbier, un bureau de poste et un exemplaire emprunté de Marx.
• Ammore e malavita (2017, Naples) : des condoléances lors d'un enterrement, puis une veuve qui met un prix sur sa vengeance.
• Il Capitale Umano (2013, Milan/Nord) : le conseil d'administration d'un théâtre qui débat de sa programmation, en italien standard clair.

Sur les trois niveaux du premier article, Il Capitale Umano se situe vers le niveau intermédiaire et les trois autres dans le plus difficile. Le niveau de base n'est pas couvert.

Plusieurs de ces films ont une bande originale, des numéros musicaux ou des chansons de fond, donc nous avons coupé autour des passages où la musique couvre le dialogue.

Les candidats

ElevenLabs, AssemblyAI, Doubao, Speechmatics (deux modèles), Soniox, Gladia, Deepgram, FunASR, Qwen, et plus tard Gemini.

Les six lignes rouges, moteur par moteur

Passages sautés. Deepgram s'est effondré sur les trois extraits difficiles. I soliti ignoti compte 324 mots dans la référence ; Deepgram en a renvoyé 134. Baarìa en compte 121 ; il en a renvoyé 64. La scène napolitaine en compte 103 ; il en a renvoyé 15, perdant entièrement les 90 premières secondes de condoléances et d'accusations.

Sens inversé. Outre la réplique de la piste principale, Gladia a transformé « è stato Ciro che ha venduto Vincenzo » (c'est Ciro qui a vendu Vincenzo) en une réplique sur le fait d'être trahi par « vincenza », inversant qui a trahi qui. Speechmatics a transformé « darà un milione » (il offrira un million) en « Non era 1.000.000 », ajoutant une négation.

Mots et phrases inventés. Speechmatics a transformé le nom de famille du parrain, Strozzalone, en « stronza », une insulte visant les femmes. Gladia a transformé « ho fatto un regalo » (j'ai fait un cadeau) en juron. Soniox a inséré dans la scène napolitaine une phrase entière, « Il ciccio di Masellini », que personne ne prononce.

Boucles de répétition. Qwen est tombé dans une boucle, se répétant dix fois au même endroit, et a aussi laissé tomber le mot de négation mica, inversant un sens.

Dérive de langue. Voir la partie sur Gemini ci-dessous.

La scène milanaise sert de cas témoin. Sur un italien standard clair, les sept moteurs ont été propres, et même Deepgram a tenu. Toutes les erreurs dommageables ci-dessus sont venues de paroles qui se chevauchent ou d'un dialecte marqué.

Ce que nous avons choisi

Piste principale : ElevenLabs Scribe v2. Propre sur trois des quatre extraits, et loin devant tous les autres sur le dialecte napolitain. L'inversion dans I soliti ignoti est sa seule ligne rouge dans cette langue.

Pistes de référence, par ordre de priorité :

1. AssemblyAI (universal-2) : aucune phrase inventée, aucune inversion et aucun effondrement sur les quatre extraits et les quatre accents.
2. Doubao : de même, aucune phrase inventée, aucune inversion et aucun effondrement. Il a été le plus propre sur les extraits de Rome et de Sicile, et le seul moteur à avoir eu la réplique de la pellicola juste.
3. Gemini : ajouté le 26 août 2026.

AssemblyAI et Doubao ont été les deux seuls moteurs de cette série à n'avoir jamais inventé, jamais inversé un sens et jamais cédé sur aucun extrait.

Les éléments qui contredisent notre choix

• La piste principale a inversé une réplique clé. C'est l'élément le plus direct contre notre configuration en italien. Nous comptons sur les pistes de référence pour le rattraper, ce qui ne fonctionne que si une piste de référence se trouve avoir raison à cet endroit.
• Nos éléments sur Gemini en italien sont minces. Dans le test sur 26 langues, l'italien a été classé « à tester davantage » : nous n'avions qu'un seul extrait de conversation, et Gemini y était propre. Sur les deux scènes de foule très dialectales, il est arrivé dernier les deux fois. Dans Baarìa, où la réplique réelle est « Papa, est-ce que j'ai été invité ? », il a écrit une phrase sans rapport signifiant à peu près « Quel beau ballon, tant d'enfants, je le veux ! ». Dans Ammore, il a produit un passage en anglais sorti de nulle part : « Don't leave us alone, don't be shy. When I was a child, I used to make. » Gemini fait toujours partie des pistes de référence, mais dans cette langue, les éléments en sa faveur se résument à ce seul extrait de conversation.
• L'autre modèle de Speechmatics est moins nuisible, mais pas inoffensif. Melia-1 n'a pas repris l'insulte ni ajouté la négation, mais il a répété « un bianco » quatre fois.

Questions ouvertes et limites

• Les quatre extraits proviennent de films, le plus ancien de 1958. L'audio est très éloigné d'un enregistrement d'entretien moderne.
• Aucun extrait de niveau de base et aucun vrai entretien. Gemini en particulier manque encore d'un échantillon de conversation solide en italien.
• Les noms propres n'ont pas été notés. Les moteurs se trompent régulièrement dessus, et le glossaire s'en charge.