Francese: tre motori, una frase, lo stesso significato sbagliato

Nella lite a cena di Le Prénom, qualcuno dice "même s'ils se trompent", cioè "anche se sbagliano". Deepgram, Gladia e Soniox hanno scritto tutti "même s'ils ne se trompent pas": "anche se non sbagliano". Tre motori senza alcun legame tra loro, stesso punto, stesso significato ribaltato.

Far votare più motori funziona solo se i loro errori sono indipendenti. Questa sola frase mostra che non sempre lo sono.

Gli spezzoni di test

Quattro scene da film, ciascuna con un tipo diverso di francese difficile da seguire:

• La Haine (1995): la banlieue parigina, slang di strada (verlan), forte rumore di fondo. Una troupe televisiva viene contestata dalla folla, poi l'auto di un vicino viene distrutta e tutti cominciano a urlare.
• Le Prénom (2012): accento parigino standard, un rapido dibattito a tavola pieno di nomi.
• Le Dîner de Cons (1998): accento parigino standard, battibecchi comici rapidi, una farsa telefonica costruita su un nome scambiato.
• Bon Cop, Bad Cop (2006, Canada): joual del Québec, compresa un'intera lezione sulle imprecazioni quebecchesi.

Il terzo posto doveva andare a Bienvenue chez les Ch'tis, per il dialetto del nord della Francia. La fonte che avevamo trovato aveva il titolo e la durata giusti, ma una prova ha mostrato che era una raccolta di interviste al regista e di materiale dal dietro le quinte. Abbiamo dovuto cambiare film, quindi il dialetto del nord non è stato testato. Anche la prima fonte per il quarto spezzone era falsa: una recensione del film in inglese generata con l'AI.

Sui tre livelli del primo articolo, tutti e quattro gli spezzoni stanno tra il livello intermedio e il più difficile, con La Haine e Bon Cop i più difficili. Il livello base non è coperto.

I candidati

ElevenLabs, AssemblyAI, Doubao, Speechmatics (due modelli), Soniox, Gladia, Deepgram, FunASR e, più tardi, Gemini.

Le sei linee rosse, motore per motore

Negazione ribaltata. Oltre al ribaltamento a tre motori di cui sopra, Speechmatics ha trasformato "c'est pas moi qui ai les tunes" (non sono io quello coi soldi) in La Haine in "c'est pas moi qui t'ai tué" (non sono io quello che ti ha ucciso). Anche l'altro modello di Speechmatics, Melia-1, ha ribaltato la battuta di Le Prénom.

Frasi inventate. La Haine si apre senza dialoghi, e Gladia e Soniox hanno inventato ciascuno una battuta d'apertura. Gladia ha riscritto "Est-ce que vous avez participé aux émeutes" (avete partecipato ai disordini) in una frase storpiata con una negazione che non c'era. Speechmatics si è inventato "niveau budget" alla fine di Le Dîner de Cons. Deepgram ha trasformato il "Golden Gate" di San Francisco in parole senza senso.

Anche AssemblyAI ha inventato cose. L'imprecazione quebecchese "je m'en câlice" (non me ne frega niente) è diventata "je mets un cornichon" (ci metto un cetriolino). E in un film del 1995 ha trascritto le parole "YouTube" e "Covid", nessuna delle quali esisteva ancora.

Loop di ripetizione. Speechmatics ha reso "Oh là là" come diciotto "la" di fila. Alla prima esecuzione di Le Dîner de Cons, Gemini ha ripetuto "là" 1.659 volte senza mai produrre una trascrizione. Una seconda esecuzione è terminata normalmente in 35 secondi.

Passaggi persi. Su La Haine, Deepgram ha restituito 109 parole contro le circa 620 degli altri; la seconda metà, la lite per l'auto distrutta, era semplicemente sparita. Anche Doubao ha perso molto sullo spezzone quebecchese, restituendo solo 142 parole.

Deriva di lingua. Nessun passaggio consistente a un'altra lingua su questi quattro spezzoni.

Cosa abbiamo scelto

Traccia principale: ElevenLabs Scribe v2. Nessun significato ribaltato su nessuno spezzone, mantiene intatto il verlan, ed è stato il secondo più robusto sullo spezzone quebecchese.

Tracce di riferimento, in ordine di priorità:

1. AssemblyAI (universal-2): nessun ribaltamento su nessuno spezzone, e il più pulito del gruppo su verlan, dibattito e commedia.
2. Doubao: l'unico motore non principale a non aver mai inventato né ribaltato una battuta su tutti e quattro gli spezzoni. È peggiorato molto sullo spezzone quebecchese, ma solo sentendo male e perdendo parole.
3. Gemini: aggiunto il 26 agosto 2026. I quattro spezzoni dei film sono tutti scene di folla e urla, che non ci hanno detto nulla di utile su di lui. Così abbiamo preso un tratto di cinque minuti di una vera intervista lunga a Nicolas Sarkozy e abbiamo confrontato Gemini con ElevenLabs riga per riga: nessuna frase inventata, nessun ribaltamento, nessun loop, due piccoli cambi di significato e un punto in cui è stato più accurato di ElevenLabs. Le grandi omissioni mostrate sugli spezzoni dei film non sono comparse nell'intervista.

Prove contro la nostra scelta

• AssemblyAI non è pulito in francese. Il cetriolino e i due anacronismi sono entrambi opera sua. Ha avuto quattro passaggi inventati nei quattro spezzoni.
• Entrambe le tracce di riferimento possono fallire insieme. In una scena rumorosa, Doubao ha perso l'intero passaggio mentre AssemblyAI ci inventava qualcosa, lasciando la traccia principale come unico testimone utilizzabile.
• Anche la traccia principale ha inventato cose. ElevenLabs non ha avuto ribaltamenti, ma ha avuto due passaggi inventati, uno dei quali all'inizio di uno spezzone.
• Abbiamo scartato il motore migliore per il francese del Québec. Speechmatics ha gestito Bon Cop meglio di tutti. Ma ha ribaltato un significato in La Haine e inventato battute altrove, quindi l'abbiamo lasciato fuori.
• Le nostre prove su Gemini in francese sono scarse. Un'intervista di cinque minuti, senza trascrizione di riferimento, verificata solo rispetto alla traccia principale. Sugli spezzoni dei film ha anche quel fallimento da 1.659 ripetizioni agli atti, anche se una seconda esecuzione è andata a buon fine.

Domande aperte e limiti

• Il dialetto ch'ti del nord non è stato testato, e non abbiamo spezzoni di francese belga, svizzero o africano.
• Tutti e quattro gli spezzoni di riferimento vengono da film, e nessuno è nel livello base. L'unica intervista è quella che abbiamo aggiunto per Gemini.
• Il ribaltamento a tre motori ricorda che i disaccordi vicino a una negazione non si possono risolvere contando i voti. Stiamo ancora mettendo a punto il modo in cui la fase di fusione gestisce quei punti.