Finlandese: quasi perfetto sul parlato chiaro, battute inventate sotto il fuoco

Abbiamo testato due registrazioni finlandesi quotidiane e chiare: una telefonata per fissare un orario e un discorso su un caffè che finisce con qualcuno che ordina. ElevenLabs ha ottenuto un WER del 2.7% e del 2.9%, e leggendole riga per riga non abbiamo trovato veri errori.

Poi è arrivata la scena dell'assalto nel film di guerra Unknown Soldier. Sotto il fuoco delle mitragliatrici e le esplosioni, tutti i motori hanno cominciato a inventare frasi, ElevenLabs compreso.

Gli spezzoni di test

Quattro spezzoni:

L'audio originale completo dei film finlandesi è difficile da trovare. Gli ultimi due spezzoni vengono da podcast per studenti in cui i conduttori hanno scritto da sé i sottotitoli parola per parola, una fonte affidabile di trascrizioni di riferimento per le lingue più piccole. Abbiamo evitato di proposito scene in dialetti regionali marcati, come quelli della Lapponia o della Carelia.

I motori che abbiamo testato

ElevenLabs Scribe v2, Speechmatics, AssemblyAI, Soniox e Doubao, con Gemini aggiunto ad agosto. Quando AssemblyAI ha rilasciato un nuovo modello, abbiamo provato anche quello sul finlandese.

Doubao non supporta il finlandese; ha restituito inglese senza senso.

Le linee rosse

Frasi allucinate, quasi tutte nella scena dell'assalto. Un ufficiale urla "Ragazzi, maledizione, avanti!" ed ElevenLabs ha scritto qualcosa come "siete stati battuti vivi avanti". Per "terzo e quarto, a sinistra", ElevenLabs ha scritto "tornate alla posizione" e AssemblyAI ha scritto "Paulus prevede, a sinistra". Speechmatics ha tirato fuori dal nulla "la richiesta dei conigli", più una serie di frasi alla fine che nel film non ci sono.

Sugli spezzoni chiari ce n'è stata una sola: nella scena del colonnello, AssemblyAI ha trasformato il grado "tenente colonnello" in una sequenza di sillabe senza senso.

Pronomi scambiati: nell'assalto, AssemblyAI ha trasformato "fate muovere gli uomini" in "fateci muovere".

Passaggi persi: nello stesso spezzone, AssemblyAI ha perso l'intera apertura.

Loop: nella scena dell'assalto, Gemini ha scritto "Vihollinen!" (Nemico!) più di 75 volte, inghiottendo l'intero finale, e ha inventato due frasi all'inizio.

Deriva di lingua: su uno spezzone chiaro, Soniox ha scritto una frase in inglese, "Drivers to load not there", e si è ripetuto. Doubao è stato in inglese dall'inizio alla fine.

Cosa abbiamo scelto

• Motore principale: ElevenLabs Scribe v2. Il migliore o a pari merito il migliore su tutti e quattro gli spezzoni, quasi perfetto sul parlato chiaro, e nemmeno un ribaltamento.
• Motori di riferimento: Speechmatics, AssemblyAI, Gemini.

Speechmatics è il primo. Nessun ribaltamento su quattro spezzoni, e un WER più basso di AssemblyAI su tutti e tre gli spezzoni chiari (32.7% contro 35.6% sulla scena del colonnello, 9.4% contro 12.8% sulla telefonata, 4.6% contro 7.5% al caffè). I suoi errori sul parlato chiaro sono piccole sbavature, come capuccino con una lettera in meno. Sul parlato chiaro non si inventa frasi.

AssemblyAI è il secondo. A parte quel grado militare, non ha avuto allucinazioni, ribaltamenti o loop sugli spezzoni chiari. I suoi problemi si concentrano negli spari e nelle urla prolungate.

Gemini: nessun vero errore, parola per parola, sulla telefonata.

Per il finlandese non usiamo Soniox, l'unica tra queste lingue nordiche e centroeuropee in cui non lo facciamo. Una frase in inglese che compare nel mezzo di una registrazione finlandese chiara è più difficile da prevenire di qualsiasi cosa abbia fatto AssemblyAI, quindi qui Soniox è solo di riserva.

Prove contro le nostre scelte

• Il loop di 75 ripetizioni di Gemini è un rischio reale in produzione: quando succede, un'intera sezione di trascrizione sparisce. Lo usiamo perché non ha fatto veri errori su nessuna delle due conversazioni quotidiane.
• Il nuovo modello di AssemblyAI è andato peggio del vecchio su tre dei quattro spezzoni finlandesi, con nuove allucinazioni. Non siamo passati al nuovo, e il rilascio è stato poi annullato per tutte le lingue.
• Anche ElevenLabs ha inventato due frasi nella scena dell'assalto. Il nostro motore principale non è sicuro nel rumore estremo.

Cosa resta aperto

• I due spezzoni chiari vengono da podcast pensati per studenti, registrati in studio. Sono più puliti della maggior parte delle registrazioni di interviste.
• Non abbiamo testato dialetti marcati.
• Due dei quattro spezzoni vengono dallo stesso film.