Norvegese: "non siamo stati infedeli" è diventato "abbiamo scelto di essere infedeli"

In The Worst Person in the World (Verdens verste menneske) c'è una scena a una festa in cui qualcuno dice "Vi var ikke utro": non siamo stati infedeli. AssemblyAI ha scritto "Vi valgte utro": abbiamo scelto di essere infedeli. La negazione è sparita, il verbo è cambiato e il significato si è capovolto. La battuta ritorna più avanti nella scena, e AssemblyAI l'ha sbagliata ogni volta. Tre volte in tutto.

Non è stato il rumore a causarlo. La scena ha un ritmo normale, senza sovrapposizioni prolungate del parlato.

Le clip di prova

Cinque clip da tre film:

Sono tutti e cinque film. Due sono relativamente chiari, ma restano comunque recitazione su copione. Per questo, quando abbiamo valutato Gemini ad agosto, abbiamo preso anche un estratto di cinque minuti da un podcast norvegese.

I motori che abbiamo testato

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Gemini, Qwen, FunASR e Doubao. Abbiamo anche esaminato NB-Whisper, il modello open source della Biblioteca nazionale di Norvegia, ma non l'abbiamo adottato.

Doubao non supporta il norvegese. Abbiamo provato tutti e tre i codici di lingua norvegesi e abbiamo ottenuto inglese senza senso o niente del tutto. FunASR ha prodotto solo circa la metà delle parole del riferimento.

Le linee rosse

I capovolgimenti della negazione sono ciò che conta di più qui. Oltre alla battuta iniziale, AssemblyAI ha trasformato "sono disposto a fare qualsiasi cosa" in "non lo farò", e "tu non devi mai mollare" in "io devo…". Anche Speechmatics capovolge, nella direzione opposta: tende ad aggiungere un ikke, per cui "so" diventa "non so". Non più di tre volte nelle cinque clip. E su una negazione tutti i motori del confronto hanno sbagliato tranne ElevenLabs.

Nomi inventati: AssemblyAI ha aperto la scena emotiva, che è chiara, con un personaggio chiamato Bård, e ha messo una certa Martha nell'attacco aereo. Nessuno dei due personaggi esiste in quelle scene. Qwen ha inventato un cognome, Hågen.

Contenuto inserito: nella clip della nave da guerra, Gemini ha inventato diversi ordini che nel film non ci sono, come "Cannone 1 in posizione" e "Batteria siluri 3/4".

Deriva linguistica: una volta Gemini ha restituito una clip norvegese come traduzione cinese ("Come ti chiami? Julia."). Rilanciato sullo stesso audio, ha prodotto un norvegese normale.

Loop: Gemini si è ripetuto nella clip dell'attacco aereo. Lì il suo WER è stato dell'89,6%, contro il 41,8%–47,8% degli altri tre motori, uno scarto di 42 punti.

Cosa abbiamo scelto

• Motore principale: ElevenLabs Scribe v2. Nessuna allucinazione, nessun capovolgimento, nessun nome inventato nelle cinque clip. I suoi errori sono fraintendimenti: ha scritto la battuta iniziale come "Vi var ikke ute", non eravamo fuori, ma ha mantenuto la negazione.
• Motori di riferimento: Soniox, Speechmatics, Gemini.

AssemblyAI è fuori. Quattro delle cinque clip avevano capovolgimenti o nomi inventati, comprese quelle chiare.

Soniox è entrato a luglio. Fino ad allora Speechmatics era l'unico motore di riferimento per il norvegese. Clip per clip, Soniox ha battuto Speechmatics quattro volte e ha pareggiato una volta, e i due hanno sbagliato per lo più in punti diversi. Soniox ha azzeccato la battuta iniziale, e il nome Julie.

Speechmatics non ha mai inventato una frase o un nome nelle cinque clip, e anche lui ha azzeccato la battuta iniziale.

Gemini, sul podcast di cinque minuti: nessuna allucinazione, capovolgimento o loop. Tre errori da parole dal suono simile, e due punti in cui è stato più preciso di ElevenLabs.

La nostra configurazione per il norvegese ha una regola in più: dove i motori non sono d'accordo su un ikke, la trascrizione lo segna come incerto perché lo controlli una persona.

Prove contro le nostre scelte

• Gemini ha superato una linea rossa in ognuna delle cinque clip di film: capovolgimenti, ordini inventati, loop e l'output in cinese. Le nostre ragioni per usarlo si basano su un solo podcast di cinque minuti senza trascrizione di riferimento, controllato solo rispetto a ElevenLabs. A luglio l'avevamo scartato.
• Soniox e Speechmatics hanno fatto tre errori direzionali identici nella scena emotiva. L'argomento "sbagliano in punti diversi" non sempre regge dove conta di più.
• Una prima scansione automatica ha rilevato che in norvegese Soniox produceva 1,5 volte le parole del riferimento.

Cosa resta aperto

• Non abbiamo nemmeno una conversazione reale con una trascrizione di riferimento. Le prove per Gemini sono particolarmente scarse.
• La negazione resta il rischio più grande in norvegese. Un caso come quella negazione che solo ElevenLabs ha azzeccato non si salva con una votazione. Per ora la segniamo come incerta e lasciamo che una persona ascolti.