Danese: abbiamo sostituito il motore più pulito sullo spezzone più simile a un'intervista

Dei nostri cinque spezzoni di test in danese, quello più vicino a un'intervista reale è una conversazione in un centro di riabilitazione: una persona chiede, l'altra risponde, e insieme definiscono degli obiettivi. Su quello spezzone, AssemblyAI ha prodotto la trascrizione più pulita di tutti i motori.

Lo abbiamo tolto comunque dai nostri motori di riferimento.

Gli spezzoni di test

Cinque spezzoni, da due film di due registi:

Volevamo usare la scena della cena di Festen (1998) e avevamo i sottotitoli pronti, ma non abbiamo trovato l'audio originale danese. L'unica copia integrale era soggetta a verifica dell'età; un'altra si è rivelata il doppiaggio francese.

I motori che abbiamo testato

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox e Doubao, con Gemini aggiunto ad agosto.

Doubao non supporta il danese. È uscito un inglese senza senso mescolato a caratteri cinesi, più dei loop.

Le linee rosse

Loop: al culmine della rissa di Jagten, AssemblyAI ha scritto "Nej det er satan" 23 volte in circa 28 secondi, inghiottendo il dialogo reale. Negli altri quattro spezzoni non è mai andato in loop.

Negazioni ribaltate: Speechmatics ha trasformato "Det gør jeg ikke" (non lo faccio) in "Det gør jeg" (lo faccio), così un diniego è diventato un'ammissione. Nel supermercato, l'accusa "quindi va bene picchiare i clienti?" è diventata "di solito avete un buon incontro con i clienti". In Adam's Apples, "mi ha sparato" è diventato l'ordine "sparami".

Frasi allucinate: nella rissa, ElevenLabs ha trasformato "Tror du ikke det" (non credi?) in "Jeg dør dig", che non è una frase reale.

Sostituzioni che cambiano il significato: AssemblyAI tende a inventare parole dal suono simile. Koteletter (costolette di maiale) è diventato koaguletter, "la torta a strati" è diventata "legislazione", e "perché menti" è diventato "perché spii". Sullo spezzone del centro di riabilitazione, Soniox ha trasformato "torta" in "torta alla banana" e "il mio obiettivo è fare dolci" in "mia mamma fa". Alla revisione abbiamo classificato questi due casi come segmentazione errata con una base acustica, non come ribaltamenti.

Deriva di lingua: solo Doubao.

Cosa abbiamo scelto

• Motore principale: ElevenLabs Scribe v2. Il più pulito, o a pari merito il più pulito, su tutti e cinque gli spezzoni, e non è mai andato in loop. La sua unica allucinazione nella rissa non ha fatto deragliare il resto della scena.
• Motori di riferimento: Speechmatics, Soniox, Gemini.

L'asticella per un nuovo motore di riferimento è zero linee rosse in tutte e sei le categorie, più un posto tra i primi due nella classifica complessiva dei motori non principali. Soniox l'ha superata alla revisione e ha sostituito AssemblyAI. La classifica complessiva è risultata: Speechmatics primo, Soniox secondo, AssemblyAI terzo.

Speechmatics resta al primo posto perché la sua accuratezza sulle parole era leggermente migliore di quella di Soniox. Non va mai in loop e il suo output mantiene la struttura.

Gemini è stato pulito sullo spezzone del centro di riabilitazione, e nel complesso ha avuto almeno due spezzoni di conversazione puliti.

Prove contro le nostre scelte

Per il danese ce ne sono parecchie.

• AssemblyAI è andato in loop una volta, in uno scontro fisico estremo, il tipo di scena che un'intervista reale non contiene quasi mai. Sullo spezzone più simile a un'intervista era il motore più pulito. Se si dà più peso a "come va sugli spezzoni più vicini alla produzione" che a "quante linee rosse ha superato", tenere AssemblyAI è una scelta difendibile.
• Soniox ha cambiato significati anche sul tranquillo spezzone del centro di riabilitazione. Quegli errori sicuri di sé non erano causati dal rumore.
• Quando abbiamo testato Gemini ad agosto, abbiamo registrato altri problemi di Soniox sugli stessi spezzoni: nella rissa ha sentito due volte "mentire" come "promettere" e ha aggiunto una frase inventata alla fine; nella scena dello sparo, "mi ha sparato" è diventato due volte "puoi spararmi?". Questo contrasta con il suo giudizio di zero linee rosse, e non l'abbiamo ancora rivalutato.
• Speechmatics ha ribaltato il significato più volte nei cinque spezzoni (al massimo una volta per spezzone), eppure occupa il primo posto tra i riferimenti. Abbiamo tolto AssemblyAI per le linee rosse senza applicare a Speechmatics lo stesso criterio. Non è coerente.
• Gemini ha trasformato "dovresti andare" in "dovrei andare" nella scena dello sparo, e ha cambiato un pronome nella rissa.

Cosa resta aperto

• Il giudizio su Soniox va ricontrollato alla luce delle note di agosto.
• Tutti e cinque gli spezzoni vengono da due film, e nessuno è una vera intervista di ricerca. Se riuscissimo a ottenere l'audio originale di Festen, aggiungerebbe una scena di sovrapposizioni a tavola.