Ungherese: perché abbiamo tenuto il motore che ha scritto "biglietto" 23 volte

Il film ungherese Kontroll (2003) ha una rissa per i biglietti in metropolitana. Il controllore continua a gridare "Jegy!" (biglietto). AssemblyAI ha scritto la parola 23 volte di fila, e l'intero tratto di dialogo successivo è sparito.

In un altro spezzone, un rapido botta e risposta per ordinare a uno snack bar, lo stesso motore non è andato in loop nemmeno una volta. Per l'ungherese l'abbiamo tenuto. Le ragioni per tenerlo, però, si sono rivelate più deboli di quanto pensassimo all'inizio.

Gli spezzoni di test

Cinque spezzoni, tutti da film:

Gli ultimi tre vengono dallo stesso film. Fonti complete e pulite per i film ungheresi recenti sono difficili da trovare; l'unica copia integrale di un film che volevamo era bloccata dietro una verifica dell'età.

I motori che abbiamo testato

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR e Doubao, con Gemini aggiunto in seguito.

L'ungherese non è tra le lingue supportate da Doubao, e tutti e cinque gli spezzoni sono tornati come spazzatura. Deepgram e FunASR hanno prodotto molto meno testo del dovuto, circa un decimo e tre decimi del numero di parole del riferimento, il che significa che la maggior parte dell'audio non è stata trascritta affatto.

Le linee rosse

Loop: la sequenza di "Jegy" è uno. Nello spezzone del gommista, AssemblyAI ha ripetuto "Mi az hogy mi között van" 18 volte, inghiottendo sei battute diverse. Anche Gemini ha avuto diverse sequenze di ripetizioni in Kontroll.

Negazioni ribaltate: Speechmatics ha trasformato "Ne csináljátok a fotót" (non fate quella foto) in "Csináljátok a fotót" (fatela). AssemblyAI ha trasformato "questa festa è fantastica" in "perché questa festa non è per niente bella". Allo snack bar ha sentito megvennék (lo comprerei) come megvernék (lo picchierei). Gemini ha trasformato "non intrometterti" in "prego, intromettiti".

Frasi allucinate: dove la musica della festa copriva le voci, Speechmatics ha prodotto uno scoppio di risate e una frase che nel film non ci sono. AssemblyAI ha sostituito un'intera battuta in Kontroll con un'altra. Gemini ha aggiunto dal gommista una battuta che nessuno ha detto, "paghiamo noi il passaggio".

Passaggi persi: allo snack bar, AssemblyAI ha perso due scambi al walkie-talkie.

Contenuti inseriti: nello stesso spezzone, Gemini ha infilato la chiamata al walkie-talkie nel mezzo della conversazione sei volte.

Deriva di lingua: solo Doubao.

ElevenLabs non ha avuto né loop né ribaltamenti su tutti e cinque gli spezzoni. I suoi errori erano sostituzioni con parole dal suono simile, come színed al posto di szénád.

Cosa abbiamo scelto

• Motore principale: ElevenLabs Scribe v2.
• Motori di riferimento: AssemblyAI, Soniox, Gemini.

AssemblyAI è rimasto perché i suoi loop si sono verificati solo in lunghe liti urlate tra parti di forza pari. Nel dialogo a due e nello spezzone dello snack bar non è andato in loop né ha perso interi tratti. Le interviste reali raramente prevedono più persone che si urlano sopra a lungo.

Soniox ha sostituito Speechmatics, che nel rumore inventa frasi e ha perso una negazione; Speechmatics è ora un ripiego d'emergenza. Alla revisione Soniox ha battuto AssemblyAI su tutti e cinque gli spezzoni, e quando sbagliava tendeva a produrre frammenti visibilmente rotti.

Gemini è stato aggiunto a tutte le lingue ad agosto. Sbaglia in modo diverso dai motori acustici, quindi i due tipi possono controllarsi a vicenda.

Prove contro le nostre scelte

Per l'ungherese ce ne sono parecchie.

• L'affermazione che AssemblyAI sia pulito sulla conversazione ha subito un colpo per un suo stesso errore: "comprare" è diventato "picchiare" nello spezzone dello snack bar, quello più vicino a un'intervista.
• La revisione ha trovato Soniox migliore di AssemblyAI su tutti e cinque gli spezzoni, eppure la nostra configurazione elenca ancora AssemblyAI prima di Soniox. L'ordine va contro le prove.
• Gemini aveva un solo spezzone di conversazione su cui essere giudicato, e lì è stato pulito. Nelle due scene di gruppo ha avuto un ribaltamento, una frase inventata e diversi loop, e allo snack bar ha inserito la chiamata al walkie-talkie sei volte.
• In base al solo WER, Speechmatics ha ottenuto il punteggio più basso sia sullo spezzone a due sia allo snack bar (20.5% e 33.5%, contro 27.6% e 36.3% di ElevenLabs). Non abbiamo scelto in base a quel numero; vedi Il WER mente.

Cosa resta aperto

• Un solo spezzone di conversazione non basta come prova per Gemini in ungherese. Serve altro testing.
• Tre dei cinque spezzoni vengono da un solo film, il che limita la varietà delle scene.
• Non è ancora stato deciso se riordinare i motori di riferimento in base alla revisione.