Indonesiano: qualcuno grida aiuto, il motore scrive 'grazie'

Una delle nostre scene di test in indonesiano è una setta che assedia una casa. Tra le urla, qualcuno grida "Bu, tolong selamatkan anak-anakku, bu!" ("Mamma, ti prego, salva i miei figli!"). Il nostro motore principale, ElevenLabs, ha colto quella battuta. Nello stesso momento, AssemblyAI ha scritto "Terima kasih", che significa "grazie".

Gladia è andato oltre. Ha prodotto "Jangan lupa like share dan subscribe", "non dimenticate di mettere like, condividere e iscrivervi", il saluto finale del video di uno YouTuber.

Entrambi indicano la stessa direzione. Quando l'audio diventa troppo confuso per capirlo, alcuni motori riempiono il vuoto con una frase familiare.

Gli spezzoni di test

Tutti e quattro gli spezzoni vengono da un solo film, Satan's Slaves (Pengabdi Setan, 2017), valutato rispetto ai suoi sottotitoli in indonesiano per persone sorde e ipoudenti. Abbiamo usato un solo film perché ogni altro "film completo" indonesiano trovato su YouTube era falso: un video di recensione, un altro film con lo stesso titolo, o un rimontaggio i cui tempi non corrispondevano ai sottotitoli.

Le quattro scene mettono ciascuna alla prova qualcosa di diverso:

• Sfogliando una rivista: musica d'archi sotto, due persone che si scambiano battute a raffica.
• Cena di famiglia: piatti che sbattono, fratelli più piccoli che fanno confusione, sovrapposizioni continue.
• Chiedere aiuto: due persone che raccontano con calma una storia di famiglia in frasi complete.
• L'assedio: urla di panico, tuoni, qualcuno che sfonda la porta.

Sulla nostra scala di difficoltà a tre livelli, le prime due stanno tra il livello intermedio e quello più alto, l'assedio è al livello più alto, e la scena della richiesta di aiuto è vicina al livello facile, l'unico spezzone chiaro dell'insieme.

I motori che abbiamo provato

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics nel primo turno, con FunASR, Gladia, Deepgram, Soniox e Qwen eseguiti in parallelo a titolo documentale. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Frasi inventate. Le due dell'inizio: il "grazie" di AssemblyAI e il "like, condividete e iscrivetevi" di Gladia. AssemblyAI non ha inventato nulla nei primi tre spezzoni. Solo l'assedio l'ha spinto a farlo.

Parole inserite. Nell'assedio qualcuno dice "kalau kita bersatu" ("se restiamo uniti"), e nessuno dei quattro motori l'ha colto. ElevenLabs ha scritto "coalizzarsi contro", AssemblyAI e Speechmatics hanno scritto "consegnare", e Doubao ha scritto "kalau kita nggak serahkan" ("se non consegniamo"), aggiungendo una negazione che nessuno ha detto. A cena, Speechmatics ha anche attaccato due parole in più, "hati kau" ("il tuo cuore"), alla fine di una battuta.

Loop di ripetizione. Nell'assedio la gente continua a gridare il nome Bondy. ElevenLabs, Soniox e Doubao hanno scritto il nome da cinque a nove volte ciascuno. Gemini l'ha scritto come Bodoh ("stupido") dieci volte di fila.

Passaggi persi. AssemblyAI è quello che ha perso di più nell'assedio, tralasciando lunghi tratti delle urla.

Deriva di lingua. I primi due spezzoni di Doubao sono tornati come un miscuglio senza senso di cinese e inglese, perché non avevamo inviato il codice di lingua indonesiano. Con id-ID impostato, la sua trascrizione della scena dell'aiuto era quasi parola per parola uguale a quella del principale.

Nessuno dei motori ha ribaltato il significato di un'intera frase in nessuno dei quattro spezzoni.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Il WER più basso sui primi due spezzoni, quasi nessun errore di significato su quello chiaro, il maggior contenuto recuperato dall'assedio, e l'unico motore ad aver colto la richiesta di aiuto.

Riferimenti, in ordine: Soniox, Doubao, Gemini. Tutti e tre girano su ogni file in indonesiano.

• Soniox: ha sostituito AssemblyAI. La revisione ha confermato zero errori da linea rossa, e si è piazzato primo o secondo tra i motori non principali. I suoi due punti discutibili sono entrambi in passaggi estremamente rumorosi in cui tutti i motori hanno fallito, e quello che ha scritto corrispondeva a suoni presenti nell'audio, quindi contano come errori di ascolto, non come invenzioni.
• Doubao: una volta corretto il codice di lingua, nessuna frase inventata e nessun ribaltamento in quattro spezzoni. Ha un'origine tecnica molto diversa da quella di Soniox, quindi i due non tendono a sbagliare nello stesso punto.
• Gemini: sulla chiara scena dell'aiuto ha coinciso quasi parola per parola con il principale e con Soniox.

AssemblyAI è diventato un motore di riserva. Il "grazie" inventato più le urla perse lo mettevano più vicino alle nostre linee rosse di Soniox, giudicato con lo stesso criterio.

Prove contro la nostra scelta

• Soniox ha un'abitudine. Quando non riesce a capire qualcosa, tende a scrivere una frase fluida invece di lasciare una spazzatura evidente, e una frase fluida ma sbagliata è la più difficile da notare per un lettore. Anche una prima analisi automatica aveva segnalato indizi di sovragenerazione e ripetizione nel suo output in indonesiano. La configurazione annota che, nel primo mese di produzione, le battute fluide e difficili da sentire prodotte solo da Soniox vanno controllate a campione.
• La negazione in più di Doubao nella battuta sul "restare uniti" è proprio il tipo di errore che fa più danni quando le trascrizioni vengono fuse.
• AssemblyAI è stato pulito nei primi tre spezzoni. Le ragioni per sostituirlo si basano per lo più su una sola scena.

Problemi aperti

• Tutti e quattro gli spezzoni vengono da un solo film, con lo stesso cast e le stesse condizioni di registrazione. Altri film e altri accenti potrebbero dare una risposta diversa.
• I punteggi dell'assedio sono inutilizzabili, quindi lì la classifica viene interamente dalla lettura riga per riga.
• Non abbiamo registrazioni di interviste reali.