Malese: chi parlava è passato all'inglese, e il motore l'ha ritradotto

In un'intervista di attualità malese, a un certo punto l'ospite passa all'inglese: "enforcing the letter of the law, without looking at … mood music around you."

ElevenLabs ha trascritto quell'inglese parola per parola. AssemblyAI ha prodotto invece una quindicina di parole in malese. Più o meno lo stesso significato, perfettamente scorrevole, e non quello che l'ospite ha detto.

Per chi fa ricerca, questo è l'errore più pericoloso in malese. Il motore ha fatto una traduzione al posto dell'intervistato, e niente sulla pagina lo lascia capire.

Le clip di prova: tre, scelte per il code-switching

• Una scena di una serie TV malese: una madre e un figlio che parlano, poi un arresto della squadra antidroga con grida e qualche battuta in inglese ("under arrest" e simili).
• Due interviste da talk show politici malesi: commentatori che passano dal malese all'inglese frase dopo frase, intere proposizioni in inglese e moltissimi nomi di persone e partiti.

C'era una quarta clip, un talk TEDx, ma i suoi sottotitoli volontari erano un riassunto, 170 parole per tre minuti, quindi non poteva servire da riferimento e l'abbiamo scartata. Il materiale in malese libero, colloquiale e trascritto alla lettera è scarso, e ci siamo fermati a tre. Le clip sono state scelte per la quantità di code-switching che contengono, non abbinate ai nostri tre livelli di difficoltà. Non abbiamo testato in modo specifico il rumore forte con persone che si parlano sopra.

I motori che abbiamo testato

Undici: ElevenLabs Scribe v2, Soniox, Doubao (ms-MY), AssemblyAI, FunASR, Qwen, Speechmatics (enhanced e Melia-1), Gladia e Deepgram, più Gemini, aggiunto ad agosto 2026.

Linee rosse, motore per motore

Riscrivere l'inglese in malese: AssemblyAI e Gladia l'hanno fatto entrambi sul passaggio giuridico citato sopra. Nell'altra intervista AssemblyAI ha anche trasformato "asking for the removal" nel malese per "ripristino", il significato opposto. Gladia ha trasformato "esamineremo i commenti" in "sopprimeremo i commenti".

Significato capovolto:

• Deepgram ha trasformato "è sotto indagine" in "è fuggito".
• FunASR ha trasformato la battuta della serie "hai preso la persona sbagliata" in "hai preso la persona giusta".
• Speechmatics ha trasformato l'inglese "I don't know what that means" in "I know What I means".

Passaggi persi: Deepgram ha interrotto la serie dopo 2:11, perdendone circa il 30%. FunASR ha saltato circa 20 secondi di un'intervista.

Parole inserite: Speechmatics ha infilato "menipu" ("ingannare") in una frase.

Loop: la versione Melia-1 di Speechmatics ha ripetuto "eh" una cinquantina di volte alla fine della serie, e ha prodotto una sequenza di "ada ada ada" in un'intervista. Quella sequenza all'inizio era stata attribuita a Qwen; la revisione ha scoperto che l'avevamo imputata al motore sbagliato.

Cosa abbiamo scelto, e perché

Principale: ElevenLabs Scribe v2. Il più pulito sul code-switching in tutte e tre le clip, proposizioni inglesi mantenute parola per parola, e il più preciso sui nomi.

Riferimento 1: Soniox. Nessuna allucinazione né capovolgimento in nessuna clip, e il tasso di errore più basso su tutte e tre (appena 0,4 punti davanti ad AssemblyAI sulla serie). Il suo unico piccolo scivolone è stato scrivere "latter" al posto di "letter".

Riferimento 2: Doubao. Anche qui nessuna allucinazione né capovolgimento, ed è l'unico motore che non ha mai "tradotto" nulla in tutte e tre le clip. Ha mantenuto le battute inglesi della serie, "You got the wrong person" e "under arrest", così come sono state pronunciate. I suoi errori erano nomi e parole dal suono simile, come "gelap" (buio) al posto di "gelak" (risata).

Riferimento 3: Gemini. Nel round di agosto ha avuto al massimo un'espressione sfocata sul primo talk show, con tutti i nomi di partiti e istituzioni corretti. Sul talk TEDx ha prodotto 304 parole coerenti senza allucinazioni.

Prove contro la nostra scelta

• Anche Soniox malesizza. Nella serie ha scritto la battuta inglese "You are under arrest" come il malese "awak ditangkap". Il significato è giusto e nulla è capovolto, ma è lo stesso tipo di comportamento per cui abbiamo penalizzato AssemblyAI, e il rapporto originale non lo segnalava. La revisione raccomanda di controllare a campione i passaggi con code-switching nelle prime fasi in produzione.
• Doubao non è un secondo netto. Sui talk show il suo tasso di errore si alterna con quelli di FunASR e Qwen. Uno dei motivi per cui l'abbiamo scelto è che FunASR perdeva grossi pezzi e Qwen andava in loop, mentre Doubao non faceva né l'una né l'altra cosa. La seconda metà di questo ragionamento si è rivelata imputata al motore sbagliato (vedi l'ultimo punto).
• AssemblyAI in realtà è molto bravo sulla serie: 17,4%, alla pari con Soniox in testa. Cede solo sul code-switching fitto delle interviste. Ora è un motore di riserva.
• Qwen è stato condannato su due prove che sono crollate entrambe: il loop era di Melia-1, e la "frase inventata" era chi parlava che davvero iniziava una frase e si correggeva. Ora è una riserva utilizzabile ma non una traccia fissa, perché i suoi timestamp sono una griglia a intervalli regolari anziché tempi reali.

Ancora aperto

• Tre clip sono un campione piccolo.
• Nessun test dedicato al rumore forte con persone che si parlano sopra.
• Il code-switching fitto è stato testato in un solo contesto: i talk show politici.