Cinese mandarino: scegliere i motori tra spari e urla

In una scena di salvataggio di The Wandering Earth, un notiziario di emergenza in inglese irrompe tra le urla in mandarino. Speechmatics ha trasformato quel notiziario in "Team Violence Eduardo Saverin Fear". Eduardo Saverin è un personaggio di un altro film, The Social Network. Sullo stesso passaggio, AssemblyAI ha tradotto l'inglese in un cinese sgangherato, e FunASR non ha restituito proprio nulla.

Il cinese è l'unica lingua in cui usiamo quattro tracce di riferimento. Questo articolo spiega come le abbiamo scelte.

Le clip di prova

Quattro scene da film cinesi, da tre a cinque minuti ciascuna, tutte in mandarino:

• Let the Bullets Fly, la trattativa della rapina iniziale: registrazione pulita, parlato veloce, persone che si interrompono, molti nomi.
• Assembly, un assedio sul campo di battaglia: spari sopra il parlato, ordini radi, soldati feriti che urlano uno sopra l'altro.
• The Wandering Earth, il salvataggio a Shanghai: rumore da scena di disastro, con un notiziario in inglese dentro il mandarino.
• Aftershock, le macerie del terremoto: una madre che urla i nomi dei figli, il boato delle scosse di assestamento, audio impastato.

Sulla scala a tre livelli del primo articolo di questa serie, Let the Bullets Fly sta vicino al livello intermedio e le altre tre sono nel livello più difficile. Nessuna delle clip copre il livello base: una o due persone che parlano con calma in una stanza silenziosa.

Abbiamo caricato apposta tre delle quattro clip di rumore forte. L'errore più pericoloso, una frase inventata, compare solo quando il parlato è comprensibile a metà e sepolto nel rumore. Su un audio pulito nessuno dei motori lo produce, quindi lì non lo si può testare.

I candidati

Doubao, iFlytek, FunASR (versioni flagship e flash), due modelli Qwen di Alibaba, ElevenLabs, AssemblyAI, Speechmatics, Soniox e Deepgram: undici in tutto. In seguito abbiamo eseguito come riferimento di base il modello open source Whisper large-v3.

Le sei linee rosse, motore per motore

Frasi inventate. Speechmatics ha inventato su tutte e tre le clip rumorose. In Assembly ha prodotto una frase che suona più o meno come "Te l'avevo detto tanto tempo fa… vuoi qualcuno con te, ho detto sorridendo." In Aftershock ha prodotto "Amo lo sport, sto bene, ciao a tutti", e ha trasformato le urla in "baa baa baa baa". Whisper ha inventato "Presidente Li, presto, presto" nelle urla di The Wandering Earth, e in Aftershock ha reso "C'è un bambino qui, venite presto!" come "È un panino, è un panino, panino."

Loop di ripetizione. Whisper è andato in loop su tutte e quattro le clip, anche su quella pulita. Alla fine di Let the Bullets Fly, la parola per "resisti!" è diventata un token senza senso seguito dalla stessa sillaba tredici volte. Il modello omni-plus di Qwen è crollato del tutto sulle urla di Aftershock.

Negazione capovolta. Doubao, ElevenLabs, AssemblyAI e iFlytek non hanno prodotto capovolgimenti netti della negazione su nessuna clip. Whisper ci è andato vicino una volta, trasformando "Heizi ha tenuto duro" in "Heizi si è fermato".

Passaggi persi. AssemblyAI tende a fermarsi quando il rumore si fa forte. Su Assembly ha trascritto più o meno i primi 30 caratteri e nulla dopo; su Aftershock ha saltato l'inizio rumoroso. Non ha inventato nulla, ma una traccia di riferimento con un buco dentro non può nemmeno controllare nulla. Whisper ha fatto di peggio: i primi 70 secondi di Aftershock sono usciti come una sequenza di due caratteri ripetuti, e le grida d'aiuto della madre sono sparite.

Deriva linguistica. È il notiziario in inglese dell'inizio. In revisione, Doubao, ElevenLabs, iFlytek e Soniox hanno tutti mantenuto l'inglese in inglese. FunASR e omni-plus l'hanno perso, AssemblyAI l'ha tradotto in cinese, e Speechmatics l'ha trasformato in un nome.

Contenuto inserito. ElevenLabs ha aggiunto una battuta in Assembly, più o meno "il mitragliere ha catturato il vicecomandante del reggimento". Nessuno degli altri dieci motori l'ha prodotta, e il riferimento è vuoto per quel tratto. Non possiamo dire se sia stata davvero pronunciata, quindi l'abbiamo registrata come non verificata.

Cosa abbiamo scelto

Traccia principale: ElevenLabs Scribe v2. Nessun capovolgimento della negazione sulle tre clip rumorose e nessuna frase inventata confermata, a parte quella battuta non verificata di cui sopra. Le etichette dei parlanti vengono solo da questa traccia.

Tracce di riferimento, in ordine di priorità:

1. Doubao: nessuna frase inventata e nessun capovolgimento su nessuna delle quattro clip, l'output più completo, e ha mantenuto intatto il notiziario in inglese.
2. FunASR: non ha mai inventato una frase sulle tre clip rumorose. I suoi errori erano omissioni e fraintendimenti.
3. iFlytek: tra i motori più precisi quando l'audio è pulito, con il 12,2% di CER su Let the Bullets Fly.
4. Gemini: aggiunto il 25 agosto 2026. È un grande modello end-to-end, quindi sbaglia in modo diverso dai tre motori acustici. Restituisce frasi intere, non tempi a livello di parola, e non ha alcun ruolo nel decidere chi sta parlando.

Tutti e quattro vengono eseguiti su ogni file.

Prove contro la nostra scelta

• FunASR è la più debole delle tre tracce acustiche. Ha scritto "duecentomila" come "20,1 milioni". In Let the Bullets Fly ha perso due brevi risposte che reggono la scena, e dove mandarino e inglese si mescolano tende a perdere del tutto l'inglese. Lo teniamo perché regge nel rumore e non inventa. La precisione non è il motivo.
• L'ordine tra iFlytek e Doubao non è mai stato definito. La clip pulita suggeriva che iFlytek fosse almeno buono quanto Doubao, con FunASR ultimo. Ma è una sola clip pulita, e da allora il ricontrollo è rimasto in sospeso.
• Abbiamo rinunciato a un motore più preciso per evitare le invenzioni. Il modello omni-plus di Qwen ha avuto il CER più basso sia su Assembly sia su The Wandering Earth. Ha però anche inventato una frase in un passaggio flebile alla fine di The Wandering Earth ed è crollato su Aftershock, quindi l'abbiamo lasciato fuori.
• Anche la traccia principale fa errori gravi. In Aftershock, ElevenLabs ha sentito il nome che la madre continua a urlare, "Daqiang", come "sorella maggiore" per tutta la scena, e ha trasformato "il vetro non regge" in "non ce la faccio a resistere".

Domande aperte e limiti

• Tutte e quattro le clip vengono da film. Nessuna è una vera intervista, e nessuna è nel livello base.
• ElevenLabs non è mai stato eseguito sulla clip pulita di Let the Bullets Fly. Ha retto sulle tre clip più difficili, ma quella casella è vuota.
• Non abbiamo controllato Gemini riga per riga su queste quattro clip pubbliche, quindi non abbiamo prove in mandarino da mostrarvi qui.
• I nomi non sono stati valutati. Errori come "Daqiang" vengono gestiti dal glossario, e questo round di test non lo valuta.