Giapponese: il motore che sembrava il migliore cancellava gli intercalari

Su due spezzoni di interviste giapponesi moderne, AssemblyAI all'inizio sembrava il più accurato dei quattro motori provati, con un tasso di errore sui caratteri sceso fino all'8.4% su uno dei due. Poi abbiamo capito da dove veniva il vantaggio. I sottotitoli con cui confrontiamo omettono gli intercalari parlati e i suoni di esitazione. Anche AssemblyAI li omette. Soniox li trascrive, e ognuno di quelli che ha scritto è stato contato come errore. Togliendo gli intercalari da entrambe le parti, Soniox vince su tutti e quattro gli spezzoni, arrivando al 2.0% sull'ultimo, più in basso del nostro motore principale.

Questa scoperta ha cambiato chi occupa le tracce di riferimento per il giapponese.

Gli spezzoni di test

Quattro spezzoni in due coppie:

• Seven Samurai (1954): dialetto del Tōhoku, urla fitte, fruscio da film d'epoca.
• Rashomon (1950): giapponese standard, ma pioggia battente e tre persone che si interrompono a vicenda.
• Un'intervista a due persone da YouTube: turni frequenti, suono da studio pulito.
• Una puntata di un programma YouTube in giapponese: due conduttori che si danno continuamente segnali di ascolto (そうだね, うん e simili), con cambi di parlante ogni poche parole.

Sulla nostra scala di difficoltà a tre livelli, i film sono al livello più alto e gli spezzoni moderni al livello intermedio. Non abbiamo testato uno spezzone giapponese facile a parte (una o due persone, ritmo costante, niente rumore).

Per gli spezzoni moderni abbiamo confrontato con i sottotitoli fatti a mano da chi ha caricato il video, mai con i sottotitoli automatici. La prima intervista che avevamo scelto si è rivelata, a un controllo riga per riga, parlata in inglese con sottotitoli di traduzione in giapponese. Confrontare una trascrizione con una traduzione non avrebbe avuto senso, quindi l'abbiamo sostituita.

I motori che abbiamo provato

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics nel primo turno. Soniox, Gladia, Deepgram, FunASR e Qwen nelle esecuzioni successive. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Loop di ripetizione. Nelle urla di Seven Samurai, AssemblyAI ha ripetuto un suono 95 volte. Sullo stesso spezzone Gladia l'ha ripetuto 447 volte. Una volta che una trascrizione si riempie di un'unica sillaba, tutto quello che veniva dopo è perso.

Frasi inventate. Sempre su Seven Samurai, AssemblyAI ha inventato frasi intere, e su Rashomon ha attaccato parole mai pronunciate alla fine di una battuta.

Contenuti inseriti. Sui film d'epoca Doubao ha scritto una volta un ordine violento che nessuno aveva dato. Il suo stato di servizio pulito vale solo per gli spezzoni moderni.

Significato ribaltato. Soniox ha invertito il senso di due battute nel tratto di dialetto e urla di Seven Samurai. Sullo stesso spezzone AssemblyAI andava in loop e inventava frasi. Escludere Soniox per quei due errori tenendo AssemblyAI significherebbe giudicarli con regole diverse, quindi l'abbiamo trattato come un problema di quella scena.

Deriva di lingua. Quando abbiamo provato Gemini come sostituto del motore principale, il suo giapponese conteneva alcuni kanji nelle forme del cinese semplificato: 绍介, 连络, 结婚 invece di 紹介, 連絡, 結婚. Caratteri giusti, scrittura sbagliata.

Sostituzioni (non linee rosse, ma fuorvianti): Speechmatics ha sentito 人前式, un matrimonio celebrato davanti a familiari e amici, come 人権意識, "consapevolezza dei diritti umani". Doubao e AssemblyAI hanno entrambi scritto 酌み交わす ("bere insieme") come il suo omofono 組み交わす.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. L'unico motore che non è mai crollato su nessuno dei quattro spezzoni, e 5.1% sul programma YouTube.

Riferimenti, in ordine: Soniox, Doubao, Gemini. Tutti e tre girano su ogni file in giapponese.

• Soniox: vince su tutti e quattro gli spezzoni una volta tolti gli intercalari. I suoi due ribaltamenti sul film d'epoca li attribuiamo alla scena.
• Doubao: all'inizio pensavamo che non sapesse fare il giapponese perché restituiva spazzatura. Semplicemente non avevamo inviato il codice di lingua giusto. Con ja-JP è stato pulito sugli spezzoni moderni, terzo su Rashomon, e a metà classifica ma integro su Seven Samurai. Ha una discendenza molto diversa da quella di Soniox, quindi i due sbagliano raramente nello stesso punto.
• Gemini: nessun errore da linea rossa sui due spezzoni moderni.

AssemblyAI è diventato un motore di riserva.

Prove contro la nostra scelta

• AssemblyAI è davvero accurato sulle interviste moderne, e su conversazioni reali e pulite i suoi problemi per lo più spariscono. L'abbiamo sostituito soprattutto per i loop e le frasi inventate sui film d'epoca, e perché non è più primo una volta tolti gli intercalari.
• Un turno precedente era arrivato alla conclusione opposta. A quel punto Soniox non sembrava migliore dei due motori in carica sul materiale di intervista, e la regola era "nessun cambio in caso di parità". La scoperta degli intercalari l'ha ribaltata. Quindi la decisione si regge su una sola scelta di valutazione: se gli intercalari contano o no.
• Gemini ha fatto molti errori sui due film d'epoca. In Seven Samurai ha trasformato 米 ("riso") nel cognome 亀岡. In Rashomon ha scritto il titolo di polizia dell'epoca Heian 検非違使 come 蛇石 ("pietra del serpente"), ha trasformato "basta con le prediche" in "basta con la tosse" e ha perso la frase finale. Rashomon ha un dialogo chiaro, quindi il problema dipende più dalla qualità della registrazione che dal rumore. Se la registrazione di un cliente è scadente, questa traccia potrebbe scivolare con essa.

Problemi aperti

• Abbiamo solo due interviste reali, ed entrambe sono pulite. Non abbiamo alcun esempio valutato di un'intervista giapponese moderna in una stanza rumorosa.
• Se un cliente vuole un verbatim rigoroso con ogni えーと mantenuto, l'abitudine di Soniox di trascrivere gli intercalari è un punto di forza. Se vuole una trascrizione ripulita, la base della classifica va riesaminata.
• Il problema dei kanji semplificati è emerso quando Gemini sostituiva il motore principale. Non abbiamo dati separati su se succeda quando Gemini gira come traccia di riferimento.