Quando le interviste cambiano lingua

La ricerca internazionale produce molte registrazioni come questa: l'intervistato parla spagnolo, chi fa le domande parla cinese, e in mezzo siede un interprete. La conversazione va avanti e indietro tra due lingue.

Pensavamo che sarebbe stato semplice. Abbiamo letto la documentazione di ogni motore, fatto un giro di test in laboratorio e tratto una serie di conclusioni. Poi abbiamo testato una registrazione reale e le conclusioni si sono ribaltate.

Due tipi di mescolanza, risultati molto diversi

Per prima cosa, bisogna tenere distinte due situazioni:

• L'inciso occasionale: una lingua principale, con qualche parola o frase in un'altra, meno di un decimo della registrazione.
• L'alternanza a turni: per esempio l'interpretariato consecutivo, in cui le due lingue si alternano e ciascuna occupa più o meno la metà.

I motori si comportano in modo molto diverso nei due casi. Non vanno messi nello stesso calderone.

Prima una buona notizia: mescolare l'inglese per lo più va bene. Il supporto multilingue di quasi tutti i motori è costruito attorno a "lingua X più inglese". Il nostro motore principale scrive una frase inglese completa così come viene pronunciata, anche nel mezzo dello spagnolo.

I problemi cominciano quando nessuna delle due lingue è l'inglese, come lo spagnolo mescolato al cinese.

La stessa impostazione di "lingua" significa quattro cose diverse

La maggior parte dei motori ha un parametro per la lingua. Si potrebbe pensare che faccia più o meno la stessa cosa ovunque. Abbiamo esaminato la documentazione di ogni fornitore e poi li abbiamo testati uno per uno. Sono quattro cose diverse:

• ElevenLabs: gli dice in quale lingua è principalmente la registrazione.
• Soniox: un suggerimento verso cui tenderà, senza impedirgli di riconoscere altre lingue.
• Doubao: sceglie quale modello linguistico eseguire. Stranamente, lasciarlo vuoto è l'opzione peggiore: a quel punto ascolta cinese e inglese e costringe lo spagnolo nell'inglese.
• AssemblyAI: decide in che lingua è l'intero file, poi consegna tutto il file al modello di quella sola lingua. Delle due lingue che sa gestire insieme, una deve essere l'inglese.

Quest'ultimo ha una conseguenza brutale. In una registrazione al 45% in cinese, AssemblyAI ha comunque deciso che era spagnolo (confidenza 0,84). Abbiamo provato quattro configurazioni. Non è uscito nemmeno un carattere cinese.

C'è stata una sorpresa anche nella direzione opposta. Stando alla documentazione di Doubao, impostare la lingua su spagnolo dovrebbe bloccare tutto il file in spagnolo. In pratica non è stato così. Ha comunque trascritto il cinese in mezzo.

L'esito peggiore è la traduzione

Con l'inciso occasionale, il nostro motore principale sbaglia in uno di due modi, a seconda di come lo si configura. (Questo è stato testato su registrazioni montate. La sezione successiva spiega il problema del montaggio, ma se il motore sbaglia quando il cambio di lingua è così evidente, una registrazione reale non sarà più facile.)

• Ditegli che la lingua principale è lo spagnolo, e le frasi in cinese semplicemente spariscono. La linea temporale le salta e non ne lascia traccia.
• Non diteglielo, e le frasi in cinese vengono tradotte in uno spagnolo scorrevole. "你是谁?" è diventato "¿Quién eres?". Nemmeno un carattere cinese in tutta la trascrizione.

Il primo lascia un vuoto. Il secondo aggiunge spagnolo che nessuno ha detto. Il secondo è peggio, perché la trascrizione si legge senza difetti e un ricercatore darebbe per scontato che l'intervistato l'abbia detto davvero in spagnolo.

Un altro motore, che usa un grande modello linguistico per trascrivere, si è bloccato a un cambio di lingua e ha ripetuto la stessa parola circa 370 volte.

L'audio reale ha ribaltato i risultati di laboratorio

Per testare il caso dell'alternanza a turni, siamo partiti da audio montato: clip spagnole e clip cinesi esistenti tagliate e unite. Le trascrizioni di riferimento venivano gratis e il costo era quasi nullo.

I test sull'audio montato dicevano:

• Dite al motore principale che la lingua principale è lo spagnolo, e si rompe tutto: il cinese viene tradotto, compare contenuto inventato e la linea temporale va a pezzi.
• Lasciategli capire da solo la lingua, e fa tutto giusto.

Poi abbiamo avuto un'intervista reale con interprete: 66 minuti, spagnolo e cinese, con un ricercatore, un interprete e un intervistato. I risultati sono stati esattamente l'opposto:

• Dirgli che la lingua principale è lo spagnolo ha dato una trascrizione quasi perfetta. Entrambe le lingue passavano correttamente dall'una all'altra, e tutti e tre i parlanti sono stati tenuti distinti. Perfino l'interprete, che passava avanti e indietro tra le lingue, è stato riconosciuto correttamente come una sola persona.
• Lasciandolo decidere, ha concluso che era tutto in cinese (confidenza 0,86), ha trascritto con il cinese come filo principale e ha perso interi passaggi in spagnolo.

Perché? L'audio montato ha una giuntura evidente tra le lingue: la stanza, il volume e il rumore di fondo cambiano tutti insieme, quindi per un motore è facile accorgersi di un cambio. Una registrazione reale è una sola stanza e un solo microfono. Non c'è giuntura.

Anche il ritmo era diverso dai nostri montaggi. Il cinese occupava il 29%, alternato come "lunghe risposte in spagnolo da uno a quattro minuti, brevi interventi in cinese da quindici secondi a un minuto circa", che cadeva proprio nell'intervallo che i nostri montaggi non avevano coperto.

Cosa ne abbiamo ricavato

Quanto bene viene trascritta un'intervista in più lingue dipende da tre cose: quali due lingue, se si tratta di un inciso occasionale o di un'alternanza a turni, e come è configurato il motore. La documentazione dei fornitori non può rispondere a queste domande, e nemmeno l'audio di prova montato.

Solo le registrazioni reali possono farlo.