Russo: la battuta che entrambi i motori di riferimento hanno sbagliato

Il russo è stato il primo caso in cui abbiamo sorpreso due motori di riferimento a fare lo stesso identico errore sulla stessa battuta, mentre il motore principale la azzeccava. Se avessimo deciso quella battuta a maggioranza, la trascrizione sarebbe stata sbagliata.

Ecco come abbiamo testato il russo e cosa ha cambiato quell'episodio.

Le clip di prova

Quattro scene da film russi, valutate rispetto ai sottotitoli russi per sordi e ipoudenti dei film stessi. Le abbiamo scelte tutte e quattro per la difficoltà, quindi sulla nostra scala a tre livelli stanno tutte in cima:

• Brother (1997): un uomo che urla attraverso una porta, diverse persone che intervengono fuori, sotto il rumore di un mercato.
• Brother 2 (2000): una telefonata veloce piena di nomi, luoghi e numeri, con una radio accesa in sottofondo.
• Leviathan (2014): un gruppetto di uomini che complottano attorno a un tavolo, battute sovrapposte.
• Kokoko (2012): una stanza piena di donne che lavorano e chiacchierano, parlandosi sopra.

Non pubblichiamo l'audio. Nessuna di queste è una normale conversazione a due a ritmo normale, cosa che torna più avanti come limite.

I motori che abbiamo provato

Otto: ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Doubao, Soniox e Deepgram, più FunASR e Qwen come controlli. Gemini è stato testato separatamente in seguito.

Dove ogni motore ha superato una linea rossa

Giudichiamo i motori soprattutto su sei tipi di errore: frasi inventate, negazioni capovolte, loop di ripetizione, parole inserite, passaggi persi e deriva verso un'altra lingua. In russo abbiamo visto questi:

Parole inserite. Nella scena di Brother, Speechmatics ha aggiunto un appellativo, Доченька ("figliola"), dove nessuno lo dice, e ha trasformato il verbo volgare охерел nel nome Кирилл. In revisione abbiamo contato almeno otto invenzioni di questo tipo nel suo output russo, alcune in ogni clip. Anche Deepgram inventa: in "non lo avresti smosso nemmeno con un cannone (пушки)" ha sentito il nome di una città, Пушкино.

Una negazione capovolta. In Leviathan qualcuno dice «сегодня не в нашу пользу всё решится» ("oggi non si risolverà a nostro favore"). AssemblyAI ha perso il не e ha scritto «сегодня они в нашу пользу все решатся», che dice il contrario. Lo stesso passaggio contiene altre quattro o cinque negazioni e le ha azzeccate tutte, quindi lo consideriamo un caso isolato e non uno schema.

Una frase sostituita. «Двух жён в могилу свёл» ("ha portato due mogli alla tomba") è uscita da Soniox come «Да уже он в могилу свёл», con un soggetto diverso. All'inizio è stata registrata solo a carico di Soniox. In revisione, cinque degli otto motori hanno sbagliato quella battuta. Lì l'audio è semplicemente difficile.

Deriva linguistica. La prima esecuzione di Doubao in russo ha prodotto un miscuglio di inglese, toponimi giapponesi e cinese. Quella è stata colpa nostra: l'adattatore non inviava un codice di lingua russo, quindi il motore è tornato silenziosamente al cinese. Con ru-RU impostato, tutte e quattro le clip sono tornate in russo coerente.

Loop di ripetizione: AssemblyAI non ne ha prodotti in nessuna delle quattro clip.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Il WER più basso su tre delle quattro clip. Ha perso il primo posto su Brother 2 soprattutto perché ha trascritto la radio di sottofondo, sia lo speaker sia il testo della canzone, che i sottotitoli tralasciano, quindi tutto è stato contato come errore. I suoi errori in russo sono stati per lo più parole perse, come un отсюда ("da qui") mancante. Non l'abbiamo visto inventare una frase.

Riferimenti, in ordine: AssemblyAI, Doubao, Gemini. Tutti e tre vengono eseguiti su ogni file in russo.

• AssemblyAI: nessun loop e nessuna sequenza di testo inventato in quattro clip, e il punteggio più basso su Brother 2, la clip più densa di nomi.
• Doubao: una volta sistemato il codice di lingua, niente spazzatura e nessuna parola inserita; quando sbaglia, sbaglia su una parola, come sentire торге ("contrattazione") come твороге ("ricotta"). Viene da ByteDance e da una linea tecnica molto diversa da quella di AssemblyAI, quindi i due tendono a sbagliare in punti diversi.
• Gemini: le nostre clip di film russi sono tutte urla e scene di folla, che dicono poco sulla conversazione normale. Così abbiamo preso cinque minuti di una vera intervista televisiva (Vladimir Pozner con Edvard Radzinsky) e controllato Gemini riga per riga rispetto al principale. Nessun testo inventato, nessun significato capovolto, nessun loop. Ha azzeccato tutte e quattro le citazioni dirette e ogni nome proprio, compresi Cambridge, Oxford e Nicola II, e ha saltato tre intercalari del tipo "certo".

Prove contro la nostra scelta

• AssemblyAI non è pulito in russo. In revisione ha avuto tre errori pericolosi, tra cui la negazione di cui sopra e la sostituzione completa di «Кто? Зинка я, открывай» ("Chi è? Sono Zinka, apri") con «Куда ты отдаёшь, Зинка».
• Il caso dei due motori d'accordo ed entrambi in errore è proprio il motivo per cui non ci si può fidare di un voto a tre. Gli errori dei motori non sono indipendenti, e su negazione e polarità la parte con più voti non ha necessariamente ragione.
• Su Brother 2, Gemini ha scritto nella trascrizione quattro frasi della radio di sottofondo e ha trasformato "hai un abbonamento da dieci giorni?" in "ho un abbonamento da dieci giorni". Su quella clip ha ottenuto il punteggio peggiore dei quattro, 43,6%. Come detto sopra, anche il principale ha raccolto la radio in un'altra esecuzione. In un'intervista reale, è l'equivalente di trascrivere la TV della sala riunioni come se l'avesse detta il partecipante.
• Soniox ha ottenuto il 12,3% su Leviathan, meno del principale, e l'abbiamo comunque scartato perché la revisione ha trovato sostituzioni di frasi intere. Andando solo per punteggio si arriverebbe alla decisione opposta.

Problemi aperti

• I nostri revisori non leggono il russo abbastanza da vicino per giudicare ogni riga. Il primo passaggio ha controllato solo ciò che si può giudicare oggettivamente: russo coerente o no, caratteri spazzatura, parole inserite, frasi scambiate. La negazione capovolta è emersa più tardi, quando abbiamo confrontato una per una tutte le parole negative. Potrebbero esserci errori di significato che non abbiamo ancora trovato.
• Tutte e quattro le clip sono scene di film difficili. Non abbiamo nessuna clip valutata con una o due persone che parlano a ritmo normale. L'intervista di Gemini non aveva una trascrizione di riferimento, quindi è stata controllata solo rispetto al principale.
• Al momento dei test non c'era alcuna protezione dedicata contro l'audio di sottofondo che finisce nella trascrizione.