Vietnamita: l'"allucinazione" era una venditrice al mercato

Alla fine di una scena al mercato nei nostri test sul vietnamita, Doubao ha scritto una battuta che i sottotitoli non hanno: "Ai mua gà kìa", più o meno "chi compra pollo?". Il primo rapporto l'ha registrata come allucinazione. In revisione si è scoperto che era una vera venditrice che chiamava i clienti in sottofondo. I sottotitoli l'avevano tralasciata, e Doubao l'ha sentita.

Per questa lingua non ci sono molte prove, solo due clip valide. Ecco cosa ci dicono e cosa no.

Le clip di prova

Due film vietnamiti, valutati rispetto ai sottotitoli vietnamiti per sordi e ipoudenti di Netflix:

• Furie (2019): recupero crediti al banco dei pegni di un mercato, poi un'accusa di borseggio. Diverse persone che si scambiano insulti in fretta in un dialetto del sud, rumore di mercato, voci sovrapposte. Livello massimo della nostra scala di difficoltà a tre livelli.
• Song Lang (2018): il dietro le quinte di una compagnia di opera tradizionale, ammiratori che passano a fare due chiacchiere. Botta e risposta veloce con rumore di folla. Livello intermedio, e molto più chiaro del primo.

Volevamo altre due clip con una conversazione più fitta. Ogni "film completo" trovato su YouTube era o un rimontaggio di qualche altro canale che non corrispondeva ai sottotitoli o bloccato dietro una verifica dell'età, e i canali degli studi stessi hanno solo trailer. Ci siamo fermati a due piuttosto che gonfiare il set con audio che non potevamo verificare.

I motori che abbiamo provato

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics nel primo round. Soniox è stato valutato durante una revisione successiva. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Passaggi persi. AssemblyAI l'ha fatto su entrambe le clip. Ha saltato del tutto le prime quattro frasi di Song Lang, che è il motivo principale per cui è arrivato ultimo sulla clip chiara.

Sostituzioni che diventano nomi. AssemblyAI ha scritto dị ứng ("allergia") come Dĩ Ấn, che si legge come il nome di una persona, tre volte. In Furie ha trasformato il nome Mai in công an ("polizia"), ăn cắp ("rubare") in Anh Cất, e tang chứng ("prova") in ăn trứng ("mangiare uova"). L'intera scena ruota attorno al fatto che qualcuno abbia rubato qualcosa, e con quegli errori la storia cambia.

Frasi inventate. Il nostro motore principale, ElevenLabs, ha inventato due nomi che non esistono nel punto più rumoroso e sovrapposto verso la fine di Furie, insieme a una frase, Họ đang buôn bán ("stanno facendo affari"). Speechmatics ha aperto Song Lang con un ca sĩ ("cantante") che nessuno ha detto.

Soniox non ha avuto nessun errore da linea rossa di alcun tipo su nessuna delle due clip.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Nella fascia alta su entrambe le clip, e il più completo nella parte iniziale e centrale.

Riferimenti, in ordine: Doubao, Soniox, Gemini. Tutti e tre vengono eseguiti su ogni file in vietnamita.

• Doubao: a pari merito con il principale al primo posto su entrambe le clip e il più vicino ai sottotitoli. La sua unica "allucinazione" non ha superato la revisione.
• Soniox: ha sostituito AssemblyAI. Nessun errore da linea rossa, 9,1% sulla clip chiara, e ha recuperato più contenuto di tutti su quella rumorosa.
• Gemini: le nostre clip di film vietnamiti sono tutte litigi e scene di folla, che dicono poco sulla conversazione normale. Così abbiamo fatto passare cinque minuti di un podcast vietnamita attraverso Gemini e il principale e li abbiamo controllati l'uno rispetto all'altro. Entrambi hanno prodotto esattamente 1.018 parole. Gemini ha fatto un solo vero errore: chôn ("seppellire") è diventato trốn ("nascondersi").

Prove contro la nostra scelta

• Il motore principale ha inventato contenuto alla fine di Furie. In vietnamita non si può dare per scontato che il principale non inventi nulla; la coda rumorosa di una registrazione ha bisogno delle tracce di riferimento per essere controllata.
• Quando Gemini era stato testato solo su queste due clip di film, il verdetto era stato "non aggiungerlo". È stato ribaltato dopo il test sul podcast, e quel podcast non aveva una trascrizione di riferimento, quindi Gemini e il principale sono stati controllati solo l'uno rispetto all'altro.
• Una clip è estremamente rumorosa e una è abbastanza chiara. Non abbiamo nulla nel mezzo.

Problemi aperti

Valutiamo la nostra fiducia nella configurazione di questa lingua come media, per un motivo semplice: due clip non possono sostenere l'affermazione che qualcosa sia sistematico. I sottotitoli per altre due clip sono pronti; manca un audio con licenza che vi corrisponda. Una volta che l'avremo, lo stesso metodo potrà portare il set a quattro.