Thailandese: parte del punteggio del nostro motore principale era un nostro bug

Nei nostri test sul thailandese, parte del buon punteggio del motore principale veniva da un bug nel nostro stesso codice.

Una funzione della nostra pipeline toglie la punteggiatura dalla fine delle parole. I segni vocalici e tonali del thailandese sono caratteri combinanti che si posano sopra o sotto le lettere, e quella funzione li trattava come punteggiatura e li cancellava. Così le trascrizioni di ElevenLabs salvate avevano perso tutti i segni vocalici e tonali, e il suo tasso di errore era calcolato come se quei segni non esistessero. Il bug è stato corretto, ma quanto sia davvero preciso ElevenLabs sui diacritici thailandesi va ancora verificato a campione.

Tenete presente questa riserva per ogni numero che segue.

Le clip di prova

Tre clip, valutate rispetto a sottotitoli thailandesi fatti a mano dalla stessa fonte:

• Un'intervista di cucina: una o due persone che parlano a ritmo moderato con poco rumore di fondo. È la nostra clip di base, vicina al livello facile della nostra scala di difficoltà a tre livelli.
• Un reality show: diversi ospiti che si parlano sopra e ridono, con musica di sottofondo ed effetti sonori. Lo classifichiamo come livello intermedio.
• Un dibattito in stile Lupus in Tabula: persone che si accusano a vicenda, parlano in fretta, si interrompono, mescolano parole inglesi come Seer e defend. Livello massimo.

Avevamo una quarta clip, ma dal controllo è risultato che audio e sottotitoli erano sfasati di circa 30 secondi, il che avrebbe significato valutare rispetto alle risposte sbagliate, quindi l'abbiamo scartata. I sottotitoli thailandesi liberi, colloquiali e alla lettera sono rari, e tre clip sono il massimo che siamo riusciti a trovare.

I motori che abbiamo provato

Dieci: ElevenLabs Scribe v2, AssemblyAI, Speechmatics (due versioni), Doubao, Soniox, Deepgram, Gladia, FunASR e Qwen. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Loop di ripetizione. Il dibattito si apre con uno scoppio di risate che i sottotitoli registrano come una breve risata. Dopo la risata ฮ่า, Gladia ha scritto il segno di ripetizione thailandese ๆ più di 400 volte di fila, su due righe, poi ha ripetuto a ciclo le stesse due frasi quattro volte. È questo che l'ha spinto all'83,9%. Sulle altre due clip non è mai andato in loop così. Anche AssemblyAI va in loop: in revisione abbiamo trovato che aveva ripetuto una parola per circa 22 righe sul reality show e ripetuto a ciclo un'altra espressione circa 25 volte.

Passaggi persi. Sul dibattito, AssemblyAI ha saltato ampi tratti, in alcuni punti quasi dieci secondi senza output. È arrivato ultimo sulle prime due clip, e sul dibattito solo il crollo di Gladia gli ha evitato l'ultimo posto.

Contenuto inserito (ritirato). A un certo punto abbiamo pensato che Qwen avesse inventato un passaggio all'inizio del dibattito. In revisione è emerso che all'inizio i sottotitoli erano fuori sincrono di circa 10 secondi, e Soniox, Doubao e FunASR avevano tutti trascritto lo stesso contenuto nello stesso punto. Qualcuno l'aveva detto davvero. Abbiamo ritirato quella conclusione.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Nessun crollo e nessuna ripetizione fuori controllo su nessuna clip; 12,6% sull'intervista di cucina e il punteggio più basso sul reality show. Con la riserva di cui sopra.

Riferimenti, in ordine: Soniox, Doubao, Gemini. Tutti e tre vengono eseguiti su ogni file in thailandese.

• Soniox: il più costante su tutte e tre le clip, con la segmentazione più pulita, che segue i sottotitoli riga per riga, senza loop e senza grosse omissioni.
• Doubao: produce thailandese vero, sul dibattito arriva alla pari con Soniox e con il principale, e lascia com'è il prestito defend. Il rapporto in un primo momento diceva che Doubao non era stato eseguito sull'intervista di cucina. Lo era stato, e in alcuni punti lì è stato più preciso di Soniox; semplicemente il risultato non è mai finito in tabella. Viene inoltre da una linea tecnica diversa dai primi due.
• Gemini: sul dibattito ha sbagliato un nome nel risultato della votazione, e tutti e quattro i motori sono finiti entro 1,9 punti l'uno dall'altro.

Cosa abbiamo lasciato fuori: Qwen ha avuto il punteggio migliore sul dibattito (18,3%), ma ha restituito tutti e tre i minuti come un'unica riga senza timestamp a livello di parola, che il nostro passaggio di allineamento non può usare. Anche il punteggio di FunASR era discreto, ma il suo output è un unico blocco di caratteri senza interruzioni di frase. Gladia è escluso per i loop e AssemblyAI per ciò che perde.

Prove contro la nostra scelta

• La più grande è in cima: il punteggio thailandese del principale è gonfiato, e la sua reale precisione sui diacritici non è ancora stata verificata a campione.
• I nostri revisori non leggono il thailandese. Il rapporto ha giudicato solo ciò che si vede senza conoscere la lingua: ripetizioni fuori controllo, salti improvvisi di lunghezza, pezzi mancanti, tutto restituito in un unico blocco. Se qualche motore abbia invertito o storpiato il significato di una battuta, non l'abbiamo controllato frase per frase.
• Gemini ha una sola clip di prova thailandese in stile conversazione, il che non basta. In un round precedente aveva anche prodotto cose come tag di risate ed etichette non thailandesi; nessuna delle due è ricomparsa su questa clip. Inoltre sul thailandese una volta ha raggiunto il suo limite di lunghezza dell'output.
• Soniox è a sua volta un trascrittore in stile grande modello linguistico. In generale temiamo che motori come questo levighino le parti che non riescono a sentire. Non l'abbiamo visto in thailandese, ma non abbiamo nemmeno controllato riga per riga.

Problemi aperti

• Il thailandese non segna i confini tra le parole con gli spazi e non abbiamo ancora un segmentatore di parole thailandese, quindi il nostro passaggio di allineamento lavora a livello di frase ed è piuttosto grossolano.
• Nessuna delle tre clip è una vera intervista di ricerca.
• La precisione del motore principale sui diacritici va ancora verificata.