Coreano: tre motori, un'identica negazione sbagliata

Una battuta nei nostri test in coreano è uscita sbagliata esattamente nello stesso modo da tre motori. In quello che dice il parlante non c'è alcuna negazione, eppure Doubao, AssemblyAI e Soniox hanno scritto tutti 쓰지 않았어, una frase con dentro un "non".

Quando tre motori fanno lo stesso errore, il problema è l'audio in quel punto, non un singolo motore. Se avessimo escluso Soniox per questo, avremmo dovuto escludere anche i due motori già in uso. È stato anche un promemoria del fatto che un voto a tre non protegge sulle negazioni.

Gli spezzoni di test

Quattro scene da film coreani, valutate rispetto ai sottotitoli coreani per persone sorde e ipoudenti:

• Memories of Murder, un interrogatorio: tre persone, con risate, gemiti e parlato sovrapposto.
• Memories of Murder, l'interrogatorio finale: quattro o cinque persone, urla e imprecazioni.
• Extreme Job, la scena in cui danno il nome al pollo fritto: più persone che parlano veloci una sopra l'altra, più esultanze.
• The Accidental Detective 2, un briefing con un cliente: quattro persone in un rapido botta e risposta, con una dimostrazione di hacking nel mezzo.

I primi due sono al livello più alto della nostra scala di difficoltà a tre livelli e gli altri due al livello intermedio. Non c'è uno spezzone facile. I primi due vengono da clip ufficiali di scene diffuse dallo studio.

I motori che abbiamo provato

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics nel primo turno. Soniox, Gladia e altri nelle esecuzioni successive. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Significato ribaltato. Oltre all'errore condiviso di cui sopra, Speechmatics ha avuto un ribaltamento tutto suo nella scena del detective, dove 오빠 넣으면 e la negazione 안 오면 ("se non viene") si sono scambiati.

Contenuti inseriti. Nella scena del pollo Speechmatics ha inventato un nome, 박동규야. Il punto debole di Doubao sono i numeri: ha tirato fuori dal nulla "5 존맛" e ha scritto un tratto di pianto come "6 6".

Loop di ripetizione. Nelle risate di Memories of Murder, Doubao ha scritto la risata come ㅎ ripetuto 40 volte. Non è mai crollato così sui due spezzoni di livello intermedio; è successo solo tra risate e urla estreme. Anche Gladia è andato in loop sul coreano. Soniox è stato l'unico motore a non crollare su nessuno dei due spezzoni più difficili.

Passaggi persi. Il problema più grande di AssemblyAI è tralasciare le cose. Salta interi blocchi e spesso restituisce il minor numero di caratteri dei quattro. Inventa raramente, ma perde molto.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Primo su tutti e quattro gli spezzoni, con una media dell'11.6% contro il 17.0% del secondo. È anche l'unico che azzecca regolarmente i nomi.

Riferimenti, in ordine: Doubao, Soniox, Gemini. Tutti e tre girano su ogni file in coreano.

• Doubao: secondo in media, e un secondo posto stabile su entrambi gli spezzoni di livello intermedio. I suoi crolli si sono verificati solo nelle risate estreme, che in un'intervista reale capitano di rado.
• Soniox: ha sostituito AssemblyAI, e non per i punteggi. Abbiamo visto che il tipo peggiore di errore di AssemblyAI era uno che tendeva a fare anche Soniox, spesso nello stesso punto, mentre gli errori esclusivi di AssemblyAI erano i suoi grossi blocchi persi. Sostituirlo con Soniox lascia le tracce di riferimento con meno sovrapposizione in ciò che sbagliano.
• Gemini: gira come terzo riferimento.

Prove contro la nostra scelta

• Il nostro primo report sui quattro spezzoni coreani raccomandava un'altra cosa: Doubao più AssemblyAI, sulla base del fatto che AssemblyAI "perde soltanto, non inventa mai, quindi è il più sicuro". La revisione ha poi mostrato che AssemblyAI era uno dei tre motori dietro la negazione condivisa, quindi "il più sicuro" non reggeva, e Soniox ha preso il suo posto.
• Lo stato di servizio di Gemini in coreano è debole. Quando l'abbiamo testato, il coreano è finito nel gruppo "da non aggiungere". Nella scena del pollo ha cambiato il significato quattro o cinque volte, trasformando "i succhi sono ancora dentro" in "assolvere la carne", e ha tralasciato dei contenuti. Nella scena del detective ha cambiato il significato tre volte, trasformando "pensavo fosse un cadavere" in "pensavo stesse dormendo", e ha perso un "5%". La maggior parte di questi sono sostituzioni che cambiano il significato, che non rientrano nelle nostre sei linee rosse, ma in una trascrizione di intervista sono altrettanto pericolose. Ora è nella configurazione, e va tenuto d'occhio.
• I numeri fantasma di Doubao sono proprio il tipo di cosa che un lettore potrebbe facilmente prendere per dati forniti dal partecipante.

Problemi aperti

• I due spezzoni più difficili all'epoca sono stati verificati solo per tasso di errore e crolli, non riga per riga per il significato.
• Tutti e quattro gli spezzoni sono film. Non abbiamo un'intervista reale. La configurazione riporta ancora una nota secondo cui l'intera pipeline andrebbe eseguita da capo a fondo su un'intervista reale prima dell'uso pieno in produzione.
• Un errore condiviso da tre motori non si può correggere con il voto. Per questo, quando i motori non sono d'accordo sul fatto che qualcosa sia negativo, la nostra fase di fusione non segue la maggioranza; senza prove solide segnala la battuta a una persona.