Turco: come un aggiornamento del modello ha rovinato un curriculum pulito

In turco AssemblyAI era partito con un curriculum pulito: quattro clip e nemmeno una battuta in cui capovolgesse il significato. Poi il suo produttore ha rilasciato una nuova generazione del modello e per un breve periodo siamo passati a quella. Tutte e quattro le clip turche sono peggiorate, alcune con un tasso di errore quasi doppio, e ha trasformato l'ordine indirin ("abbassalo") in indirmez ("non lo abbasserà"). Il curriculum pulito è finito lì. Siamo tornati al modello precedente.

Stesso motore, versione diversa, e la conclusione potrebbe non valere più. È questo lo sfondo su cui è impostato il turco.

Le clip di prova

Quattro scene di film turchi di circa un minuto e mezzo ciascuna, valutate rispetto ai sottotitoli turchi per sordi e ipoudenti:

• Vizontele (2001): il capo di un villaggio che accoglie dei visitatori, con risposte veloci, interruzioni e urla.
• Düğün Dernek (2013): un cammello ha perso la sposa; quattro o più persone parlano insieme, borbottano e imprecano.
• G.O.R.A. (2004): l'imbarco su un'astronave in una commedia di fantascienza, ordini che si accavallano sopra fitti effetti sonori e musica.
• Bergen (2022): una madre biologica si presenta per un confronto; scambi rapidi ed emotivi nel dialetto di Adana, con imprecazioni.

Le prime due sono al livello massimo della nostra scala di difficoltà a tre livelli e le altre due al livello intermedio. Non c'è una clip facile.

I motori che abbiamo provato

Quattro nel primo round: ElevenLabs Scribe v2, AssemblyAI, Speechmatics e Doubao. Soniox è stato valutato in una revisione successiva. Gemini è stato testato separatamente.

Dove i motori hanno superato le linee rosse

Frasi inventate. Speechmatics ne ha prodotte due o tre in Vizontele. Hiç lüzüm yok ("non ce n'è bisogno") è diventato İç sesim yok ("non ho una voce interiore"), e ha attaccato gazeteye getirip ("portalo al giornale") a una frase che non lo dice.

Una negazione aggiunta. Stesso motore, stessa clip: Fikri benim adım ("mi chiamo Fikri") è tornato con uno yok ("non") in fondo.

Finali persi. Su due clip difficili la trascrizione di Gemini va bene fino all'ultimo tratto, poi mancano da 20 a 25 parole, in un caso quattro frasi intere. Su entrambe si è classificato secondo per WER, quindi il punteggio non dà alcun indizio.

Deriva linguistica. Le prime esecuzioni di Doubao in turco sono tornate come inglese senza senso, per esempio "I'm shaking these diseases". Non avevamo inviato un codice di lingua turco. Con tr-TR impostato, tutte e quattro le clip sono tornate in turco coerente.

AssemblyAI (con il modello precedente) e Doubao non hanno avuto frasi inventate né inversioni nelle quattro clip.

Cosa abbiamo scelto

Principale: ElevenLabs Scribe v2. Primo su tutte le clip tranne G.O.R.A., dove gli effetti sonori appiattiscono tutti.

Riferimenti, in ordine: AssemblyAI, Doubao, Gemini. Tutti e tre vengono eseguiti su ogni file in turco.

• AssemblyAI: il motore più preciso dopo il principale, senza frasi inventate né inversioni. Fraintende i nomi, per esempio Belgin come belli ("ovvio"), ma le altre tracce possono cogliere questo tipo di errore.
• Doubao: ultimo per WER su tutte le clip, fino al 28,6% sulla scena in dialetto. Quasi tutti i suoi errori sono di ortografia. Scrive la pronuncia dialettale così come la sente, per cui pabuç diventa pafuç. Ma non ha mai inventato né invertito nulla. Per una traccia di riferimento ci importava di più se un motore scrive cose sbagliate con sicurezza che la sua posizione in classifica.
• Gemini: funziona come terzo riferimento.

In revisione Soniox è andato bene: nessun errore da linea rossa di alcun tipo, e secondo tra i motori non principali. Non l'abbiamo inserito, perché AssemblyAI è già il motore non principale più forte e un cambio non avrebbe portato nulla. È il primo della fila come riserva e subentrerebbe se Doubao cominciasse a peggiorare i risultati in produzione.

Prove contro la nostra scelta

• La storia dell'aggiornamento mostra che il "nessuna inversione" di AssemblyAI è un risultato che vale per una versione del modello. Una nuova versione significa rifare i test.
• Doubao è il più debole dei quattro. Con dialetto marcato e parlato veloce aggiunge informazioni limitate.
• Gemini ha una sola clip di prova turca in stile conversazione, che non basta per giudicarlo. Su G.O.R.A. il finale mancante è arrivato insieme a cambiamenti di significato: "togliti gli occhiali" è diventato "cavati gli occhi", e parole come Ölmüş ("è morto") sono comparse dal nulla.
• Il rapporto registra una piccola espressione inventata dal principale su ciascuna delle prime due clip. Ma la revisione ha anche scoperto che questi sottotitoli tralasciano molto, e per questo motivo due volte del parlato reale era stato giudicato erroneamente un'allucinazione. Non possiamo essere del tutto sicuri che quei due casi vadano a carico del principale.

Problemi aperti

• Tutte e quattro le clip sono film. Non c'è nessuna intervista reale e nessuna conversazione quotidiana facile.
• I sottotitoli tralasciano così tanto che, quando più motori concordano su qualcosa che manca nei sottotitoli, bisogna ricontrollare i sottotitoli prima di parlare di allucinazione.
• I finali mancanti di Gemini non si vedono nel punteggio. Li scopre solo una lettura riga per riga.