Greco: perdi gli accenti e metà delle parole va in pezzi

Una volta dato a Doubao il codice di lingua greco corretto, ha prodotto vero greco, e il significato corrispondeva. Ma ogni vocale con l'accento (il tonos) spariva del tutto. κάνεις diventava κνεις, έχουμε diventava χουμε, e Μπήκε si riduceva a Βκη. Circa metà delle parole usciva rotta.

Il nostro primo sospetto era che fosse la nostra elaborazione a togliere gli accenti. Non era così. Nella stessa pipeline gli altri quattro motori mantenevano gli accenti intatti (da 81 a 87 ciascuno); Doubao ne aveva zero. È il comportamento di Doubao stesso. Non ha inventato nulla né ribaltato alcun significato. Era semplicemente troppo rotto per fare da traccia di riferimento.

Gli spezzoni di test: tutti e quattro sul versante chiaro

• Dogtooth (Κυνόδοντας, 2009), due scene: cinque persone che parlano intorno a un tavolo da pranzo, piene di numeri; e la visita di una guardia giurata seguita dalle domande mediche di un padre, con scambi rapidi e una lunga parola medica per l'appendicite (σκωληκοειδίτιδα).
• Alps (Άλπεις, 2011), due scene: uno scambio concitato all'accettazione di un ospedale, con il nome Jude Law; e una visita a casa in cui qualcuno legge da una rivista di moda, piena di nomi stranieri come Ferré, Guatemala e Winona Ryder.

Tutti e quattro vengono dallo stesso regista, il cui stile è volutamente freddo e lento: una persona finisce, poi parla la successiva. Sulla nostra scala a tre livelli, la maggior parte di questo materiale è livello base. Abbiamo passato in rassegna più di quaranta film cercando una scena rumorosa con persone che si parlano sopra, e non ne abbiamo trovata una con audio e sottotitoli greci entrambi disponibili.

I motori che abbiamo testato

ElevenLabs Scribe v2, Speechmatics, AssemblyAI e Doubao (el-GR). Durante la revisione abbiamo confrontato anche le trascrizioni di Soniox, da un'esecuzione separata con tutti i motori. Gemini è stato aggiunto ad agosto 2026.

Linee rosse, motore per motore

AssemblyAI ha avuto problemi su tutti e quattro gli spezzoni, e si sono ripresentati quando abbiamo cambiato film:

• Significato ribaltato: "Μπήκε χειρουργείο" (è entrato in sala operatoria) è diventato "Βγήκε η χειρουργία" (l'operazione è uscita). Completamente rovesciato.
• Passaggio perso: nella scena della rivista, il tratto con i tre nomi stranieri mancava del tutto.
• Loop: alla fine, tre parole ammucchiate su un unico timestamp, ripetute.
• Parole inventate: Jude Law è diventato un nome che non esiste, e in "annaffia la yucca" la yucca si è trasformata in una parola inventata, Ιούκαντ.

Speechmatics ha perso per lo più articoli e preposizioni, il tipo di errore più sicuro. Ma ne ha fatti due non sicuri: nella scena della rivista, "intervista con Winona Ryder" è diventato l'inglese "Coming soon"; in ospedale, "un altro uguale" è diventato "e la verità". Ha anche sentito "vuoi un caffè?" (Θες καφέ) come "ieri caffè" (Χθες καφέ).

ElevenLabs: nessuna allucinazione. Ha scritto correttamente la lunga parola medica, ha azzeccato Jude Law e tutti e tre i nomi stranieri della rivista (a Ferré mancava una lettera).

Cosa abbiamo scelto, e perché

Principale: ElevenLabs Scribe v2. Il tasso di errore più basso su tre dei quattro spezzoni; sul quarto ha perso solo per come ha scritto i numeri. Letto riga per riga, non ha fatto quasi errori.

Riferimento 1: Speechmatics. Un secondo posto stabile su tutti e quattro gli spezzoni, vicino al principale. La maggior parte dei suoi errori erano omissioni, e quelli pericolosi erano isolati.

Riferimento 2: Soniox. Migliore di AssemblyAI su tutti e quattro gli spezzoni, con gli accenti intatti.

Riferimento 3: Gemini. Nel turno di agosto non ha avuto linee rosse sulla scena della cena e lì ha avuto il tasso di errore più basso, l'11.9%. Sulla scena della visita a casa ha fatto uno scivolone, trasformando "schnitzel" (Σνίτσελ) in "di solito" (Συνήθως).

AssemblyAI non fa parte della formazione fissa, e Doubao è escluso.

Prove contro la nostra scelta

• Speechmatics è elencato prima di Soniox per abitudine, non perché l'abbiamo misurato. Nella revisione, Soniox si leggeva almeno bene quanto Speechmatics su tre spezzoni. Con entrambe le tracce attive, per ora l'ordine non conta. Se un giorno dovessimo tenerne solo una, dovremo confrontarle di nuovo.
• Il "Coming soon" di Speechmatics è inglese uscito dal nulla, e non è una cosa da poco. Resta perché è successo una volta su quattro spezzoni, e perché Doubao non si può usare per il greco, quindi ci sono pochi motori a poterlo sostituire.
• Tra i quattro motori originali, Speechmatics aveva il tasso di errore più basso sulla scena della cena.

Ancora aperto

• Nessuno spezzone rumoroso con parlato sovrapposto. È la lacuna più grande. AssemblyAI ha inciampato perfino su spezzoni così chiari; come regga un qualsiasi motore in una stanza rumorosa, non lo sappiamo.
• Nessun materiale di intervista. Abbiamo trovato una produzione greca con ottimi sottotitoli adatta allo scopo, ma l'unica copia "completa" online aveva l'audio sbagliato, quindi abbiamo dovuto rinunciarci.