Spagnolo: il motore che il nostro stesso codice faceva sembrare rotto

Una delle nostre prime conclusioni sullo spagnolo diceva: "Doubao crolla sullo spagnolo difficile, tasso di errore del 98.7%." Su quello spezzone aveva prodotto un guazzabuglio di cinese e inglese.

Il problema si è rivelato nostro. Stavamo mandando a Doubao il codice di lingua es-ES (lo spagnolo parlato in Spagna). Doubao non accetta quel codice. Non ha nemmeno restituito un errore; è ripiegato in silenzio sul cinese. Siamo passati a es-MX (spagnolo messicano) e abbiamo rifatto tutti e quattro gli spezzoni. Doubao non ha prodotto frasi inventate, ha mantenuto la maggior parte delle forme verbali argentine e ha battuto Speechmatics, il motore che l'aveva sostituito.

Il "crollo" originale si basava su un solo spezzone. In seguito, i "crolli" di Doubao in altre nove lingue si sono rivelati dovuti alla stessa causa.

Gli spezzoni di test

Quattro scene da film di tre paesi:

• El Método (2005, Spagna): una stanza di candidati a un posto di lavoro che litigano su chi sia la talpa, in spagnolo castigliano.
• El crimen del Padre Amaro (2002, Messico): preti che discutono di una partita di calcio con la TV accesa sotto, finché la discussione diventa un'accusa di collusione con dei fuorilegge.
• Nueve Reinas (2000, Argentina): una lite urlata su un'eredità, più una scena in cui si truffa un'anziana. Gli argentini usano il voseo, che cambia la coniugazione dei verbi.
• La Comunidad (2000, Spagna): vicini che si accalcano su una porta e urlano dopo aver trovato l'appartamento di un inquilino morto.

Trattiamo La Comunidad come campione del livello più difficile; gli altri tre stanno tra il livello intermedio e il più difficile. Il livello base non è coperto (i livelli sono spiegati nel primo articolo).

I candidati

ElevenLabs, AssemblyAI, Doubao, Speechmatics (due modelli), Soniox, Gladia (due modelli), Deepgram, FunASR, Qwen e, più tardi, Gemini.

Le sei linee rosse, motore per motore

Negazione ribaltata. La linea rossa più frequente in spagnolo. In El Método, Speechmatics ha trasformato "Quiero probar cosas nuevas" (voglio provare cose nuove) in "No quiero" (non voglio), e "si hay un topo" (se c'è una talpa) in "Soy un topo" (sono io la talpa). Gladia ha trasformato "Apaguen ya esa tele" (spegnete quella TV) in "¡No apaguen" (non spegnetela). Deepgram ha trasformato "no sé" (non lo so) in "lo sé" (lo so).

Parole e frasi inventate. Gladia ha sentito "nuestra situación laboral" (la nostra situazione lavorativa) come "nuestra situación, Laura", inventando una donna di nome Laura. Deepgram ha trasformato "porque está sola" (perché è sola) in "orquesta sola", evocando un'orchestra.

Deriva di lingua. Il modello Melia-1 di Speechmatics ha scritto "Soy abogado" (sono avvocato) come il portoghese "Sou advogado", e ha fatto passare al portoghese l'intero finale di La Comunidad. Spagnolo e portoghese sono abbastanza vicini che impostare esplicitamente la lingua non l'ha fermato.

Passaggi persi. Deepgram ha saltato il chiacchiericcio sovrapposto sul calcio all'inizio di Padre Amaro e ha tagliato il culmine delle urla alla fine di La Comunidad.

Accenti appiattiti. Non è una linea rossa, ma conta per le interviste latinoamericane. Soniox ha cambiato gli argentini "Oíme / hablás / andás" nei neutri "Óyeme / hablas / andas". ElevenLabs e AssemblyAI hanno mantenuto gli originali.

Ripetizioni. Gladia ha mostrato i primi segni di ripetizione della stessa parola sugli spezzoni spagnoli. Nessuno degli altri l'ha fatto su questi quattro spezzoni.

C'erano anche notizie rassicuranti. La Comunidad è la scena più rumorosa, eppure sei motori sono convergiti sullo stesso dialogo e nessuno ha inventato nulla. Il sottotitolo ha un'unica battuta, "Habrán dejado el grifo abierto", e tutti e sei hanno trascritto la frase completa così come è stata effettivamente pronunciata, cioè più di quanto riporti il sottotitolo.

Cosa abbiamo scelto

Traccia principale: ElevenLabs Scribe v2. Solido su tutti e tre gli accenti, il migliore nel mantenere il voseo argentino, e nessuna frase inventata né significato ribaltato su nessuno dei quattro spezzoni.

Tracce di riferimento, in ordine di priorità:

1. AssemblyAI (universal-2): nessuna frase inventata e nessun ribaltamento su nessuno spezzone; il più pulito e completo del gruppo.
2. Doubao (con il codice es-MX): nessuna frase inventata e nessun crollo su quattro spezzoni, e la maggior parte delle forme verbali argentine intatta. Ha recuperato parole reali che i sottotitoli compressi avevano omesso (complacencias, rumbos), e ha azzeccato la battuta che Deepgram aveva trasformato in un'orchestra.
3. Gemini: aggiunto il 26 agosto 2026.

Speechmatics è ora un ripiego d'emergenza. Non inventa, ma ha ribaltato due battute in El Método ed è stato il più debole sullo spezzone argentino.

Prove contro la nostra scelta

• Anche Doubao ha ribaltato una battuta, nello stesso punto di Speechmatics. In El Método, anche Doubao ha scritto "Quiero" come "No quiero". Speechmatics non gira in produzione, quindi questa battuta in particolare non riceverà due voti sbagliati. Ma abbiamo visto più motori sbagliare nello stesso punto in cinque lingue, e quando succede un semplice voto a maggioranza sceglie la risposta sbagliata. Per questo la nostra fase di fusione non risolve le negazioni a maggioranza: senza prove solide, la battuta viene segnalata a una persona.
• Gemini ha i suoi ribaltamenti in spagnolo. In Padre Amaro ha trasformato "spegnete la TV" in "non spegnete la TV" e "non lo so" in "lo so". Le altre tre tracce li hanno azzeccati entrambi. In La Comunidad ha cambiato "hanno lasciato il gas aperto" in "hanno lasciato la casa aperta", che non si lega più alla battuta successiva su tutti che saltano per aria.
• Qwen è stato pulito in spagnolo, e l'abbiamo comunque scartato. Su quattro spezzoni non ha avuto loop né frasi inventate, e ha mantenuto ogni forma verbale argentina. L'abbiamo lasciato fuori perché non ha timestamp a livello di parola, appartiene alla stessa famiglia di grandi modelli di Gemini ed era meno stabile dei nostri tre attuali sull'audio pulito.

Domande aperte e limiti

• In America Latina abbiamo testato solo Messico e Argentina. Non ci sono spezzoni per gli accenti caraibici, colombiani, cileni o altri.
• Tutti e quattro gli spezzoni vengono da film. Nessuno è un'intervista reale e nessuno è nel livello base.
• Quando Doubao riceve un codice di lingua che non accetta, non solleva un errore; produce semplicemente un guazzabuglio. Ora il codice è corretto, ma questo tipo di problema non compare mai nei log degli errori. Lo si scopre solo leggendo l'output.