Italiano: cuando nuestra pista principal oyó un lamento como un elogio

En I soliti ignoti, una banda de aspirantes a ladrones acaba de ver unas imágenes grabadas a escondidas, y uno de ellos dice, frustrado, "é finita la pellicola": se ha acabado la película. Nuestra pista principal, ElevenLabs, escribió "il film è bellissimo", «la película es preciosa». El lamento se convirtió en elogio.

De los diez motores que se ejecutaron sobre este fragmento, solo Doubao acertó esa línea. AssemblyAI oyó "benzina" (gasolina), Gladia oyó "bestia" (bestia) y Speechmatics se la saltó. El italiano es nuestro ejemplo más claro de una pista de referencia que corrige a la pista principal.

Los fragmentos de prueba

Cuatro escenas de película que cubren cuatro acentos regionales:

• I soliti ignoti (1958, Roma): una banda viendo imágenes de vigilancia, estudiando una caja fuerte y luego regateando con un cerrajero, con mucho habla superpuesta.
• Baarìa (2009, Sicilia): una escena concurrida en la plaza de un pueblo con un barbero, una oficina de correos y un ejemplar prestado de Marx.
• Ammore e malavita (2017, Nápoles): pésames en un funeral y luego una viuda poniéndole precio a la venganza.
• Il Capitale Umano (2013, Milán/norte): el consejo de un teatro debatiendo su programación, en italiano estándar claro.

En los tres niveles de la primera entrada, Il Capitale Umano está cerca del nivel intermedio y las otras tres están en el más difícil. El nivel básico no está cubierto.

Varias de las películas tienen banda sonora, números musicales o canciones de fondo, así que recortamos alrededor de los pasajes en los que la música tapa el diálogo.

Los candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dos modelos), Soniox, Gladia, Deepgram, FunASR, Qwen y, más adelante, Gemini.

Las seis líneas rojas, motor por motor

Pasajes perdidos. Deepgram se vino abajo en los tres fragmentos difíciles. I soliti ignoti tiene 324 palabras en la referencia; Deepgram devolvió 134. Baarìa tiene 121; devolvió 64. La escena de Nápoles tiene 103; devolvió 15, y perdió por completo los primeros 90 segundos de pésames y acusaciones.

Significado invertido. Además de la línea de la pista principal, Gladia convirtió "è stato Ciro che ha venduto Vincenzo" (fue Ciro quien vendió a Vincenzo) en una línea sobre ser traicionado por "vincenza", invirtiendo quién traicionó a quién. Speechmatics convirtió "darà un milione" (ofrecerá un millón) en "Non era 1.000.000", añadiendo una negación.

Palabras y frases inventadas. Speechmatics convirtió el apellido del jefe criminal, Strozzalone, en "stronza", un insulto dirigido a mujeres. Gladia convirtió "ho fatto un regalo" (hice un regalo) en una palabrota. Soniox insertó en la escena de Nápoles una frase entera que nadie dice, "Il ciccio di Masellini".

Bucles de repetición. Qwen cayó en un bucle, repitiéndose diez veces en un punto, y además se comió la palabra de negación mica, invirtiendo un significado.

Deriva de idioma. Véase el apartado sobre Gemini más abajo.

La escena de Milán es el caso de control. Con italiano estándar claro, los siete motores estuvieron limpios, e incluso Deepgram aguantó. Todos los errores dañinos de arriba vinieron del habla superpuesta o de un dialecto cerrado.

Qué elegimos

Pista principal: ElevenLabs Scribe v2. Limpio en tres de los cuatro fragmentos, y muy por delante de todos con el dialecto napolitano. La inversión de I soliti ignoti es su única línea roja en este idioma.

Pistas de referencia, por orden de prioridad:

1. AssemblyAI (universal-2): ninguna frase inventada, ninguna inversión y ningún desplome en los cuatro fragmentos y los cuatro acentos.
2. Doubao: tampoco frases inventadas, inversiones ni desplomes. Fue el más limpio en los fragmentos de Roma y Sicilia, y el único motor que acertó la línea de la pellicola.
3. Gemini: añadido el 26 de agosto de 2026.

AssemblyAI y Doubao fueron los dos únicos motores de esta ronda que nunca inventaron, nunca invirtieron un significado y nunca se desplomaron en ningún fragmento.

Pruebas en contra de nuestra elección

• La pista principal invirtió una línea clave. Es la prueba más directa en contra de nuestra configuración en italiano. Dependemos de las pistas de referencia para detectarlo, lo que solo funciona si una pista de referencia acierta justo en ese punto.
• Nuestras pruebas sobre Gemini en italiano son escasas. En la prueba de 26 idiomas, el italiano quedó clasificado como «necesita más pruebas»: solo teníamos un fragmento de conversación, y Gemini estuvo limpio en él. En las dos escenas de multitud con mucho dialecto, quedó último las dos veces. En Baarìa, donde la línea real es «Papá, ¿me han invitado?», escribió una frase sin relación que viene a significar «¡Qué pelota tan bonita, cuántos niños, la quiero!». En Ammore, produjo de la nada un pasaje en inglés: "Don't leave us alone, don't be shy. When I was a child, I used to make." Gemini sigue en las pistas de referencia, pero en este idioma las pruebas a su favor se reducen a ese único fragmento de conversación.
• El otro modelo de Speechmatics es menos dañino, pero no inofensivo. Melia-1 no repitió el insulto ni añadió la negación, pero sí repitió "un bianco" cuatro veces.

Preguntas abiertas y límites

• Los cuatro fragmentos son de películas, la más antigua de 1958. El audio está muy lejos de una grabación de entrevista moderna.
• Ningún fragmento de nivel básico y ninguna entrevista real. Gemini, en particular, sigue sin tener una muestra de conversación sólida en italiano.
• Los nombres no se puntuaron. Los motores se equivocan con ellos habitualmente, y de eso se encarga el glosario.