Húngaro: por qué nos quedamos con el motor que escribió «billete» 23 veces

La película húngara Kontroll (2003) tiene una pelea por los billetes en el metro. El revisor no deja de gritar "Jegy!" (¡billete!). AssemblyAI escribió la palabra 23 veces seguidas, y todo el tramo de diálogo posterior desapareció.

En otro fragmento, con intercambios rápidos para pedir en una cafetería, el mismo motor no entró en bucle ni una vez. Lo mantuvimos para el húngaro. Aunque los argumentos para mantenerlo resultaron más débiles de lo que pensamos al principio.

Los fragmentos de prueba

Cinco fragmentos, todos de películas:

Los tres últimos proceden de la misma película. Es difícil encontrar fuentes completas y limpias de películas húngaras recientes; la única copia completa de una película que queríamos estaba bloqueada tras una restricción de edad.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR y Doubao, con Gemini añadido más tarde.

El húngaro no es uno de los idiomas que admite Doubao, y los cinco fragmentos volvieron como basura. Deepgram y FunASR produjeron muy poco texto, aproximadamente una décima parte y tres décimas partes del número de palabras de la referencia, lo que significa que la mayor parte del audio simplemente no se transcribió.

Las líneas rojas

Bucles: la racha de "Jegy" es uno. En el fragmento del taller de neumáticos, AssemblyAI repitió "Mi az hogy mi között van" 18 veces, tragándose seis líneas distintas. Gemini también tuvo varias rachas de repetición en Kontroll.

Negaciones invertidas: Speechmatics convirtió "Ne csináljátok a fotót" (no hagáis esa foto) en "Csináljátok a fotót" (hacedla). AssemblyAI convirtió «esta fiesta es increíble» en «por qué esta fiesta no está nada bien». En la cafetería oyó megvennék (lo compraría) como megvernék (le daría una paliza). Gemini convirtió «no te metas» en «adelante, métete».

Frases alucinadas: donde la música de la fiesta tapaba las voces, Speechmatics produjo una carcajada y una frase que no están en la película. AssemblyAI sustituyó una línea entera de Kontroll por otra distinta. Gemini añadió en el taller de neumáticos una línea que nadie dijo, «pagaremos el viaje».

Pasajes perdidos: en la cafetería, AssemblyAI se perdió dos intercambios por walkie-talkie.

Contenido insertado: en el mismo fragmento, Gemini metió la llamada del walkie-talkie en medio de la conversación seis veces.

Deriva de idioma: solo Doubao.

ElevenLabs no tuvo bucles ni inversiones en los cinco fragmentos. Sus errores fueron sustituciones por palabras que suenan parecido, como színed por szénád.

Qué elegimos

• Motor principal: ElevenLabs Scribe v2.
• Motores de referencia: AssemblyAI, Soniox, Gemini.

AssemblyAI se quedó porque sus bucles solo ocurrieron en broncas largas y muy igualadas. En el diálogo entre dos personas y en el fragmento de la cafetería no entró en bucle ni perdió tramos enteros. En las entrevistas reales rara vez hay varias personas gritándose unas a otras durante mucho rato.

Soniox sustituyó a Speechmatics, que se inventa frases con ruido y ha perdido una negación; Speechmatics es ahora un respaldo de emergencia. En la revisión, Soniox superó a AssemblyAI en los cinco fragmentos, y cuando fallaba, tendía a producir fragmentos visiblemente rotos.

Gemini se añadió a todos los idiomas en agosto. Falla de forma distinta a los motores acústicos, así que los dos tipos pueden revisarse entre sí.

Pruebas en contra de nuestras elecciones

En húngaro hay bastantes.

• La afirmación de que AssemblyAI está limpio en conversación se resintió por su propio error: «comprar» se convirtió en «dar una paliza» en el fragmento de la cafetería, el más parecido a una entrevista.
• La revisión encontró a Soniox mejor que AssemblyAI en los cinco fragmentos, y aun así nuestra configuración sigue poniendo a AssemblyAI por delante de Soniox. El orden va en contra de las pruebas.
• Gemini solo tuvo un fragmento de conversación para juzgarlo, y allí estuvo limpio. En las dos escenas de grupo tuvo una inversión, una frase inventada y varios bucles, y en la cafetería insertó la llamada del walkie-talkie seis veces.
• Solo por WER, Speechmatics obtuvo la puntuación más baja tanto en el fragmento de dos personas como en la cafetería (20.5% y 33.5%, frente a 27.6% y 36.3% de ElevenLabs). No elegimos por esa cifra; consulta El WER miente.

Qué sigue pendiente

• Un fragmento de conversación no es prueba suficiente para Gemini en húngaro. Necesita más pruebas.
• Tres de los cinco fragmentos proceden de una sola película, lo que limita la variedad de escenas.
• No se ha decidido si reordenar los motores de referencia para que coincidan con la revisión.