Vietnamita: la "alucinación" era una vendedora del mercado

Al final de una escena de mercado de nuestras pruebas en vietnamita, Doubao escribió una frase que los subtítulos no tienen: "Ai mua gà kìa", más o menos "¿quién compra pollo?". El primer informe la registró como alucinación. En la revisión resultó ser una vendedora real pregonando de fondo. Los subtítulos la omitieron, y Doubao la oyó.

No hay muchas pruebas para este idioma, solo dos clips válidos. Esto es lo que nos dicen y lo que no.

Los clips de prueba

Dos películas vietnamitas, puntuadas contra los subtítulos en vietnamita para personas sordas y con discapacidad auditiva de Netflix:

• Furie (2019): cobro de deudas en un puesto de empeños de un mercado y luego una acusación de carterismo. Varias personas intercambiando insultos rápido en un dialecto del sur, ruido de mercado, voces solapadas. Nivel máximo en nuestra escala de dificultad de tres niveles.
• Song Lang (2018): entre bastidores de una compañía de ópera tradicional, con admiradores que se pasan a charlar. Intercambios rápidos con ruido de público. Nivel medio, y mucho más claro que el primero.

Queríamos dos clips más con conversación más densa. Todas las "películas completas" que encontramos en YouTube eran o bien remontajes de algún otro canal que no coincidían con los subtítulos, o bien estaban bloqueadas tras una verificación de edad, y los canales de los propios estudios solo tienen tráileres. Nos quedamos en dos en lugar de rellenar el conjunto con audio que no podíamos verificar.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Doubao y Speechmatics en la primera ronda. Soniox se evaluó durante una revisión posterior. Gemini se probó por separado.

Dónde cruzaron líneas rojas los motores

Pasajes perdidos. AssemblyAI lo hizo en los dos clips. Se saltó por completo las cuatro primeras frases de Song Lang, que es la razón principal por la que quedó último en el clip claro.

Sustituciones que se convierten en nombres. AssemblyAI escribió dị ứng ("alergia") como Dĩ Ấn, que se lee como el nombre de una persona, tres veces. En Furie convirtió el nombre Mai en công an ("policía"), ăn cắp ("robar") en Anh Cất, y tang chứng ("prueba") en ăn trứng ("comer huevos"). Toda la escena trata de si alguien robó algo, y con esos errores la historia cambia.

Frases inventadas. Nuestro motor principal, ElevenLabs, se inventó dos nombres que no existen en el punto más ruidoso y solapado cerca del final de Furie, junto con una frase, Họ đang buôn bán ("están haciendo negocios"). Speechmatics abrió Song Lang con un ca sĩ ("cantante") que nadie dijo.

Soniox no tuvo ningún error de línea roja de ningún tipo en ninguno de los dos clips.

Qué elegimos

Principal: ElevenLabs Scribe v2. En el grupo de cabeza en los dos clips, y el más completo durante el principio y la parte central.

Referencias, por orden: Doubao, Soniox, Gemini. Las tres se ejecutan sobre cada archivo en vietnamita.

• Doubao: empatado con el principal en primer lugar en los dos clips y el más cercano a los subtítulos. Su única "alucinación" no sobrevivió a la revisión.
• Soniox: sustituyó a AssemblyAI. Sin errores de línea roja, 9,1 % en el clip claro, y el que más contenido recuperó en el ruidoso.
• Gemini: nuestros clips de cine vietnamita son todos discusiones y escenas multitudinarias, que dicen poco sobre una conversación normal. Así que pasamos cinco minutos de un pódcast vietnamita por Gemini y por el principal y los contrastamos entre sí. Ambos produjeron exactamente 1.018 palabras. Gemini cometió un error real: chôn ("enterrar") se convirtió en trốn ("esconderse").

Pruebas en contra de nuestra elección

• El motor principal inventó contenido al final de Furie. En vietnamita no se puede dar por hecho que el principal no se inventa cosas; la cola ruidosa de una grabación necesita que las pistas de referencia la comprueben.
• Cuando Gemini se probó solo con estos dos clips de cine, el veredicto fue "no añadir". Se revirtió tras la prueba del pódcast, y ese pódcast no tenía transcripción de referencia, así que Gemini y el principal solo se contrastaron entre sí.
• Un clip es extremadamente ruidoso y otro bastante claro. No tenemos nada intermedio.

Problemas abiertos

Valoramos nuestra confianza en la configuración de este idioma como media, por una razón sencilla: dos clips no bastan para afirmar que algo es sistemático. Los subtítulos de dos clips más están listos; lo que falta es audio con licencia que coincida con ellos. Cuando lo tengamos, el mismo método puede llevar el conjunto a cuatro.