Tailandés: parte de la puntuación de nuestro motor principal era un fallo nuestro

En nuestras pruebas en tailandés, parte de la buena puntuación del motor principal venía de un fallo en nuestro propio código.

Una función de nuestro flujo de procesamiento elimina la puntuación de los extremos de las palabras. Las marcas de vocal y de tono del tailandés son caracteres combinables que se colocan encima o debajo de las letras, y esa función las trataba como puntuación y las borraba. Así que las transcripciones guardadas de ElevenLabs habían perdido todas las marcas de vocal y de tono, y su tasa de error se calculó como si esas marcas no existieran. El fallo está corregido, pero la precisión real de ElevenLabs con los diacríticos tailandeses aún hay que comprobarla por muestreo.

Ten en cuenta esa salvedad en cada número de abajo.

Los clips de prueba

Tres clips, puntuados contra subtítulos en tailandés hechos a mano de la misma fuente:

• Una entrevista de cocina: una o dos personas hablando a ritmo moderado con poco ruido de fondo. Es nuestro clip de base, casi fácil en nuestra escala de dificultad de tres niveles.
• Un reality show: varios invitados hablando a la vez y riendo, con música de fondo y efectos de sonido. Lo clasificamos como nivel medio.
• Un debate al estilo del juego del hombre lobo: gente acusándose, hablando rápido, interrumpiéndose, mezclando palabras en inglés como Seer y defend. Nivel máximo.

Teníamos un cuarto clip, pero al comprobarlo vimos que el audio y los subtítulos estaban desfasados unos 30 segundos, lo que habría supuesto calificar contra respuestas equivocadas, así que lo descartamos. Los subtítulos en tailandés libres, conversacionales y literales son raros, y tres clips es lo máximo que hemos podido encontrar.

Motores que probamos

Diez: ElevenLabs Scribe v2, AssemblyAI, Speechmatics (dos versiones), Doubao, Soniox, Deepgram, Gladia, FunASR y Qwen. Gemini se probó por separado.

Dónde cruzaron líneas rojas los motores

Bucles de repetición. El debate empieza con un estallido de risas que los subtítulos recogen como una risa corta. Tras la risa ฮ่า, Gladia escribió la marca de repetición tailandesa ๆ más de 400 veces seguidas, a lo largo de dos líneas, y luego repitió en ciclo las mismas dos frases cuatro veces. Eso es lo que la llevó al 83,9 %. Nunca entró en un bucle así en los otros dos clips. AssemblyAI también entra en bucle: en la revisión encontramos que había repetido una palabra durante unas 22 líneas en el reality show y repetido en ciclo otra expresión unas 25 veces.

Pasajes perdidos. En el debate, AssemblyAI se saltó grandes tramos, en algunos puntos casi diez segundos sin salida. Quedó último en los dos primeros clips, y en el debate solo el derrumbe de Gladia le evitó el último puesto.

Contenido insertado (retirado). En un momento pensamos que Qwen se había inventado un pasaje al comienzo del debate. En la revisión, los subtítulos resultaron estar desfasados unos 10 segundos al principio, y Soniox, Doubao y FunASR habían transcrito todos el mismo contenido en el mismo lugar. Alguien lo dijo de verdad. Retiramos esa conclusión.

Qué elegimos

Principal: ElevenLabs Scribe v2. Sin derrumbes ni repeticiones desbocadas en ningún clip; 12,6 % en la entrevista de cocina y la puntuación más baja en el reality show. Con la salvedad de arriba.

Referencias, por orden: Soniox, Doubao, Gemini. Las tres se ejecutan sobre cada archivo en tailandés.

• Soniox: el más estable en los tres clips, con la segmentación más limpia, siguiendo los subtítulos línea por línea, sin bucles y sin omisiones grandes.
• Doubao: produce tailandés real, queda a la par de Soniox y del principal en el debate, y deja el préstamo defend tal cual. El informe decía al principio que Doubao no se había ejecutado sobre la entrevista de cocina. Sí se había ejecutado, y en algunos puntos fue más preciso que Soniox ahí; el resultado simplemente nunca llegó a la tabla. Además viene de un linaje técnico distinto al de los dos primeros.
• Gemini: en el debate falló un nombre en el resultado de la votación, y los cuatro motores terminaron a menos de 1,9 puntos unos de otros.

Lo que dejamos fuera: Qwen tuvo la mejor puntuación en el debate (18,3 %), pero devolvió los tres minutos enteros como una sola línea sin marcas de tiempo por palabra, algo que nuestro paso de alineación no puede usar. La puntuación de FunASR también era decente, pero su salida es un bloque continuo de caracteres sin cortes de frase. Gladia queda fuera por los bucles y AssemblyAI por lo que omite.

Pruebas en contra de nuestra elección

• La mayor está al principio: la puntuación en tailandés del principal está inflada, y su precisión real con los diacríticos aún no se ha comprobado por muestreo.
• Nuestros revisores no leen tailandés. El informe solo juzgó lo que se ve sin conocer el idioma: repeticiones desbocadas, saltos bruscos de longitud, fragmentos que faltan, todo devuelto en un solo bloque. Si algún motor invirtió o destrozó el significado de una frase, no lo comprobamos frase por frase.
• Gemini solo tiene un clip de prueba en tailandés de tipo conversación, lo cual no basta. En una ronda anterior también produjo cosas como etiquetas de risa y rótulos que no eran tailandés; ninguna de las dos volvió a aparecer en este clip. El tailandés también llegó una vez a su límite de longitud de salida.
• Soniox es a su vez un transcriptor de estilo modelo de lenguaje grande. En general nos preocupa que motores así alisen las partes que no oyen. No lo vimos en tailandés, pero tampoco lo comprobamos línea por línea.

Problemas abiertos

• El tailandés no marca los límites de palabra con espacios y todavía no tenemos un segmentador de palabras tailandés, así que nuestro paso de alineación trabaja a nivel de frase y es bastante grueso.
• Ninguno de los tres clips es una entrevista de investigación real.
• La precisión del motor principal con los diacríticos aún está por comprobar.