Ruso: la frase en la que fallaron los dos motores de referencia

El ruso fue donde pillamos por primera vez a dos motores de referencia cometiendo exactamente el mismo error en la misma frase mientras el motor principal acertaba. Si hubiéramos resuelto esa frase por mayoría de votos, la transcripción habría quedado mal.

Así es como probamos el ruso y lo que cambió aquel episodio.

Los clips de prueba

Cuatro escenas de películas rusas, puntuadas contra los subtítulos rusos para personas sordas y con discapacidad auditiva de las propias películas. Elegimos las cuatro por su dificultad, así que en nuestra escala de tres niveles todas están arriba del todo:

• Hermano (1997): un hombre gritando a través de una puerta, varias personas interviniendo fuera, ruido de mercado de fondo.
• Hermano 2 (2000): una conversación telefónica rápida repleta de nombres, lugares y números, con una radio sonando de fondo.
• Leviatán (2014): un puñado de hombres conspirando alrededor de una mesa, con frases solapadas.
• Kokoko (2012): una sala llena de mujeres trabajando y charlando, hablando unas encima de otras.

No publicamos el audio. Ninguna de ellas es una conversación normal entre dos personas a ritmo normal, algo que vuelve a salir más adelante como limitación.

Motores que probamos

Ocho: ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Doubao, Soniox y Deepgram, más FunASR y Qwen como controles. Gemini se probó después por separado.

Dónde cruzó cada motor una línea roja

Juzgamos a los motores sobre todo por seis tipos de fallo: frases inventadas, negaciones invertidas, bucles de repetición, palabras insertadas, pasajes perdidos y deriva hacia otro idioma. En ruso vimos estos:

Palabras insertadas. En la escena de Hermano, Speechmatics añadió un apelativo, Доченька ("hijita"), donde nadie lo dice, y convirtió el verbo malsonante охерел en el nombre Кирилл. En la revisión contamos al menos ocho invenciones así en toda su salida en ruso, alguna en cada clip. Deepgram también inventa: en "no lo atravesarías ni con un cañón (пушки)" oyó un nombre de ciudad, Пушкино.

Una negación invertida. En Leviatán alguien dice «сегодня не в нашу пользу всё решится» ("hoy no se resolverá a nuestro favor"). AssemblyAI perdió el не y escribió «сегодня они в нашу пользу все решатся», que dice lo contrario. El mismo pasaje tiene otras cuatro o cinco negaciones y acertó todas, así que lo tratamos como un caso aislado y no como un patrón.

Una frase sustituida. «Двух жён в могилу свёл» ("llevó a la tumba a dos esposas") salió de Soniox como «Да уже он в могилу свёл», con otro sujeto. Al principio se anotó solo contra Soniox. En la revisión, cinco de los ocho motores fallaron esa frase. Ahí el audio es sencillamente difícil.

Deriva de idioma. La primera ejecución de Doubao en ruso produjo un revoltijo de inglés, topónimos japoneses y chino. Esa fue culpa nuestra: el adaptador no enviaba un código de idioma ruso, así que el motor volvió en silencio al chino. Con ru-RU configurado, los cuatro clips volvieron como ruso coherente.

Bucles de repetición: AssemblyAI no produjo ninguno en los cuatro clips.

Qué elegimos

Principal: ElevenLabs Scribe v2. El WER más bajo en tres de los cuatro clips. Perdió el primer puesto en Hermano 2 sobre todo porque transcribió la radio de fondo, tanto al locutor como la letra de la canción, que los subtítulos omiten, así que todo aquello contó como error. Sus errores en ruso fueron sobre todo palabras perdidas, como un отсюда ("de aquí") que faltaba. No lo vimos inventar ninguna frase.

Referencias, por orden: AssemblyAI, Doubao, Gemini. Las tres se ejecutan sobre cada archivo en ruso.

• AssemblyAI: ni bucles ni ristras de texto inventado en cuatro clips, y la puntuación más baja en Hermano 2, el clip más denso en nombres.
• Doubao: una vez corregido el código de idioma, ni basura ni palabras insertadas; cuando se equivoca, se equivoca en una palabra, como oír торге ("regateo") como твороге ("requesón"). Viene de ByteDance y de un linaje técnico muy distinto al de AssemblyAI, así que los dos tienden a fallar en sitios distintos.
• Gemini: nuestros clips de cine ruso son todos gritos y escenas multitudinarias, que dicen poco sobre una conversación normal. Así que tomamos cinco minutos de una entrevista de televisión real (Vladímir Pózner con Edvard Radzinski) y comprobamos Gemini línea por línea contra el principal. Ningún texto inventado, ningún significado invertido, ningún bucle. Acertó las cuatro citas literales y todos los nombres propios, incluidos Cambridge, Oxford y Nicolás II, y se saltó tres asentimientos del tipo "por supuesto".

Pruebas en contra de nuestra elección

• AssemblyAI no está limpio en ruso. En la revisión tuvo tres errores peligrosos, entre ellos la negación de arriba y la sustitución completa de «Кто? Зинка я, открывай» ("¿Quién es? Soy Zinka, abre") por «Куда ты отдаёшь, Зинка».
• El caso de dos motores que coinciden y ambos se equivocan es justo la razón por la que no se puede confiar en una votación a tres. Los errores de los motores no son independientes, y en negación y polaridad el lado con más votos no tiene por qué tener razón.
• En Hermano 2, Gemini metió cuatro frases de la radio de fondo en la transcripción y convirtió "¿tienes un abono de diez días?" en "tengo un abono de diez días". Fue el peor de los cuatro en ese clip, con un 43,6 %. Como se ha dicho arriba, el principal también recogió la radio en otra ejecución. En una entrevista real, eso equivale a transcribir la televisión de la sala de reuniones como si lo hubiera dicho el participante.
• Soniox obtuvo un 12,3 % en Leviatán, por debajo del principal, y aun así lo descartamos porque la revisión encontró sustituciones de frases enteras. Guíate solo por la puntuación y llegarás a la decisión contraria.

Problemas abiertos

• Nuestros revisores no leen ruso con la soltura suficiente para juzgar cada frase. La primera pasada solo comprobó lo que se puede juzgar objetivamente: ruso coherente o no, caracteres basura, palabras insertadas, frases sustituidas. La negación invertida apareció más tarde, cuando comparamos cada palabra negativa una por una. Puede haber errores de significado que aún no hemos encontrado.
• Los cuatro clips son escenas de cine difíciles. No tenemos ningún clip puntuado de una o dos personas hablando a ritmo normal. La entrevista de Gemini no tenía transcripción de referencia, así que solo se comprobó contra el principal.
• En el momento de las pruebas no había ninguna salvaguarda específica contra el audio de fondo que acaba en la transcripción.