Ucraniano: 54 segundos de silencio convertidos en una conferencia

Una película ucraniana tiene una escena en un salón donde hay una televisión encendida de fondo y nadie habla durante aproximadamente un minuto. Los subtítulos lo indican con una sola línea: [TV playing in the background].

Soniox escribió 54 segundos de contenido en ese hueco, algo sobre plantas venenosas, atascado en un pequeño bucle a mitad de camino. Speechmatics rellenó 29 segundos. Puede que de verdad estuvieran captando la televisión. Para la transcripción de una entrevista da igual: aparece un pasaje largo de la nada y se lee como si lo hubiera dicho el entrevistado.

Fue la mayor inserción fabricada de todo nuestro conjunto de pruebas. Soniox ha sustituido a otros motores en varios idiomas. No se usa para el ucraniano, y esos 54 segundos son la razón.

Los clips de prueba: encontrarlos fue la mitad del trabajo

• My Thoughts Are Silent (Мої думки тихі, 2019), tres escenas: un interrogatorio por contrabando en la frontera (ruido intenso, fuerte dialecto transcarpático; el nivel más difícil); la búsqueda del pintalabios que viene después (más rápida, más solapamiento; el nivel más difícil); el salón de una profesora (ucraniano estándar, claro; nivel de base).
• Stop-Zemlia (Стоп-Земля, 2021): entrevistas en un aula más escenas de calle. Habla rápida, cambios frecuentes de hablante, ruido de calle. Nivel medio-alto.

El material en ucraniano es difícil de reunir. Las películas recientes tienen licencias muy restrictivas, las películas de guerra a menudo no tienen estreno completo o no tienen subtítulos, y las películas ambientadas en el Donbás están a medias en ruso. Los tres primeros clips tuvieron que salir de una sola película, así que tomamos el cuarto de otra distinta para asegurarnos de que las conclusiones no dependían de una sola película.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics y Doubao (uk-UA). Las transcripciones de Soniox, Deepgram y Qwen salieron de una ejecución aparte con todos los motores y se compararon durante la revisión. Gemini se añadió en agosto de 2026.

Líneas rojas, motor por motor

ElevenLabs: ni bucles, ni alucinaciones, ni inversiones en los cuatro clips. Fue el que mejor manejó el dialecto, p. ej. файні трави ("hierbas buenas") y тя роздеру як жабу ("te despedazo como a una rana").

AssemblyAI: al final de la escena del pintalabios repitió una frase, "Треба цього конючку", tres veces. En la misma escena convirtió подозрітєльний ("sospechoso") en правдивий ("veraz"), casi una inversión, y perdió un pasaje entero en el que se leen unas normas. En el cuarto clip, "А якщо не вступиш?" ("¿y si no entras?") se convirtió en наступиш ("pisar").

Doubao: el informe original decía que no tenía inversiones. La revisión encontró tres errores de nivel inversión: "sospechoso" se convirtió en приємний ("agradable"), "no entras" se convirtió en "pisar", y "no fue allí" perdió su negación. En la calle también insertó una palabrota y la palabra російський ("ruso") que nadie dijo.

Speechmatics: convirtió el ruido de la televisión en diálogo; perdió negaciones dos veces, entre ellas "Це скоріше не пушка" ("esto más bien no es una pistola") convertida en "esto más bien es una pistola"; y escribió reacción сенсорну ("sensorial") en lugar de стресорну ("de estrés").

Soniox: véanse los 54 segundos de arriba.

Qué elegimos y por qué

Principal: ElevenLabs Scribe v2. El más estable en los cuatro clips, sin ninguno de los tres tipos de fallo.

Referencia 1: AssemblyAI. Su bucle ocurrió una vez, solo donde se juntaron dialecto marcado, habla rápida y solapamiento denso. En la escena clara del salón y en el cuarto clip, de tipo entrevista, estuvo limpio.

Referencia 2: Doubao. Ucraniano coherente en los cuatro clips, sin bucles, sin salida basura.

Referencia 3: Gemini. Con este hubo idas y venidas; véase la sección siguiente.

Pruebas en contra de nuestra elección

• Nuestras dos pistas de referencia pueden equivocarse juntas. En "sospechoso" y "no entras", AssemblyAI y Doubao fallaron en el mismo punto y en la misma dirección, y Soniox, el motor que rechazamos, acertó los dos. Que las dos pistas de referencia coincidan no las hace acertar, sobre todo en negaciones y en si algo es bueno o malo.
• El informe original fue demasiado benévolo con los titulares. Las inversiones de Doubao pasaron de cero a tres. La afirmación de que "solo ElevenLabs acertó 'no entras'" no se sostuvo: ElevenLabs, Speechmatics, Soniox, Deepgram y Qwen lo acertaron todos.
• A Gemini le fue mal con los clips de cine. En la escena del pintalabios se pasó al ruso a mitad de camino (базаришь что такое) e insertó una palabrota. En la escena clara del salón añadió 40 palabras que ninguno de los otros tres produjo. En un momento dado catalogamos el ucraniano como "no añadir". Luego ejecutamos un pódcast de entrevista política real de cinco minutos. Sin alucinaciones, sin inversiones, sin bucles, y una palabra que acertó donde ElevenLabs no (двієчник, "mal estudiante"). También omitió dos citas literales, unas 30 palabras en total, y convirtió Сповідь ("confesión") en Ковід ("Covid"). Ese pódcast no tenía transcripción de referencia humana; solo comparamos Gemini con ElevenLabs.

Aún pendiente

• Tres de los cuatro clips salen de una sola película. La base de fuentes es estrecha.
• Los tres primeros clips se juzgaron al principio solo por la forma de la salida; la lectura línea por línea llegó en una revisión posterior.
• Aún no hay entrevistas de investigación reales. La inclusión de Gemini se basa en un único pódcast de cinco minutos.