Indonesio: alguien grita pidiendo ayuda y el motor escribe «gracias»

Una de nuestras escenas de prueba en indonesio es una secta asediando una casa. Entre los gritos, alguien chilla "Bu, tolong selamatkan anak-anakku, bu!" («¡Mamá, por favor, salva a mis hijos!»). Nuestro motor principal, ElevenLabs, captó esa línea. En ese mismo momento, AssemblyAI escribió "Terima kasih", que significa «gracias».

Gladia fue más allá. Produjo "Jangan lupa like share dan subscribe", «no olvides dar like, compartir y suscribirte», la despedida del vídeo de un youtuber.

Los dos apuntan en la misma dirección. Cuando el audio se vuelve demasiado confuso para distinguir nada, algunos motores rellenan el hueco con una frase conocida.

Los fragmentos de prueba

Los cuatro fragmentos proceden de una sola película, Satan's Slaves (Pengabdi Setan, 2017), puntuados contra sus subtítulos en indonesio para personas sordas y con discapacidad auditiva. Usamos una sola película porque todas las demás «películas completas» en indonesio que encontramos en YouTube eran falsas: un vídeo de reseña, otra película con el mismo título o un remontaje cuyos tiempos no coincidían con los subtítulos.

Cada una de las cuatro escenas pone a prueba algo distinto:

• Hojeando una revista: música de cuerda de fondo, dos personas lanzándose frases la una a la otra.
• Cena familiar: ruido de platos, hermanos pequeños haciendo el tonto, solapamiento constante.
• Pidiendo ayuda: dos personas contando con calma una historia familiar con frases completas.
• El asedio: gritos de pánico, truenos, alguien aporreando la puerta.

En nuestra escala de dificultad de tres niveles, las dos primeras caen entre el nivel intermedio y el superior, el asedio es de nivel superior y la escena de la ayuda está cerca del nivel fácil, el único fragmento claro del conjunto.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Doubao y Speechmatics en la primera ronda, con FunASR, Gladia, Deepgram, Soniox y Qwen ejecutados en paralelo para que constara. Gemini se probó por separado.

Dónde cruzaron los motores las líneas rojas

Frases inventadas. Las dos del principio: el «gracias» de AssemblyAI y el «dar like, compartir y suscribirte» de Gladia. AssemblyAI no inventó nada en los tres primeros fragmentos. Solo el asedio le llevó a hacerlo.

Palabras insertadas. En el asedio alguien dice "kalau kita bersatu" («si nos mantenemos unidos»), y ninguno de los cuatro motores lo acertó. ElevenLabs escribió «aliarnos contra», AssemblyAI y Speechmatics escribieron «entregar», y Doubao escribió "kalau kita nggak serahkan" («si no entregamos»), añadiendo una negación que nadie dijo. En la cena, Speechmatics también añadió dos palabras de más, "hati kau" («tu corazón»), al final de una línea.

Bucles de repetición. En el asedio, la gente no deja de gritar el nombre Bondy. ElevenLabs, Soniox y Doubao escribieron el nombre entre cinco y nueve veces cada uno. Gemini lo escribió como Bodoh («estúpido») diez veces seguidas.

Pasajes perdidos. AssemblyAI fue el que más perdió en el asedio, dejándose largos tramos de los gritos.

Deriva de idioma. Los dos primeros fragmentos de Doubao volvieron como una mezcla de galimatías en chino e inglés, porque no le habíamos enviado el código de idioma indonesio. Con id-ID configurado, su transcripción de la escena de la ayuda fue casi palabra por palabra igual que la del principal.

Ningún motor invirtió el significado de una frase completa en ninguno de los cuatro fragmentos.

Qué elegimos

Principal: ElevenLabs Scribe v2. El WER más bajo en los dos primeros fragmentos, casi ningún error de significado en el claro, el que más contenido recuperó del asedio y el único motor que captó el grito de auxilio.

Referencias, por orden: Soniox, Doubao, Gemini. Los tres se ejecutan en cada archivo en indonesio.

• Soniox: sustituyó a AssemblyAI. La revisión confirmó que no tuvo errores de línea roja, y quedó primero o segundo entre los motores no principales. Sus dos puntos dudosos llegaron en pasajes extremadamente ruidosos en los que fallaron todos los motores, y lo que escribió coincidía con sonidos del audio, así que cuentan como mala audición, no como invención.
• Doubao: una vez corregido el código de idioma, ninguna frase inventada ni inversión en cuatro fragmentos. Tiene una base técnica muy distinta de la de Soniox, así que los dos no suelen fallar en el mismo sitio.
• Gemini: en la escena clara de la ayuda, coincidió casi palabra por palabra con el principal y con Soniox.

AssemblyAI pasó a respaldo. El «gracias» inventado más los gritos que se dejó lo situaron más cerca de nuestras líneas rojas que Soniox, juzgados con el mismo criterio.

Pruebas en contra de nuestra elección

• Soniox tiene una costumbre. Cuando no logra distinguir algo, tiende a escribir una frase fluida en lugar de dejar basura evidente, y una frase fluida pero equivocada es la más difícil de detectar para un lector. Un primer análisis automático también señaló indicios de sobregeneración y repetición en su salida en indonesio. La configuración indica que, durante el primer mes en producción, conviene revisar por muestreo las líneas fluidas y difíciles de oír que solo produzca Soniox.
• La negación de más que añadió Doubao en la línea de «mantenernos unidos» es justo el tipo de error que más daño hace cuando se fusionan transcripciones.
• AssemblyAI estuvo limpio en los tres primeros fragmentos. Los argumentos para sustituirlo se apoyan sobre todo en una escena.

Problemas pendientes

• Los cuatro fragmentos proceden de una sola película, con el mismo reparto y las mismas condiciones de grabación. Otras películas y otros acentos podrían dar otra respuesta.
• Las puntuaciones del asedio no sirven, así que allí la clasificación sale por completo de leer línea por línea.
• No tenemos grabaciones de entrevistas reales.