Noruego: "no fuimos infieles" se convirtió en "elegimos ser infieles"

En La peor persona del mundo (Verdens verste menneske) hay una escena de fiesta en la que alguien dice "Vi var ikke utro": no fuimos infieles. AssemblyAI escribió "Vi valgte utro": elegimos ser infieles. La negación desapareció, el verbo cambió y el significado se invirtió. La frase vuelve a aparecer en la escena, y AssemblyAI se equivocó todas las veces. Tres veces en total.

No fue culpa del ruido. La escena va a ritmo normal, sin voces solapadas de forma sostenida.

Los clips de prueba

Cinco clips de tres películas:

Los cinco son películas. Dos son relativamente claros, pero siguen siendo drama con guion. Así que, cuando evaluamos Gemini en agosto, tomamos también un fragmento de cinco minutos de un pódcast noruego.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Gemini, Qwen, FunASR y Doubao. También miramos NB-Whisper, el modelo de código abierto de la Biblioteca Nacional de Noruega, pero no lo adoptamos.

Doubao no admite el noruego. Probamos los tres códigos de idioma noruegos y obtuvimos galimatías en inglés o nada en absoluto. FunASR produjo solo la mitad de palabras que la referencia, aproximadamente.

Las líneas rojas

Las negaciones invertidas son lo que más importa aquí. Además de la frase inicial, AssemblyAI convirtió "estoy dispuesto a hacer lo que sea" en "no lo haré", y "tú nunca debes rendirte" en "yo nunca debo…". Speechmatics también invierte, en la dirección contraria: tiende a añadir un ikke, de modo que "saber" se convierte en "no saber". No más de tres veces en los cinco clips. Y en una negación, todos los motores de la comparación fallaron salvo ElevenLabs.

Nombres inventados: AssemblyAI abrió la escena emotiva y clara con un personaje llamado Bård, y metió a alguien llamado Martha en el ataque aéreo. Ninguno de los dos personajes existe en esas escenas. Qwen se inventó un apellido, Hågen.

Contenido insertado: en el clip del buque de guerra, Gemini se inventó varias órdenes que no están en la película, como "Cañón 1 en posición" y "Batería de torpedos 3/4".

Deriva de idioma: una vez, Gemini devolvió un clip noruego como traducción al chino ("¿Cómo te llamas? Julia."). Al ejecutarlo de nuevo con el mismo audio, produjo noruego normal.

Bucles: Gemini se repitió en el clip del ataque aéreo. Su WER ahí fue del 89,6 %, frente a entre el 41,8 % y el 47,8 % de los otros tres motores, una diferencia de 42 puntos.

Qué elegimos

• Motor principal: ElevenLabs Scribe v2. Sin alucinaciones, sin inversiones, sin nombres inventados en los cinco clips. Sus errores son malentendidos: escribió la frase inicial como "Vi var ikke ute", no estábamos fuera, pero mantuvo la negación.
• Motores de referencia: Soniox, Speechmatics, Gemini.

AssemblyAI queda fuera. Cuatro de los cinco clips tuvieron inversiones o nombres inventados, incluidos los claros.

Soniox entró en julio. Hasta entonces, Speechmatics era el único motor de referencia para el noruego. Clip a clip, Soniox superó a Speechmatics cuatro veces y empató una, y los dos se equivocaron sobre todo en sitios distintos. Soniox acertó la frase inicial, y el nombre Julie.

Speechmatics nunca inventó una frase ni un nombre en los cinco clips, y también acertó la frase inicial.

Gemini, en el pódcast de cinco minutos: sin alucinaciones, inversiones ni bucles. Tres errores de palabras que suenan parecido, y dos puntos en los que fue más preciso que ElevenLabs.

Nuestra configuración para el noruego lleva una regla adicional: donde los motores discrepan sobre un ikke, la transcripción lo marca como dudoso para que lo revise una persona.

Pruebas en contra de nuestras elecciones

• Gemini cruzó una línea roja en cada uno de los cinco clips de cine: inversiones, órdenes inventadas, bucles y la salida en chino. Nuestro argumento para usarlo se basa en un único pódcast de cinco minutos sin transcripción de referencia, comprobado solo contra ElevenLabs. En julio lo habíamos rechazado.
• Soniox y Speechmatics cometieron tres errores idénticos de dirección en la escena emotiva. El argumento de que "fallan en sitios distintos" no siempre se sostiene donde más importa.
• Un primer análisis automático detectó que Soniox producía 1,5 veces más palabras que la referencia en noruego.

Qué sigue pendiente

• No tenemos ni una sola conversación real con transcripción de referencia. Las pruebas a favor de Gemini son especialmente escasas.
• La negación sigue siendo el mayor riesgo en noruego. Un caso como aquella negación que solo acertó ElevenLabs no se puede rescatar votando. Por ahora, lo marcamos como dudoso y dejamos que una persona lo escuche.