Finés: casi perfecto con habla clara, frases inventadas bajo el fuego de ametralladora

Probamos dos grabaciones cotidianas y claras en finés: una llamada telefónica para quedar a una hora y una charla sobre una cafetería que termina con alguien pidiendo. ElevenLabs obtuvo un 2.7% y un 2.9% de WER, y leyéndolas línea por línea no encontramos errores reales.

Luego llegó la escena del asalto de la película bélica Unknown Soldier. Bajo el fuego de ametralladora y las explosiones, todos los motores empezaron a inventar frases, ElevenLabs incluido.

Los fragmentos de prueba

Cuatro fragmentos:

Es difícil conseguir el audio original completo de películas finlandesas. Los dos últimos fragmentos proceden de pódcasts para estudiantes en los que los propios presentadores escribieron subtítulos literales, lo que ha sido una fuente fiable de transcripciones de referencia para idiomas más pequeños. Evitamos a propósito escenas con dialectos regionales cerrados, como los de Laponia o Carelia.

Motores que probamos

ElevenLabs Scribe v2, Speechmatics, AssemblyAI, Soniox y Doubao, con Gemini añadido en agosto. Cuando AssemblyAI lanzó un modelo nuevo, también lo probamos con el finés.

Doubao no admite el finés; devolvió un galimatías en inglés.

Las líneas rojas

Frases alucinadas, casi todas en la escena del asalto. Un oficial grita «¡Chicos, maldita sea, adelante!» y ElevenLabs escribió algo como «te han dado una paliza vivo adelante». Para «tercero y cuarto, a la izquierda», ElevenLabs escribió «de vuelta a la posición» y AssemblyAI escribió «Paulus predice, izquierda». Speechmatics produjo de la nada «la petición de los conejos», además de una serie de frases al final que no están en la película.

En los fragmentos claros solo hubo una: en la escena del coronel, AssemblyAI convirtió el grado «teniente coronel» en una ristra de sílabas sin sentido.

Pronombres cambiados: en el asalto, AssemblyAI convirtió «haz que los hombres se muevan» en «haz que nos movamos».

Pasajes perdidos: en el mismo fragmento, AssemblyAI perdió todo el comienzo.

Bucles: en la escena del asalto, Gemini escribió "Vihollinen!" (¡Enemigo!) más de 75 veces, tragándose todo el final, e inventó dos frases al principio.

Deriva de idioma: en un fragmento claro, Soniox escribió una frase en inglés, "Drivers to load not there", y se repitió. Doubao fue inglés de principio a fin.

Qué elegimos

• Motor principal: ElevenLabs Scribe v2. El mejor o empatado como el mejor en los cuatro fragmentos, casi perfecto con habla clara, y ni una sola inversión.
• Motores de referencia: Speechmatics, AssemblyAI, Gemini.

Speechmatics va primero. Ninguna inversión en los cuatro fragmentos, y un WER más bajo que AssemblyAI en los tres fragmentos claros (32.7% frente a 35.6% en la escena del coronel, 9.4% frente a 12.8% en la llamada telefónica, 4.6% frente a 7.5% en la cafetería). Sus errores con habla clara son pequeños borrones, como un capuccino al que le falta una letra. Con habla clara no se inventa frases.

AssemblyAI va segundo. Aparte de ese grado militar, no tuvo alucinaciones, inversiones ni bucles en los fragmentos claros. Sus problemas se concentran en los disparos y gritos continuados.

Gemini: ningún error real, palabra por palabra, en la llamada telefónica.

No usamos Soniox para el finés, el único de estos idiomas nórdicos y centroeuropeos en el que no lo usamos. Una frase en inglés que aparece en medio de una grabación clara en finés es más difícil de prevenir que cualquier cosa que hiciera AssemblyAI, así que aquí Soniox es solo un respaldo.

Pruebas en contra de nuestras elecciones

• El bucle de 75 repeticiones de Gemini es un riesgo real en producción: cuando ocurre, desaparece toda una sección de la transcripción. Lo usamos porque no cometió errores reales en ninguna de las dos conversaciones cotidianas.
• El modelo nuevo de AssemblyAI lo hizo peor que el antiguo en tres de los cuatro fragmentos en finés, con alucinaciones nuevas incluidas. No cambiamos, y más tarde el despliegue se revirtió para todos los idiomas.
• ElevenLabs también inventó dos frases en la escena del asalto. Nuestro motor principal no es seguro con ruido extremo.

Qué sigue pendiente

• Los dos fragmentos claros proceden de pódcasts hechos para estudiantes, grabados en estudio. Eso es más limpio que la mayoría de las grabaciones de entrevistas.
• No hemos probado dialectos cerrados.
• Dos de los cuatro fragmentos proceden de la misma película.