Danés: sustituimos el motor más limpio en el fragmento más parecido a una entrevista

De nuestros cinco fragmentos de prueba en danés, el más parecido a una entrevista real es una conversación en un centro de rehabilitación: una persona pregunta, la otra responde, y entre las dos fijan objetivos. En ese fragmento, AssemblyAI produjo la transcripción más limpia de todos los motores.

Aun así lo sacamos de nuestros motores de referencia.

Los fragmentos de prueba

Cinco fragmentos, de dos películas de dos directores:

Queríamos usar la escena de la cena de Festen (1998) y teníamos los subtítulos preparados, pero no encontramos el audio original en danés. La única copia completa tenía restricción de edad; otra resultó ser el doblaje francés.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox y Doubao, con Gemini añadido en agosto.

Doubao no admite el danés. Lo que salió fue un galimatías en inglés con caracteres chinos mezclados, además de bucles.

Las líneas rojas

Bucles: en el clímax de la pelea de Jagten, AssemblyAI escribió "Nej det er satan" 23 veces en unos 28 segundos, tragándose el diálogo real. No entró en bucle ni una vez en los otros cuatro fragmentos.

Negaciones invertidas: Speechmatics convirtió "Det gør jeg ikke" (no lo hago) en "Det gør jeg" (lo hago), así que una negación se volvió una confesión. En el supermercado, la acusación «¿así que está bien pegar a los clientes?» se convirtió en «normalmente tienes una buena reunión con los clientes». En Adam's Apples, «me disparó» se convirtió en la orden «dispárame».

Frases alucinadas: en la pelea, ElevenLabs convirtió "Tror du ikke det" (¿no crees?) en "Jeg dør dig", que no es una frase real.

Sustituciones que cambian el significado: a AssemblyAI le gusta inventarse palabras que suenan parecido. Koteletter (chuletas de cerdo) se convirtió en koaguletter, «la tarta de capas» se convirtió en «legislación», y «¿por qué mientes?» se convirtió en «¿por qué espías?». En el fragmento del centro de rehabilitación, Soniox convirtió «tarta» en «tarta de plátano» y «mi objetivo es hornear» en «mi madre hace». Al revisarlos, clasificamos esos dos como segmentación errónea con base acústica, no como inversiones.

Deriva de idioma: solo Doubao.

Qué elegimos

• Motor principal: ElevenLabs Scribe v2. El más limpio, o empatado como el más limpio, en los cinco fragmentos, y nunca entró en bucle. Su única alucinación en la pelea no descarriló el resto de la escena.
• Motores de referencia: Speechmatics, Soniox, Gemini.

El listón para un nuevo motor de referencia es cero líneas rojas en las seis categorías, más quedar entre los dos primeros de la clasificación general entre los motores no principales. Soniox lo superó en la revisión y sustituyó a AssemblyAI. La clasificación general quedó así: Speechmatics primero, Soniox segundo, AssemblyAI tercero.

Speechmatics se mantiene en primer lugar porque su precisión por palabra fue algo mejor que la de Soniox. Nunca entra en bucle y su salida mantiene la estructura.

Gemini estuvo limpio en el fragmento del centro de rehabilitación, y tuvo en total al menos dos fragmentos de conversación limpios.

Pruebas en contra de nuestras elecciones

En danés hay muchas.

• AssemblyAI entró en bucle una vez, en una pelea física extrema, el tipo de escena que una entrevista real casi nunca contiene. En el fragmento más parecido a una entrevista fue el motor más limpio. Si se da más peso a «cómo le va en los fragmentos más cercanos a producción» que a «cuántas líneas rojas cruzó», mantener AssemblyAI es una decisión defendible.
• Soniox también cambió significados en el tranquilo fragmento del centro de rehabilitación. Esos errores cometidos con seguridad no los provocó el ruido.
• Cuando probamos Gemini en agosto, registramos más problemas de Soniox en los mismos fragmentos: en la pelea oyó dos veces «mentir» como «prometer» y añadió una frase inventada al final; en la escena del disparo, «me disparó» se convirtió dos veces en «¿puedes dispararme?». Eso choca con su calificación de cero líneas rojas, y todavía no lo hemos vuelto a evaluar.
• Speechmatics invirtió el significado varias veces en los cinco fragmentos (como mucho una vez por fragmento), y aun así ocupa el primer puesto de referencia. Quitamos AssemblyAI por líneas rojas sin aplicar el mismo criterio a Speechmatics. Eso no es coherente.
• Gemini convirtió «deberías irte» en «debería irme» en la escena del disparo, y cambió un pronombre en la pelea.

Qué sigue pendiente

• Hay que volver a revisar la calificación de Soniox a la luz de las notas de agosto.
• Los cinco fragmentos proceden de dos películas, y ninguno es una entrevista de investigación real. Si conseguimos el audio original de Festen, añadiría una escena de solapamiento en una mesa.