Francés: tres motores, una frase, el mismo significado equivocado

En la discusión de la cena de Le Prénom, alguien dice "même s'ils se trompent", es decir, «aunque se equivoquen». Deepgram, Gladia y Soniox escribieron los tres "même s'ils ne se trompent pas": «aunque no se equivoquen». Tres motores sin relación entre sí, el mismo sitio, el mismo significado invertido.

Pedir a varios motores que voten solo funciona si sus errores son independientes. Esta sola frase demuestra que no siempre lo son.

Los fragmentos de prueba

Cuatro escenas de película, cada una con un tipo distinto de francés difícil de seguir:

• La Haine (1995): la banlieue de París, jerga callejera (verlan), mucho ruido de fondo. Una multitud abuchea a un equipo de televisión, luego destrozan el coche de un vecino y todo el mundo empieza a gritar.
• Le Prénom (2012): acento parisino estándar, un debate rápido en la mesa lleno de nombres.
• Le Dîner de Cons (1998): acento parisino estándar, réplicas cómicas rápidas, una farsa telefónica construida sobre un nombre confundido.
• Bon Cop, Bad Cop (2006, Canadá): joual quebequés, incluida una lección completa de palabrotas quebequesas.

El tercer puesto estaba pensado para Bienvenue chez les Ch'tis, por el dialecto del norte de Francia. La fuente que encontramos tenía el título y la duración correctos, pero una prueba mostró que era una recopilación de entrevistas al director e imágenes del rodaje. Tuvimos que cambiar de película, así que el dialecto del norte quedó sin probar. La primera fuente del cuarto fragmento también era falsa: una reseña de cine en inglés hecha con IA.

En los tres niveles de la primera entrada, los cuatro fragmentos están entre el nivel intermedio y el más difícil, siendo La Haine y Bon Cop los más difíciles. El nivel básico no está cubierto.

Los candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dos modelos), Soniox, Gladia, Deepgram, FunASR y, más adelante, Gemini.

Las seis líneas rojas, motor por motor

Negación invertida. Además de la inversión de tres motores de arriba, Speechmatics convirtió "c'est pas moi qui ai les tunes" (no soy yo el que tiene la pasta) de La Haine en "c'est pas moi qui t'ai tué" (no soy yo el que te mató). El otro modelo de Speechmatics, Melia-1, también invirtió la frase de Le Prénom.

Frases inventadas. La Haine empieza sin diálogo, y Gladia y Soniox se inventaron cada uno una frase de apertura. Gladia reescribió "Est-ce que vous avez participé aux émeutes" (¿participaron ustedes en los disturbios?) como una frase ininteligible con una negación que no existía. Speechmatics se inventó "niveau budget" al final de Le Dîner de Cons. Deepgram convirtió el "Golden Gate" de San Francisco en un galimatías.

AssemblyAI también inventó cosas. El juramento quebequés "je m'en câlice" (me importa un carajo) se convirtió en "je mets un cornichon" (pongo un pepinillo). Y en una película de 1995 transcribió las palabras "YouTube" y "Covid", que todavía no existían.

Bucles de repetición. Speechmatics convirtió "Oh là là" en dieciocho "la" seguidos. En su primera pasada de Le Dîner de Cons, Gemini repitió "là" 1.659 veces y nunca produjo una transcripción. Una segunda pasada terminó con normalidad en 35 segundos.

Pasajes perdidos. En La Haine, Deepgram devolvió 109 palabras cuando los demás devolvieron unas 620; la segunda mitad, la pelea por el coche destrozado, simplemente desapareció. Doubao también perdió mucho en el fragmento quebequés y solo devolvió 142 palabras.

Deriva de idioma. Ningún cambio grande a otro idioma en estos cuatro fragmentos.

Qué elegimos

Pista principal: ElevenLabs Scribe v2. Ningún significado invertido en ningún fragmento, mantiene intacto el verlan y fue el segundo más robusto en el fragmento quebequés.

Pistas de referencia, por orden de prioridad:

1. AssemblyAI (universal-2): ninguna inversión en ningún fragmento, y el más limpio del grupo con el verlan, el debate y la comedia.
2. Doubao: el único motor no principal que nunca inventó ni invirtió una frase en los cuatro fragmentos. Se degradó mucho en el fragmento quebequés, pero solo oyendo mal y perdiendo palabras.
3. Gemini: añadido el 26 de agosto de 2026. Los cuatro fragmentos de cine son todos escenas de multitud y gritos, que no nos dijeron nada útil sobre él. Así que tomamos un tramo de cinco minutos de una larga entrevista real a Nicolas Sarkozy y comparamos Gemini con ElevenLabs línea por línea: ninguna frase inventada, ninguna inversión, ningún bucle, dos cambios menores de significado y un punto en el que fue más preciso que ElevenLabs. Las grandes omisiones que mostró en los fragmentos de cine no aparecieron en la entrevista.

Pruebas en contra de nuestra elección

• AssemblyAI no está limpio en francés. El pepinillo y los dos anacronismos son obra suya. Tuvo cuatro pasajes inventados en los cuatro fragmentos.
• Las dos pistas de referencia pueden fallar a la vez. En una escena ruidosa, Doubao perdió todo el pasaje mientras AssemblyAI se inventaba algo en él, y la pista principal quedó como el único testigo utilizable.
• La pista principal también inventó cosas. ElevenLabs no tuvo inversiones, pero sí dos pasajes inventados, uno de ellos al comienzo de un fragmento.
• Descartamos el mejor motor para el francés de Quebec. Speechmatics fue el que mejor manejó Bon Cop. Pero invirtió un significado en La Haine e inventó frases en otros sitios, así que lo dejamos fuera.
• Nuestras pruebas sobre Gemini en francés son escasas. Una entrevista de cinco minutos, sin transcripción de referencia, contrastada solo con la pista principal. En los fragmentos de cine también tiene registrado ese fallo de 1.659 repeticiones, aunque una repetición de la prueba saliera bien.

Preguntas abiertas y límites

• El dialecto ch'ti del norte quedó sin probar, y no tenemos fragmentos de francés belga, suizo ni africano.
• Los cuatro fragmentos de referencia son de películas, y ninguno está en el nivel básico. La única entrevista es la que añadimos para Gemini.
• La inversión de tres motores recuerda que los desacuerdos cerca de una negación no se pueden resolver contando votos. Seguimos ajustando cómo trata el paso de fusión esos puntos.