Inglés: dos pistas de referencia que fallan en sitios distintos

En una escena de interrogatorio en un bar de The Departed, alguien dice "I don't know what they do". Doubao lo transcribió como "You know what they do", lo que invierte el significado. AssemblyAI acertó esa línea. Pero en la misma escena, AssemblyAI se dejó entera una negación clave, "I am not a fucking cop!", que las otras dos pistas pueden completar.

Después de leer los cuatro fragmentos línea por línea, vimos que estos dos motores casi nunca tropiezan en el mismo sitio. Ese es el principio en el que se basan nuestras pistas de referencia en inglés.

Los fragmentos de prueba

Cuatro escenas de películas estadounidenses y británicas, cada una construida en torno a un tipo de dificultad:

• Gosford Park (2001): acentos británicos de clase alta, una cena del servicio en la planta de abajo, intercambios rápidos e interrupciones sobre ruido de fondo.
• The Social Network (2010): habla estadounidense limpia y rápida en una declaración jurada, densa en términos jurídicos y nombres.
• The Departed (2006): acentos de Boston, ruido de bar, jerga y palabrotas, un interrogatorio en voz baja y amenazante.
• August: Osage County (2013): toda una familia hablando a la vez en la mesa.

En los tres niveles de la primera entrada de esta serie, The Social Network está cerca del nivel intermedio y las otras tres están en el más difícil. El nivel básico no está cubierto.

Los candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dos modelos), Soniox, Deepgram, Gladia (dos modelos) y Gemini, además de dos modelos de Qwen y FunASR. iFlytek se probó solo con el primer fragmento; no tiene un modo solo inglés, así que ahí lo dejamos.

Las seis líneas rojas, motor por motor

Frases inventadas. En Gosford Park, "I heard Lady Sylvia spoke out of turn" salió de Soniox como "My hand, ladies, don't be a stroke out at 20 minutes PC". Deepgram añadió en el mismo fragmento dos nombres que nadie dijo, "Sister Fredrick" y "Percy". Uno de los modelos de Qwen escribió en The Departed una frase completa que no está en el audio: "buy some bananas".

Negación invertida. Fue la línea roja más frecuente en inglés. En The Departed, Soniox y Deepgram se comieron el "not" de "you're still not a cop". Speechmatics convirtió "Unless I stop them" en "as I stop them". La inversión de Doubao es la del principio de esta entrada. Le dimos a Qwen una instrucción más estricta que le decía expresamente que conservara las negaciones. Aun así se comió el "not".

Bucles y colapso. En August: Osage County, alguien grita "Eat your fish" cinco veces. Gladia lo transcribió una vez y luego se cortó, perdiendo unas nueve palabras.

Pasajes perdidos. Deepgram se saltó un buen trozo de Gosford Park y cometió allí más errores que ningún otro motor.

Deriva de idioma. Ninguna en estos cuatro fragmentos.

Contenido insertado. Además de los nombres inventados de arriba, Speechmatics convirtió "a 3L" (un estudiante de tercer año de Derecho) en "a three year old".

Qué elegimos

Pista principal: ElevenLabs Scribe v2. Fue el más limpio o el segundo más limpio en tres de los cuatro fragmentos y no se vino abajo en ninguno.

Pistas de referencia, por orden de prioridad:

1. AssemblyAI (universal-2): ninguna frase inventada ni inversión en los cuatro fragmentos, con la estructura general más sólida. Su único fallo fue la negación de The Departed, y fue una omisión, no una invención.
2. Doubao: ninguna frase inventada en ningún fragmento. Captó los cinco gritos de "Eat your fish", y en ese fragmento fue más preciso que AssemblyAI. Está construido de forma distinta a AssemblyAI y comete sus errores en otros sitios.
3. Gemini: añadido el 26 de agosto de 2026. Cuando lo probamos en 26 idiomas, el inglés quedó en el grupo en el que podía entrar directamente. En la gritería de August: Osage County no tuvo líneas rojas.

Pruebas en contra de nuestra elección

• La pista principal cometió exactamente el error de Doubao. Cuando volvimos a pasar los fragmentos más tarde, ElevenLabs también produjo "You know what they do". En la primera pasada había destrozado una línea entera de Gosford Park; en la repetición, ese error desapareció. La misma entrada no da siempre la misma salida, así que juzgamos a los motores por el tipo de errores que cometen, no por cuántos contamos casualmente.
• Gemini también invierte negaciones. Cuando lo probamos por primera vez como pista principal de respaldo, convirtió "Yes. Yes, yes." de The Departed en "No. Yes! Yes, yes!" y "I don't know" en "I know". En la ronda de agosto, reescribió la línea de Lady Sylvia de Gosford Park como dos frases sin relación. Lo añadimos porque, al ser un gran modelo de lenguaje, falla de forma distinta a los motores acústicos. Y sin embargo, en esa línea de The Departed, Doubao, Gemini y la repetición de ElevenLabs se equivocaron todos. Los errores de los motores no siempre son independientes, y todavía no tenemos una buena solución para eso.
• Los motores con el WER más bajo no pasaron el corte. Speechmatics tuvo el WER más bajo en Gosford Park (11.4%), y Soniox el más bajo en August: Osage County (4.7%). Los dos inventaron frases o invirtieron negaciones en otros fragmentos, así que los descartamos.

Preguntas abiertas y límites

• Los cuatro fragmentos son de películas. Ninguno es una entrevista real y ninguno está en el nivel básico.
• Acentos cubiertos: británico y estadounidense, incluido el de Boston. No se probaron otros acentos del inglés.
• La inversión de Doubao solo la hemos visto una vez, pero es el tipo de error más peligroso. Tras la repetición, AssemblyAI fue la única de las cuatro pistas que acertó esa línea. Por eso, en negaciones y significados invertidos, nuestro paso de fusión no se queda con la mayoría: sin pruebas sólidas del contexto, la línea se marca para que una persona la revise.