Mandarín: elegir motores entre disparos y gritos

En una escena de rescate de The Wandering Earth, una emisión de emergencia en inglés se cuela entre los gritos en mandarín. Speechmatics convirtió esa emisión en "Team Violence Eduardo Saverin Fear". Eduardo Saverin es un personaje de otra película, La red social. En el mismo pasaje, AssemblyAI tradujo el inglés a un chino destrozado, y FunASR no devolvió nada en absoluto.

El chino es el único idioma en el que usamos cuatro pistas de referencia. Esta entrada explica cómo las elegimos.

Los clips de prueba

Cuatro escenas de películas chinas, de tres a cinco minutos cada una, todas en mandarín:

• Let the Bullets Fly, la negociación del asalto inicial: grabación limpia, habla rápida, gente interrumpiéndose, muchos nombres.
• Assembly, un asedio en el campo de batalla: disparos por encima del habla, órdenes escasas, soldados heridos gritando unos encima de otros.
• The Wandering Earth, el rescate de Shanghái: ruido de escena de catástrofe, con una emisión en inglés en medio del mandarín.
• Aftershock, las ruinas del terremoto: una madre gritando llamando a sus hijos, réplicas retumbando, audio turbio.

En la escala de tres niveles de la primera entrada de esta serie, Let the Bullets Fly está cerca del nivel medio y las otras tres están en el nivel más difícil. Ninguno de los clips cubre el nivel básico: una o dos personas hablando con calma en una sala silenciosa.

Cargamos tres de los cuatro clips con ruido intenso a propósito. El error más peligroso, una frase inventada, solo aparece cuando el habla es medio inteligible y está enterrada en ruido. Con audio limpio, ninguno de los motores lo produce, así que ahí no se puede poner a prueba.

Los candidatos

Doubao, iFlytek, FunASR (versiones insignia y flash), dos modelos Qwen de Alibaba, ElevenLabs, AssemblyAI, Speechmatics, Soniox y Deepgram: once en total. Más tarde ejecutamos el modelo de código abierto Whisper large-v3 como referencia de base.

Las seis líneas rojas, motor por motor

Frases inventadas. Speechmatics se inventó cosas en los tres clips ruidosos. En Assembly produjo una frase que viene a decir "Te lo dije hace tiempo… quieres a alguien contigo, dije con una sonrisa". En Aftershock produjo "Me encanta el deporte, estoy bien, hola a todos", y convirtió los gritos en "baa baa baa baa". Whisper se inventó "Presidente Li, temprano, temprano" en los gritos de The Wandering Earth, y transcribió "¡Aquí hay un niño, que venga alguien rápido!" de Aftershock como "Es un bollo, es un bollo, bollo".

Bucles de repetición. Whisper entró en bucle en los cuatro clips, incluso en el limpio. Al final de Let the Bullets Fly, la palabra para "¡aguanta!" se convirtió en un token sin sentido seguido de la misma sílaba trece veces. El modelo omni-plus de Qwen se derrumbó por completo con los gritos de Aftershock.

Negación invertida. Doubao, ElevenLabs, AssemblyAI e iFlytek no produjeron ninguna inversión clara de negación en ningún clip. Whisper estuvo cerca una vez, al convertir "Heizi aguantó" en "Heizi se detuvo".

Pasajes perdidos. AssemblyAI tiende a pararse cuando el ruido se intensifica. En Assembly transcribió aproximadamente los primeros 30 caracteres y nada después; en Aftershock se saltó el comienzo ruidoso. No inventó nada, pero una pista de referencia con un agujero tampoco puede comprobar nada. Whisper fue peor: los primeros 70 segundos de Aftershock salieron como una ristra de dos caracteres repetidos, y los gritos de auxilio de la madre desaparecieron.

Deriva de idioma. Es la emisión en inglés del principio. En la revisión, Doubao, ElevenLabs, iFlytek y Soniox mantuvieron el inglés como inglés. FunASR y omni-plus la perdieron, AssemblyAI la tradujo al chino y Speechmatics la convirtió en un nombre.

Contenido insertado. ElevenLabs añadió una frase en Assembly, que viene a decir "el ametrallador capturó al segundo comandante del regimiento". Ninguno de los otros diez motores la produjo, y la referencia está en blanco en ese tramo. No podemos saber si realmente se dijo, así que la registramos como no verificada.

Qué elegimos

Pista principal: ElevenLabs Scribe v2. Ninguna inversión de negación en los tres clips ruidosos y ninguna frase inventada confirmada, aparte de la frase no verificada de arriba. Las etiquetas de hablante salen solo de esta pista.

Pistas de referencia, por orden de prioridad:

1. Doubao: ni frases inventadas ni inversiones en ninguno de los cuatro clips, la salida más completa, y mantuvo intacta la emisión en inglés.
2. FunASR: nunca inventó una frase en los tres clips ruidosos. Sus errores fueron omisiones y malentendidos.
3. iFlytek: entre los motores más precisos cuando el audio es limpio, con un 12,2 % de CER en Let the Bullets Fly.
4. Gemini: añadido el 25 de agosto de 2026. Es un modelo grande de extremo a extremo, así que falla de forma distinta a los tres motores acústicos. Devuelve frases enteras, no tiempos por palabra, y no interviene en decidir quién habla.

Las cuatro se ejecutan sobre cada archivo.

Pruebas en contra de nuestra elección

• FunASR es la más floja de las tres pistas acústicas. Escribió "doscientos mil" como "20,1 millones". En Let the Bullets Fly perdió dos respuestas cortas que sostienen la escena, y donde se mezclan mandarín e inglés tiende a perder el inglés por completo. Lo mantenemos porque aguanta con ruido y no inventa. La precisión no es el motivo.
• El orden entre iFlytek y Doubao nunca se resolvió. El clip limpio sugería que iFlytek era al menos tan bueno como Doubao, con FunASR el último. Pero es un solo clip limpio, y la nueva comprobación está pendiente desde entonces.
• Renunciamos a un motor más preciso para evitar invenciones. El omni-plus de Qwen tuvo el CER más bajo tanto en Assembly como en The Wandering Earth. También se inventó una frase en un pasaje débil al final de The Wandering Earth y se derrumbó en Aftershock, así que lo dejamos fuera.
• La pista principal también comete errores graves. En Aftershock, ElevenLabs oyó el nombre que la madre no deja de gritar, "Daqiang", como "hermana mayor" todo el rato, y convirtió "el cristal no aguantará" en "no puedo aguantar".

Preguntas abiertas y límites

• Los cuatro clips son de películas. Ninguno es una entrevista real, y ninguno está en el nivel básico.
• ElevenLabs nunca se ejecutó sobre el clip limpio de Let the Bullets Fly. Aguantó en los tres clips más difíciles, pero esa celda está vacía.
• No hemos comprobado Gemini línea por línea en estos cuatro clips públicos, así que no tenemos pruebas en mandarín que mostrarte aquí.
• Los nombres no se puntuaron. Errores como "Daqiang" los maneja el glosario, y esta ronda de pruebas no lo evalúa.