Checo: el prefijo de dos letras que decidió nuestra alineación de motores

En checo, «no» a menudo no es más que ne- pegado delante de un verbo.

Nuestro fragmento más difícil en checo es una escena familiar con todo el mundo alrededor de la mesa hablando a la vez. En una negación clave, Speechmatics se comió el ne- y la frase acabó significando lo contrario. Soniox lo mantuvo. Ese fragmento es donde cambiamos nuestros motores de referencia para el checo.

Los fragmentos de prueba

Cuatro fragmentos de dos películas:

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR y Doubao. Gemini se añadió en agosto.

Doubao no admite el checo. Los cuatro fragmentos volvieron vacíos o como una mezcla de disparates en inglés y chino, incluidos bucles como "No no no".

Las líneas rojas

Negaciones invertidas: la del principio, de Speechmatics.

Pasajes perdidos: AssemblyAI perdió dos pasajes enteros en el fragmento familiar más difícil. En el fragmento de la revolución produjo 78 palabras en total, frente a 154 de Speechmatics: más o menos la mitad.

Bucles: Doubao, sí. ElevenLabs escribió el "Už je to tady!" (¡Ya está aquí!) de la multitud seis veces en el fragmento de la revolución, mientras que los subtítulos lo recogen dos veces. La multitud de verdad lo coreaba una y otra vez, así que no lo contamos como bucle, pero lo anotamos.

Contenido insertado: en el fragmento de la revolución, Gemini escribió una acotación en inglés, "(Crowd noise and shouting)", dentro de la transcripción, y convirtió «campanas sonando» en zabili (mataron).

Deriva de idioma: solo Doubao.

Frases alucinadas: en la evaluación original de cuatro fragmentos, ni ElevenLabs, ni AssemblyAI, ni Speechmatics inventaron una frase entera. Sus errores fueron sobre todo palabras que suenan parecido, y unos pocos cambiaron el significado. Speechmatics oyó el má slon de «¡el elefante mide tres metros setenta!» como máslo (mantequilla), y «nunca me lo tragaría» como «nunca lo reconocería».

Qué elegimos

• Motor principal: ElevenLabs Scribe v2. El más fiel en tres de los cuatro fragmentos. La discusión de la cena salió casi palabra por palabra.
• Motores de referencia: Soniox, Speechmatics, Gemini.

Soniox: cero líneas rojas en los cuatro fragmentos. En el fragmento familiar más difícil empató con ElevenLabs como el mejor, y fue el único motor que escribió correctamente el nombre de un personaje, Brašule. Mantuvo la negación clave.

Speechmatics se queda, con una regla asociada: si Speechmatics es el único motor con una lectura concreta sobre si una frase es negativa, el paso de fusión no le hace caso.

AssemblyAI pasó a respaldo por los pasajes perdidos mencionados arriba.

Gemini tuvo cero líneas rojas en el interrogatorio policial, que se oye con claridad.

Pruebas en contra de nuestras elecciones

• Nuestro primer informe de cuatro fragmentos concluyó que AssemblyAI y Speechmatics solo perdían palabras y nunca invertían el significado, así que tres motores eran más que suficientes. Volver a pasar el fragmento más difícil lo desmintió. Nuestra primera lectura fue demasiado optimista.
• En el fragmento de la revolución, Speechmatics captó la mayor parte de la emisión de radio y fue el mejor de los tres motores comparados en ese momento; ElevenLabs quedó último. Cuando probamos Gemini en agosto, las notas de ese fragmento dicen que ElevenLabs perdió gran parte del comienzo y quedó último. Nuestro motor principal no es fiable con audio ruidoso de emisión más multitud.
• Gemini solo tiene un fragmento de conversación en su haber en checo. En el otro, insertó una acotación y cambió un significado.

Qué sigue pendiente

• Los cuatro fragmentos proceden de dos películas. Ninguno es una entrevista real.
• Gemini necesita más material de conversación.
• Speechmatics ha perdido una negación, y nuestra solución es una regla para no fiarnos de él cuando va solo. Eso parchea el paso de fusión; la debilidad del motor sigue ahí.