Coreano: tres motores, la misma negación equivocada

Una línea de nuestras pruebas en coreano salió mal exactamente de la misma manera en tres motores. En lo que dice el hablante no hay ninguna negación, y sin embargo Doubao, AssemblyAI y Soniox escribieron los tres 쓰지 않았어, una frase con un «no» dentro.

Cuando tres motores cometen el mismo error, el problema es el audio en ese punto, no un motor en concreto. Si hubiéramos descartado Soniox por eso, habríamos tenido que descartar también los dos motores que ya estaban en uso. También nos recordó que una votación a tres no te protege en las negaciones.

Los fragmentos de prueba

Cuatro escenas de cine coreano, puntuadas contra subtítulos en coreano para personas sordas y con discapacidad auditiva:

• Memories of Murder, un interrogatorio: tres personas, con risas, gemidos y habla superpuesta.
• Memories of Murder, el interrogatorio final: cuatro o cinco personas, gritos y palabrotas.
• Extreme Job, la escena en la que le ponen nombre al pollo frito: varias personas hablando deprisa unas encima de otras, además de vítores.
• The Accidental Detective 2, una reunión con un cliente: cuatro personas en un intercambio rápido, con una demostración de hackeo en medio.

Los dos primeros son de nivel superior en nuestra escala de dificultad de tres niveles, y los otros dos de nivel intermedio. No hay fragmento fácil. Los dos primeros proceden de fragmentos oficiales publicados por el estudio.

Motores que probamos

ElevenLabs Scribe v2, AssemblyAI, Doubao y Speechmatics en la primera ronda. Soniox, Gladia y otros en pasadas posteriores. Gemini se probó por separado.

Dónde cruzaron los motores las líneas rojas

Significado invertido. Además del error compartido de arriba, Speechmatics tuvo una inversión propia en la escena del detective, donde se intercambiaron 오빠 넣으면 y la negación 안 오면 («si él no viene»).

Contenido insertado. En la escena del pollo, Speechmatics se inventó un nombre, 박동규야. El punto débil de Doubao son las cifras: produjo de la nada "5 존맛" y escribió un tramo de llanto como "6 6".

Bucles de repetición. En las risas de Memories of Murder, Doubao escribió la risa como ㅎ repetido 40 veces. Nunca se desplomó así en los dos fragmentos de nivel intermedio; solo ocurrió con risas y gritos extremos. Gladia también entró en bucle en coreano. Soniox fue el único motor que no se desplomó en ninguno de los dos fragmentos más difíciles.

Pasajes perdidos. El mayor problema de AssemblyAI es dejarse cosas. Se salta bloques enteros y a menudo devuelve el menor número de caracteres de los cuatro. Rara vez inventa algo, pero pierde mucho.

Qué elegimos

Principal: ElevenLabs Scribe v2. Primero en los cuatro fragmentos, con una media del 11.6% frente al 17.0% del segundo. Es también el único que acierta con los nombres de forma habitual.

Referencias, por orden: Doubao, Soniox, Gemini. Los tres se ejecutan en cada archivo en coreano.

• Doubao: segundo de media, y un segundo puesto estable en los dos fragmentos de nivel intermedio. Sus desplomes solo ocurrieron con risas extremas, algo que rara vez aparece en una entrevista real.
• Soniox: sustituyó a AssemblyAI, y no por las puntuaciones. Vimos que el peor tipo de error de AssemblyAI era uno que Soniox también tendía a cometer, a menudo en el mismo sitio, mientras que los errores exclusivos de AssemblyAI eran sus grandes bloques perdidos. Al poner Soniox en su lugar, las pistas de referencia se solapan menos en lo que fallan.
• Gemini: funciona como tercera referencia.

Pruebas en contra de nuestra elección

• Nuestro primer informe de cuatro fragmentos en coreano recomendaba otra cosa: Doubao más AssemblyAI, con el argumento de que AssemblyAI «solo omite, nunca inventa, así que es el más seguro». La revisión mostró después que AssemblyAI era uno de los tres motores detrás de la negación compartida, así que lo de «el más seguro» no se sostuvo, y Soniox ocupó su lugar.
• El historial de Gemini en coreano es flojo. Cuando lo probamos, el coreano acabó en el grupo de «no añadir». En la escena del pollo cambió el significado cuatro o cinco veces, convirtiendo «todavía conserva los jugos» en «absolviendo la carne», y se dejó contenido. En la escena del detective cambió el significado tres veces, convirtiendo «creí que era un cadáver» en «creí que estaba dormido», y se comió un «5%». La mayoría son sustituciones que cambian el significado, que no están entre nuestras seis líneas rojas, pero son igual de peligrosas en la transcripción de una entrevista. Ahora está en la configuración, y hay que vigilarlo.
• Las cifras fantasma de Doubao son justo el tipo de cosa que un lector podría tomar fácilmente por datos aportados por el participante.

Problemas pendientes

• Los dos fragmentos más difíciles solo se revisaron en su momento por tasa de error y desplome, no línea por línea por significado.
• Los cuatro fragmentos son películas. No tenemos ninguna entrevista real. La configuración todavía lleva una nota que dice que hay que ejecutar todo el proceso de principio a fin con una entrevista real antes de usarlo plenamente en producción.
• Un error compartido por tres no se puede arreglar votando. Por eso, cuando los motores no se ponen de acuerdo sobre si algo es negativo, nuestro paso de fusión no se queda con la mayoría; sin pruebas sólidas, marca la línea para que la revise una persona.