Coreano: três motores, a mesma negação errada

Uma fala nos nossos testes de coreano saiu errada exatamente do mesmo jeito em três motores. Não há negação no que o falante diz, mas o Doubao, o AssemblyAI e o Soniox escreveram todos 쓰지 않았어, uma frase com um "não" dentro.

Quando três motores cometem o mesmo erro, o problema é o áudio naquele ponto, não um motor específico. Se tivéssemos descartado o Soniox por isso, teríamos de descartar também os dois motores que já estavam em uso. Também serviu de lembrete de que uma votação a três não protege ninguém em negações.

Os trechos de teste

Quatro cenas de filmes coreanos, pontuadas contra legendas em coreano para surdos e pessoas com deficiência auditiva:

• Memories of Murder, um interrogatório: três pessoas, com risadas, gemidos e fala sobreposta.
• Memories of Murder, o interrogatório final: quatro ou cinco pessoas, gritos e palavrões.
• Extreme Job, a cena em que batizam o frango frito: várias pessoas falando rápido umas por cima das outras, mais comemoração.
• The Accidental Detective 2, uma reunião com um cliente: quatro pessoas em troca rápida de falas, com uma demonstração de invasão hacker no meio.

As duas primeiras são do nível mais alto na nossa escala de dificuldade de três níveis, e as outras duas do intermediário. Não há trecho fácil. As duas primeiras vêm de cenas oficiais divulgadas pelo estúdio.

Motores que experimentamos

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics na primeira rodada. Soniox, Gladia e outros em rodadas posteriores. O Gemini foi testado à parte.

Onde os motores cruzaram linhas vermelhas

Sentido invertido. Além do erro em comum acima, o Speechmatics teve uma inversão só dele na cena do detetive, em que 오빠 넣으면 e a negação 안 오면 ("se ele não vier") foram trocados.

Conteúdo inserido. Na cena do frango, o Speechmatics inventou um nome, 박동규야. O ponto fraco do Doubao são os números: ele produziu do nada "5 존맛" e escreveu um trecho de choro como "6 6".

Loops de repetição. Nas risadas de Memories of Murder, o Doubao escreveu a risada como ㅎ repetido 40 vezes. Ele nunca colapsou assim nos dois trechos de nível intermediário; isso só aconteceu em risadas e gritos extremos. O Gladia também entrou em loop no coreano. O Soniox foi o único motor que não colapsou em nenhum dos dois trechos mais difíceis.

Trechos perdidos. O maior problema do AssemblyAI é deixar coisas de fora. Ele pula pedaços inteiros e muitas vezes devolve o menor número de caracteres dos quatro. Raramente inventa algo, mas perde muito.

O que escolhemos

Principal: ElevenLabs Scribe v2. Primeiro nos quatro trechos, com média de 11.6% contra 17.0% do segundo colocado. Também é o único que costuma acertar os nomes.

Referências, em ordem: Doubao, Soniox, Gemini. Os três rodam em todos os arquivos em coreano.

• Doubao: segundo na média, e um segundo lugar estável nos dois trechos de nível intermediário. Seus colapsos só aconteceram em risadas extremas, que raramente aparecem numa entrevista real.
• Soniox: substituiu o AssemblyAI, e não por causa das pontuações. Descobrimos que o pior tipo de erro do AssemblyAI era um que o Soniox também tendia a cometer, muitas vezes no mesmo ponto, enquanto os erros exclusivos do AssemblyAI eram os grandes pedaços perdidos. Trocar pelo Soniox deixa as faixas de referência com menos sobreposição naquilo que erram.
• Gemini: roda como terceira referência.

Evidências contra a nossa escolha

• Nosso primeiro relatório dos quatro trechos em coreano recomendava outra coisa: Doubao mais AssemblyAI, sob o argumento de que o AssemblyAI "só omite, nunca inventa, então é o mais seguro". A revisão depois mostrou que o AssemblyAI era um dos três motores por trás da negação em comum, então o "mais seguro" não se sustentou, e o Soniox tomou seu lugar.
• O histórico do Gemini em coreano é fraco. Quando o testamos, o coreano ficou no grupo "não incluir". Na cena do frango, ele mudou o sentido quatro ou cinco vezes, transformando "o suco ainda está dentro" em "absolvendo a carne", e deixou conteúdo de fora. Na cena do detetive, mudou o sentido três vezes, transformando "achei que fosse um corpo" em "achei que ele estivesse dormindo", e deixou cair um "5%". A maioria dessas são substituições que mudam o sentido, que não estão entre as nossas seis linhas vermelhas, mas são igualmente perigosas numa transcrição de entrevista. Ele está na configuração agora e precisa ser acompanhado.
• Os números fantasmas do Doubao são o tipo de coisa que um leitor poderia facilmente tomar por dados fornecidos pelo participante.

Problemas em aberto

• Os dois trechos mais difíceis só foram conferidos, na época, quanto à taxa de erro e a colapsos, não linha por linha quanto ao sentido.
• Os quatro trechos são filmes. Não temos nenhuma entrevista real. A configuração ainda traz uma nota dizendo que o pipeline inteiro deve ser rodado de ponta a ponta numa entrevista real antes do uso pleno em produção.
• Um erro em comum a três motores não pode ser corrigido por votação. Por isso, quando os motores divergem sobre se algo é negativo, nossa etapa de fusão não segue a maioria; sem evidência sólida, ela marca a fala para uma pessoa.