Húngaro: por que mantivemos o motor que escreveu "bilhete" 23 vezes

O filme húngaro Kontroll (2003) tem uma briga por bilhetes no metrô. O fiscal não para de gritar "Jegy!" (bilhete). O AssemblyAI escreveu a palavra 23 vezes seguidas, e todo o trecho de diálogo seguinte desapareceu.

Em outro trecho, com pedidos rápidos de um lado para o outro numa lanchonete, o mesmo motor não entrou em loop nenhuma vez. Nós o mantivemos para o húngaro. Mas os argumentos para mantê-lo se revelaram mais fracos do que pensávamos.

Os trechos de teste

Cinco trechos, todos de filmes:

Os três últimos vêm do mesmo filme. Fontes completas e limpas de filmes húngaros recentes são difíceis de achar; a única cópia completa de um filme que queríamos estava presa atrás de uma restrição de idade.

Motores que testamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR e Doubao, com o Gemini incluído depois.

O húngaro não está entre os idiomas suportados pelo Doubao, e os cinco trechos voltaram como lixo. O Deepgram e o FunASR produziram texto de menos, cerca de um décimo e três décimos da contagem de palavras da referência, o que significa que a maior parte do áudio simplesmente não foi transcrita.

As linhas vermelhas

Loops: a sequência de "Jegy" é um. No trecho da borracharia, o AssemblyAI repetiu "Mi az hogy mi között van" 18 vezes, engolindo seis falas diferentes. O Gemini também teve várias sequências de repetição em Kontroll.

Negações invertidas: o Speechmatics transformou "Ne csináljátok a fotót" (não tirem essa foto) em "Csináljátok a fotót" (tirem). O AssemblyAI transformou "essa festa está incrível" em "por que essa festa não presta". Na lanchonete, ouviu megvennék (eu compraria) como megvernék (eu bateria nele). O Gemini transformou "não se meta" em "vá em frente, se meta".

Frases alucinadas: onde a música da festa abafou as vozes, o Speechmatics produziu uma explosão de risadas e uma frase que não estão no filme. O AssemblyAI substituiu uma fala inteira em Kontroll por outra. O Gemini acrescentou na borracharia uma fala, "a gente paga a corrida", que ninguém disse.

Trechos perdidos: na lanchonete, o AssemblyAI perdeu duas trocas pelo walkie-talkie.

Conteúdo inserido: no mesmo trecho, o Gemini enfiou a chamada do walkie-talkie no meio da conversa seis vezes.

Desvio de idioma: só o Doubao.

O ElevenLabs não teve loops nem inversões nos cinco trechos. Seus erros foram substituições por palavras de som parecido, como színed por szénád.

O que escolhemos

• Motor principal: ElevenLabs Scribe v2.
• Motores de referência: AssemblyAI, Soniox, Gemini.

O AssemblyAI ficou porque seus loops só aconteceram em longas gritarias equilibradas. No diálogo a dois e no trecho da lanchonete, ele não entrou em loop nem perdeu trechos inteiros. Entrevistas reais raramente envolvem várias pessoas gritando umas por cima das outras por muito tempo.

O Soniox substituiu o Speechmatics, que inventa frases no ruído e já perdeu uma negação; o Speechmatics agora é um reserva de emergência. Na revisão, o Soniox superou o AssemblyAI nos cinco trechos e, quando falhou, tendia a produzir fragmentos visivelmente quebrados.

O Gemini foi incluído em todos os idiomas em agosto. Ele falha de forma diferente dos motores acústicos, então os dois tipos podem conferir um ao outro.

Evidências contra as nossas escolhas

O húngaro tem uma boa quantidade delas.

• A afirmação de que o AssemblyAI é limpo em conversa levou um golpe do seu próprio erro: "comprar" virou "bater" no trecho da lanchonete, o mais próximo de uma entrevista.
• A revisão achou o Soniox melhor que o AssemblyAI nos cinco trechos, mas nossa configuração ainda lista o AssemblyAI antes do Soniox. A ordem vai contra a evidência.
• O Gemini teve só um trecho de conversa para ser avaliado, e ali foi limpo. Nas duas cenas de grupo, teve uma inversão, uma frase inventada e vários loops, e na lanchonete inseriu a chamada do walkie-talkie seis vezes.
• Só pelo WER, o Speechmatics teve a menor pontuação tanto no trecho a dois quanto na lanchonete (20.5% e 33.5%, contra 27.6% e 36.3% do ElevenLabs). Não escolhemos por esse número; veja O WER mente.

O que ainda está em aberto

• Um trecho de conversa não é evidência suficiente para o Gemini em húngaro. Ele precisa de mais testes.
• Três dos cinco trechos vêm de um único filme, o que limita a variedade de cenas.
• Ainda não decidimos se vamos reordenar os motores de referência para refletir a revisão.