Tcheco: o prefixo de duas letras que decidiu nossa formação de motores

Em tcheco, "não" muitas vezes não passa de ne- grudado na frente de um verbo.

Nosso trecho mais difícil em tcheco é uma cena de família com todo mundo em volta da mesa falando ao mesmo tempo. Numa negação crucial, o Speechmatics deixou cair o ne- e a frase saiu dizendo o contrário. O Soniox o manteve. Foi nesse trecho que mudamos nossos motores de referência para o tcheco.

Os trechos de teste

Quatro trechos de dois filmes:

Motores que testamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR e Doubao. O Gemini foi incluído em agosto.

O Doubao não suporta tcheco. Os quatro trechos voltaram vazios ou como uma mistura sem sentido de inglês e chinês, incluindo loops como "No no no".

As linhas vermelhas

Negações invertidas: a do início, do Speechmatics.

Trechos perdidos: o AssemblyAI perdeu dois trechos inteiros no trecho de família mais difícil. No trecho da revolução, produziu 78 palavras no total, contra 154 do Speechmatics: cerca da metade.

Loops: o Doubao, sim. O ElevenLabs escreveu o "Už je to tady!" (Chegou a hora!) da multidão seis vezes no trecho da revolução, onde as legendas o trazem duas. A multidão realmente entoava isso sem parar, então não contamos como loop, mas registramos.

Conteúdo inserido: no trecho da revolução, o Gemini escreveu uma rubrica em inglês, "(Crowd noise and shouting)", na transcrição, e transformou "sinos tocando" em zabili (mataram).

Desvio de idioma: só o Doubao.

Frases alucinadas: na avaliação original dos quatro trechos, nem o ElevenLabs, nem o AssemblyAI, nem o Speechmatics inventaram uma frase inteira. Seus erros foram sobretudo palavras de som parecido, e alguns mudaram o sentido. O Speechmatics ouviu má slon em "o elefante tem três metros e setenta!" como máslo (manteiga), e "eu nunca engoliria isso" como "eu nunca reconheceria isso".

O que escolhemos

• Motor principal: ElevenLabs Scribe v2. O mais fiel em três dos quatro trechos. A discussão no jantar saiu quase palavra por palavra.
• Motores de referência: Soniox, Speechmatics, Gemini.

Soniox: zero linhas vermelhas nos quatro trechos. No trecho de família mais difícil, empatou com o ElevenLabs como o melhor, e foi o único motor a escrever corretamente o nome de um personagem, Brašule. Manteve a negação crucial.

O Speechmatics fica, com uma regra anexa: se o Speechmatics for o único motor com uma determinada leitura sobre se uma frase é negativa, a etapa de fusão não o acompanha.

O AssemblyAI passou a reserva por causa dos trechos perdidos citados acima.

O Gemini teve zero linhas vermelhas no interrogatório policial, que é claro.

Evidências contra as nossas escolhas

• Nosso primeiro relatório dos quatro trechos concluiu que o AssemblyAI e o Speechmatics só perdiam palavras e nunca invertiam o sentido, então três motores bastavam. Rodar de novo o trecho mais difícil derrubou isso. Nossa primeira leitura foi otimista demais.
• No trecho da revolução, o Speechmatics captou a maior parte da transmissão de rádio e foi o melhor dos três motores comparados na época; o ElevenLabs ficou em último. Quando testamos o Gemini em agosto, as notas desse trecho dizem que o ElevenLabs perdeu boa parte da abertura e ficou em último. Nosso motor principal não é confiável em áudio ruidoso de transmissão com multidão.
• O Gemini tem só um trecho de conversa a seu favor em tcheco. No outro, inseriu uma rubrica e mudou um sentido.

O que ainda está em aberto

• Os quatro trechos vêm de dois filmes. Nenhum é uma entrevista real.
• O Gemini precisa de mais material de conversa.
• O Speechmatics já perdeu uma negação, e nossa correção é uma regra para não confiar nele sozinho. Isso remenda a etapa de fusão; a fraqueza do motor continua lá.