Ucraniano: 54 segundos de silêncio transformados numa palestra

Um filme ucraniano tem uma cena de sala de estar em que uma TV está ligada ao fundo e ninguém fala por cerca de um minuto. As legendas marcam isso com uma única linha: [TV ligada ao fundo].

O Soniox escreveu 54 segundos de conteúdo nesse intervalo, algo sobre plantas venenosas, preso num pequeno loop no meio. O Speechmatics preencheu 29 segundos. Talvez estivessem realmente captando a TV. Para a transcrição de uma entrevista, isso não faz diferença: um trecho longo aparece do nada e é lido como se o entrevistado o tivesse dito.

Foi a maior inserção fabricada de todo o nosso conjunto de testes. O Soniox substituiu outros motores em vários idiomas. Não é usado para o ucraniano, e esses 54 segundos são o motivo.

Os trechos de teste: encontrá-los foi metade do trabalho

• My Thoughts Are Silent (Мої думки тихі, 2019), três cenas: um interrogatório de contrabando na fronteira (ruído forte, dialeto transcarpático acentuado; nível mais difícil); a busca pelo batom que vem em seguida (mais rápida, mais sobreposição; nível mais difícil); a sala de estar de uma professora (ucraniano padrão, limpo; nível de base).
• Stop-Zemlia (Стоп-Земля, 2021): entrevistas numa sala de aula e cenas de rua. Fala rápida, trocas frequentes de falante, barulho de rua. Nível médio a alto.

Material em ucraniano é difícil de reunir. Filmes recentes têm licenciamento restrito, filmes de guerra muitas vezes não têm lançamento completo ou legendas, e filmes ambientados no Donbas são metade em russo. Os três primeiros trechos tiveram de vir de um único filme, então pegamos o quarto de outro para garantir que as conclusões não fossem sobre um único filme.

Motores que testamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics e Doubao (uk-UA). As transcrições do Soniox, do Deepgram e do Qwen vieram de uma rodada separada com todos os motores e foram comparadas durante a revisão. O Gemini foi adicionado em agosto de 2026.

Linhas vermelhas, motor a motor

ElevenLabs: nenhum loop, nenhuma alucinação, nenhuma inversão nos quatro trechos. Foi quem melhor lidou com o dialeto, por exemplo файні трави ("ervas boas") e тя роздеру як жабу ("vou te rasgar como um sapo").

AssemblyAI: no fim da cena do batom, repetiu uma fala, "Треба цього конючку", três vezes. Na mesma cena, transformou подозрітєльний ("suspeito") em правдивий ("verdadeiro"), quase uma inversão, e perdeu um trecho inteiro em que regras são lidas em voz alta. No quarto trecho, "А якщо не вступиш?" ("e se você não passar?") virou наступиш ("pisar em").

Doubao: o relatório original dizia que ele não tinha inversões. A revisão encontrou três erros em nível de inversão: "suspeito" virou приємний ("agradável"), "não passar" virou "pisar em", e "ele não foi lá" perdeu a negação. Na rua, também inseriu um palavrão e a palavra російський ("russo") que ninguém disse.

Speechmatics: transformou o barulho da TV em diálogo; perdeu negações duas vezes, incluindo "Це скоріше не пушка" ("isso está mais para não uma arma") virando "isso está mais para uma arma"; e escreveu сенсорну ("sensorial") no lugar de стресорну ("de estresse") para reação.

Soniox: veja os 54 segundos acima.

O que escolhemos, e por quê

Principal: ElevenLabs Scribe v2. O mais estável nos quatro trechos, sem nenhum dos três tipos de falha.

Referência 1: AssemblyAI. Seu loop aconteceu uma vez, só onde dialeto forte, fala rápida e sobreposição densa se juntaram. Na cena limpa da sala de estar e no quarto trecho, em estilo de entrevista, foi limpo.

Referência 2: Doubao. Ucraniano coerente nos quatro trechos, sem loops, sem saída com lixo.

Referência 3: Gemini. Este foi e voltou; veja a próxima seção.

Evidências contra a nossa escolha

• Nossas duas trilhas de referência podem errar juntas. Em "suspeito" e "não passar", o AssemblyAI e o Doubao falharam no mesmo ponto e na mesma direção, e o Soniox, o motor que rejeitamos, acertou os dois. Quando as duas trilhas de referência concordam, isso não as torna certas, especialmente em negações e em saber se algo é bom ou ruim.
• O relatório original foi gentil demais com os titulares. As inversões do Doubao foram de zero para três. A afirmação de que "só o ElevenLabs acertou 'não passar'" não se sustentou: ElevenLabs, Speechmatics, Soniox, Deepgram e Qwen acertaram.
• O Gemini foi mal nos trechos de filme. Na cena do batom, mudou para o russo no meio (базаришь что такое) e inseriu um palavrão. Na cena limpa da sala de estar, acrescentou 40 palavras que nenhum dos outros três produziu. Em certo momento, listamos o ucraniano como "não adicionar". Depois rodamos um podcast de entrevista política real de cinco minutos. Nenhuma alucinação, nenhuma inversão, nenhum loop, e uma palavra que ele acertou onde o ElevenLabs errou (двієчник, "mau aluno"). Também deixou de fora duas citações diretas, cerca de 30 palavras ao todo, e transformou Сповідь ("confissão") em Ковід ("Covid"). Esse podcast não tinha transcrição de referência humana; só comparamos o Gemini com o ElevenLabs.

Ainda em aberto

• Três dos quatro trechos vêm de um único filme. A base de fontes é estreita.
• Os três primeiros trechos foram inicialmente julgados só pelo formato da saída; a leitura linha a linha veio numa revisão posterior.
• Ainda não há entrevistas de pesquisa reais. A inclusão do Gemini se apoia num único podcast de cinco minutos.