Russo: a fala que os dois motores de referência erraram

Foi no russo que flagramos pela primeira vez dois motores de referência cometendo o mesmo erro na mesma fala, enquanto o motor principal acertava. Se tivéssemos decidido essa fala por maioria de votos, a transcrição estaria errada.

Veja como testamos o russo e o que esse episódio mudou.

Os trechos de teste

Quatro cenas de filmes russos, avaliadas contra as legendas em russo para surdos e ensurdecidos dos próprios filmes. Escolhemos as quatro pela dificuldade, então, na nossa escala de três níveis, todas ficam no topo:

• Irmão (Brother, 1997): um homem gritando através de uma porta, várias pessoas interrompendo do lado de fora, barulho de mercado por baixo.
• Irmão 2 (2000): conversa rápida ao telefone, cheia de nomes, lugares e números, com um rádio tocando ao fundo.
• Leviatã (Leviathan, 2014): alguns homens tramando em volta de uma mesa, falas sobrepostas.
• Kokoko (2012): uma sala cheia de mulheres trabalhando e conversando, falando umas por cima das outras.

Não publicamos o áudio. Nenhuma delas é uma conversa comum entre duas pessoas em ritmo normal, o que volta mais adiante como uma limitação.

Motores que experimentamos

Oito: ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Doubao, Soniox e Deepgram, além de FunASR e Qwen como controles. O Gemini foi testado separadamente depois.

Onde cada motor cruzou uma linha vermelha

Julgamos os motores principalmente por seis tipos de falha: frases inventadas, negações invertidas, loops de repetição, palavras inseridas, trechos perdidos e deriva para outro idioma. Em russo, vimos estas:

Palavras inseridas. Na cena de Irmão, o Speechmatics acrescentou uma forma de tratamento, Доченька ("filhinha"), onde ninguém a diz, e transformou o verbo de palavrão охерел no nome Кирилл. Na revisão, contamos pelo menos oito invenções desse tipo em sua saída em russo, algumas em cada trecho. O Deepgram também inventa: em "não daria para passar por ele nem com um canhão (пушки)", ouviu o nome de uma cidade, Пушкино.

Uma negação invertida. Em Leviatã, alguém diz «сегодня не в нашу пользу всё решится» ("hoje não vai se resolver a nosso favor"). O AssemblyAI perdeu o не e escreveu «сегодня они в нашу пользу все решатся», que diz o contrário. O mesmo trecho tem quatro ou cinco outras negações e ele acertou todas, então tratamos isso como um caso isolado, e não como um padrão.

Uma frase substituída. «Двух жён в могилу свёл» ("ele levou duas esposas para o túmulo") saiu do Soniox como «Да уже он в могилу свёл», com outro sujeito. No início, isso foi registrado apenas contra o Soniox. Na revisão, cinco dos oito motores erraram essa fala. O áudio ali é simplesmente difícil.

Deriva de idioma. A primeira rodada do Doubao em russo produziu uma mistura de inglês, nomes de lugares japoneses e chinês. Essa foi culpa nossa: o adaptador não estava enviando um código de idioma russo, então o motor voltou silenciosamente para o chinês. Com ru-RU definido, os quatro trechos voltaram como russo coerente.

Loops de repetição: o AssemblyAI não produziu nenhum nos quatro trechos.

O que escolhemos

Principal: ElevenLabs Scribe v2. O menor WER em três dos quatro trechos. Perdeu o primeiro lugar em Irmão 2 principalmente porque transcreveu o rádio de fundo, tanto o locutor quanto a letra da música, que as legendas deixam de fora, então tudo contou como erro. Seus erros em russo foram, na maioria, palavras perdidas, como um отсюда ("daqui") que faltou. Não o vimos inventar uma frase.

Referências, em ordem: AssemblyAI, Doubao, Gemini. As três rodam em todos os arquivos em russo.

• AssemblyAI: nenhum loop e nenhuma sequência de texto inventado em quatro trechos, e a menor pontuação em Irmão 2, o trecho com mais nomes.
• Doubao: com o código de idioma certo, nada de lixo e nenhuma palavra inserida; quando erra, erra uma palavra, como ouvir торге ("pechincha") como твороге ("requeijão"). Vem da ByteDance e de uma linhagem técnica muito diferente da do AssemblyAI, então os dois tendem a falhar em lugares diferentes.
• Gemini: nossos trechos de filmes russos são todos gritaria e multidão, o que diz pouco sobre uma conversa normal. Então pegamos cinco minutos de uma entrevista real de TV (Vladimir Pozner com Edvard Radzinsky) e conferimos o Gemini linha a linha contra o principal. Nenhum texto inventado, nenhum sentido invertido, nenhum loop. Acertou as quatro citações diretas e todos os nomes próprios, incluindo Cambridge, Oxford e Nicolau II, e pulou três interjeições do tipo "claro".

Evidências contra a nossa escolha

• O AssemblyAI não é limpo em russo. Na revisão, teve três erros perigosos, incluindo a negação acima e a troca completa de «Кто? Зинка я, открывай» ("Quem é? Sou eu, a Zinka, abre") por «Куда ты отдаёшь, Зинка».
• O caso de dois motores concordando e ambos errados é exatamente o motivo pelo qual a votação a três não é confiável. Os erros dos motores não são independentes, e, em negação e polaridade, o lado com mais votos não está necessariamente certo.
• Em Irmão 2, o Gemini escreveu quatro frases do rádio de fundo na transcrição e transformou "você tem um passe de dez dias?" em "eu tenho um passe de dez dias". Ficou com a pior pontuação dos quatro nesse trecho, 43,6%. Como dito acima, o principal também captou o rádio em outra rodada. Numa entrevista real, é o equivalente a transcrever a TV da sala de reunião como se o participante a tivesse dito.
• O Soniox marcou 12,3% em Leviatã, menos que o principal, e ainda assim o deixamos de lado porque a revisão encontrou substituições de frases inteiras. Guiando-se só pela pontuação, chega-se à decisão oposta.

Problemas em aberto

• Nossos revisores não leem russo com profundidade suficiente para julgar cada fala. A primeira passada só conferiu o que pode ser julgado objetivamente: russo coerente ou não, caracteres de lixo, palavras inseridas, frases trocadas. A negação invertida só apareceu depois, quando comparamos cada palavra negativa uma a uma. Pode haver erros de sentido que ainda não encontramos.
• Os quatro trechos são cenas de filme difíceis. Não temos nenhum trecho avaliado de uma ou duas pessoas conversando em ritmo normal. A entrevista do Gemini não tinha transcrição de referência, então só foi conferida contra o principal.
• Na época dos testes, não havia nenhuma salvaguarda dedicada contra áudio de fundo acabar na transcrição.