Turco: como a atualização de um modelo quebrou um histórico limpo

Em turco, o AssemblyAI começou com um histórico limpo: quatro trechos e nenhuma fala em que invertesse o sentido. Então o fabricante lançou uma nova geração do modelo e passamos a usá-la por pouco tempo. Os quatro trechos em turco pioraram, alguns com quase o dobro da taxa de erro, e ele transformou a ordem indirin ("abaixe isso") em indirmez ("ele não vai abaixar"). Isso acabou com o histórico limpo. Voltamos ao modelo antigo.

Mesmo motor, versão diferente, e a conclusão pode deixar de valer. Esse é o pano de fundo de como o turco está configurado.

Os trechos de teste

Quatro cenas de filmes turcos de cerca de um minuto e meio cada, avaliadas contra legendas em turco para surdos e ensurdecidos:

• Vizontele (2001): um chefe de aldeia recebendo visitantes, com respostas rápidas, interrupções e gritos.
• Düğün Dernek (2013): um camelo perdeu a noiva; quatro ou mais pessoas falam ao mesmo tempo, resmungando e xingando.
• G.O.R.A. (2004): o embarque numa nave espacial numa comédia de ficção científica, ordens se acumulando sobre efeitos sonoros e música densos.
• Bergen (2022): uma mãe biológica aparece para um confronto; trocas rápidas e emotivas no dialeto de Adana, com palavrões.

Os dois primeiros ficam no nível máximo da nossa escala de dificuldade de três níveis, e os outros dois no nível intermediário. Não há trecho fácil.

Motores que experimentamos

Quatro na primeira rodada: ElevenLabs Scribe v2, AssemblyAI, Speechmatics e Doubao. O Soniox foi avaliado numa revisão posterior. O Gemini foi testado separadamente.

Onde os motores cruzaram linhas vermelhas

Frases inventadas. O Speechmatics produziu duas ou três em Vizontele. Hiç lüzüm yok ("não há necessidade") virou İç sesim yok ("não tenho voz interior"), e ele grudou gazeteye getirip ("levar ao jornal") numa frase que não diz isso.

Uma negação acrescentada. Mesmo motor, mesmo trecho: Fikri benim adım ("meu nome é Fikri") voltou com um yok ("não") no final.

Finais perdidos. Em dois trechos difíceis, a transcrição do Gemini está boa até o último pedaço, e então faltam de 20 a 25 palavras, quatro frases inteiras num dos casos. Ele ficou em segundo pelo WER nos dois, então a pontuação não dá nenhuma pista.

Deriva de idioma. As primeiras rodadas do Doubao em turco voltaram como algaravia em inglês, por exemplo "I'm shaking these diseases". Não tínhamos enviado um código de idioma turco. Com tr-TR definido, os quatro trechos voltaram como turco coerente.

O AssemblyAI (no modelo antigo) e o Doubao não tiveram frases inventadas nem inversões nos quatro trechos.

O que escolhemos

Principal: ElevenLabs Scribe v2. Primeiro em todos os trechos, exceto G.O.R.A., onde os efeitos sonoros nivelam todo mundo.

Referências, em ordem: AssemblyAI, Doubao, Gemini. As três rodam em todos os arquivos em turco.

• AssemblyAI: o motor mais preciso depois do principal, sem frases inventadas e sem inversões. Ele ouve nomes errado, por exemplo Belgin como belli ("óbvio"), mas as outras trilhas conseguem pegar esse tipo de erro.
• Doubao: último pelo WER em todos os trechos, caindo para 28,6% na cena em dialeto. Quase todos os seus erros são de grafia. Ele escreve a pronúncia dialetal do jeito que ouve, então pabuç vira pafuç. Mas nunca inventou nem inverteu nada. Para uma trilha de referência, importou mais para nós se um motor escreve coisas erradas com segurança do que a posição dele no ranking.
• Gemini: roda como a terceira referência.

O Soniox foi bem na revisão: nenhum erro de linha vermelha de nenhum tipo, e segundo entre os motores não principais. Não o colocamos no lugar de ninguém, porque o AssemblyAI já é o motor não principal mais forte e uma troca não teria nada a ganhar. Ele é o primeiro da fila como reserva e entraria se o Doubao começar a puxar os resultados para baixo em produção.

Evidências contra a nossa escolha

• A história da atualização mostra que o "sem inversões" do AssemblyAI é um histórico de uma versão do modelo. Versão nova significa testar de novo.
• O Doubao é o mais fraco dos quatro. Com dialeto forte e fala rápida, acrescenta pouca informação.
• O Gemini tem apenas um trecho de teste em turco em estilo de conversa, o que não basta para julgá-lo. Em G.O.R.A., o final perdido veio acompanhado também de mudanças de sentido: "tire os óculos" virou "arranque os olhos", e palavras como Ölmüş ("ele está morto") apareceram do nada.
• O relatório registra uma pequena expressão inventada pelo principal em cada um dos dois primeiros trechos. Mas a revisão também descobriu que essas legendas deixam muito de fora, e por esse motivo fala real tinha sido julgada duas vezes, por engano, como alucinação. Não podemos ter certeza absoluta de que esses dois casos contam contra o principal.

Problemas em aberto

• Os quatro trechos são filmes. Não há entrevista real nem conversa cotidiana fácil.
• As legendas deixam tanto de fora que, quando vários motores concordam em algo que as legendas não têm, é preciso reconferir as legendas antes de chamar aquilo de alucinação.
• Os finais perdidos do Gemini não aparecem na pontuação. Só uma leitura linha a linha os pega.