Vietnamita: a "alucinação" era uma vendedora do mercado

No fim de uma cena de mercado nos nossos testes em vietnamita, o Doubao escreveu uma fala que as legendas não têm: "Ai mua gà kìa", algo como "quem vai comprar frango?". O primeiro relatório registrou isso como alucinação. Na revisão, descobriu-se que era uma vendedora real anunciando ao fundo. As legendas a deixaram de fora, e o Doubao a ouviu.

Não há muitas evidências para este idioma, apenas dois trechos válidos. Veja o que eles nos dizem e o que não dizem.

Os trechos de teste

Dois filmes vietnamitas, avaliados contra as legendas em vietnamita para surdos e ensurdecidos da Netflix:

• Fúria (Furie, 2019): cobrança de dívida numa barraca de penhores de um mercado, depois uma acusação de furto. Várias pessoas trocando insultos rapidamente num dialeto do sul, barulho de mercado, vozes sobrepostas. Nível máximo da nossa escala de dificuldade de três níveis.
• Song Lang (2018): os bastidores de uma trupe de ópera tradicional, fãs passando para conversar. Diálogo rápido com barulho de multidão. Nível intermediário, e bem mais limpo que o primeiro.

Queríamos mais dois trechos com conversa mais densa. Todo "filme completo" que encontramos no YouTube era ou uma reedição de algum outro canal que não batia com as legendas, ou bloqueado por verificação de idade, e os canais dos próprios estúdios só têm trailers. Paramos em dois em vez de encher o conjunto com áudio que não conseguíamos verificar.

Motores que experimentamos

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics na primeira rodada. O Soniox foi avaliado durante uma revisão posterior. O Gemini foi testado separadamente.

Onde os motores cruzaram linhas vermelhas

Trechos perdidos. O AssemblyAI fez isso nos dois trechos. Pulou inteiramente as quatro primeiras frases de Song Lang, que é o principal motivo de ter ficado em último no trecho limpo.

Substituições que viram nomes. O AssemblyAI escreveu dị ứng ("alergia") como Dĩ Ấn, que parece nome de pessoa, três vezes. Em Fúria, transformou o nome Mai em công an ("polícia"), ăn cắp ("roubar") em Anh Cất e tang chứng ("prova") em ăn trứng ("comer ovos"). A cena inteira gira em torno de saber se alguém roubou algo, e com esses erros a história muda.

Frases inventadas. Nosso motor principal, o ElevenLabs, inventou dois nomes que não existem no ponto mais barulhento e sobreposto, perto do fim de Fúria, junto com uma frase, Họ đang buôn bán ("eles estão fazendo negócio"). O Speechmatics abriu Song Lang com um ca sĩ ("cantor") que ninguém disse.

O Soniox teve zero erros de linha vermelha de qualquer tipo nos dois trechos.

O que escolhemos

Principal: ElevenLabs Scribe v2. No topo nos dois trechos, e o mais completo no começo e no meio.

Referências, em ordem: Doubao, Soniox, Gemini. As três rodam em todos os arquivos em vietnamita.

• Doubao: empatado com o principal em primeiro nos dois trechos e o mais próximo das legendas. Sua única "alucinação" não sobreviveu à revisão.
• Soniox: substituiu o AssemblyAI. Nenhum erro de linha vermelha, 9,1% no trecho limpo, e foi o que recuperou mais conteúdo no barulhento.
• Gemini: nossos trechos de filmes vietnamitas são todos discussões e cenas de multidão, o que diz pouco sobre uma conversa normal. Então rodamos cinco minutos de um podcast vietnamita no Gemini e no principal e conferimos um contra o outro. Os dois produziram exatamente 1.018 palavras. O Gemini cometeu um erro real: chôn ("enterrar") virou trốn ("esconder-se").

Evidências contra a nossa escolha

• O motor principal inventou conteúdo no fim de Fúria. Em vietnamita, não dá para supor que o principal não inventa; o final barulhento de uma gravação precisa das trilhas de referência para conferi-lo.
• Quando o Gemini foi testado só nesses dois trechos de filme, o veredito foi "não adicionar". Ele foi revertido depois do teste com o podcast, e esse podcast não tinha transcrição de referência, então o Gemini e o principal só foram conferidos um contra o outro.
• Um trecho é extremamente barulhento e o outro é bastante limpo. Não temos nada no meio.

Problemas em aberto

Avaliamos nossa confiança na configuração deste idioma como média, por um motivo simples: dois trechos não sustentam a afirmação de que algo é sistemático. As legendas de mais dois trechos estão prontas; o que falta é áudio licenciado que bata com elas. Quando o tivermos, o mesmo método pode levar o conjunto a quatro.