Indonésio: alguém grita por socorro, o motor escreve 'obrigado'

Uma das nossas cenas de teste em indonésio é uma seita sitiando uma casa. Em meio aos gritos, alguém berra "Bu, tolong selamatkan anak-anakku, bu!" ("Mãe, por favor, salve meus filhos!"). Nosso motor principal, o ElevenLabs, captou essa fala. No mesmo momento, o AssemblyAI escreveu "Terima kasih", que significa "obrigado".

O Gladia foi além. Produziu "Jangan lupa like share dan subscribe", "não se esqueça de curtir, compartilhar e se inscrever", a despedida de um vídeo de YouTuber.

Os dois apontam na mesma direção. Quando o áudio fica bagunçado demais para entender, alguns motores preenchem a lacuna com uma frase familiar.

Os trechos de teste

Os quatro trechos vêm de um único filme, Satan's Slaves (Pengabdi Setan, 2017), avaliados contra suas legendas em indonésio para surdos e pessoas com deficiência auditiva. Usamos um único filme porque todos os outros "filmes completos" em indonésio que achamos no YouTube eram falsos: um vídeo de resenha, outro filme com o mesmo título ou uma remontagem cujo tempo não batia com as legendas.

Cada uma das quatro cenas testa algo diferente:

• Folheando uma revista: música de cordas ao fundo, duas pessoas trocando falas rapidamente.
• Jantar em família: barulho de louça, irmãos mais novos fazendo bagunça, sobreposição constante.
• Pedindo ajuda: duas pessoas contando com calma uma história de família, em frases completas.
• O cerco: gritos de pânico, trovões, alguém esmurrando a porta.

Na nossa escala de dificuldade de três níveis, as duas primeiras ficam entre o intermediário e o mais alto, o cerco é do nível mais alto, e a cena do pedido de ajuda é quase fácil, o único trecho claro do conjunto.

Motores que experimentamos

ElevenLabs Scribe v2, AssemblyAI, Doubao e Speechmatics na primeira rodada, com FunASR, Gladia, Deepgram, Soniox e Qwen rodando em paralelo para registro. O Gemini foi testado à parte.

Onde os motores cruzaram linhas vermelhas

Frases inventadas. As duas do início: o "obrigado" do AssemblyAI e o "curtir, compartilhar e se inscrever" do Gladia. O AssemblyAI não inventou nada nos três primeiros trechos. Só o cerco o levou a inventar uma.

Palavras inseridas. No cerco, alguém diz "kalau kita bersatu" ("se ficarmos unidos"), e nenhum dos quatro motores acertou. O ElevenLabs escreveu "nos juntarmos contra", o AssemblyAI e o Speechmatics escreveram "entregar", e o Doubao escreveu "kalau kita nggak serahkan" ("se não entregarmos"), acrescentando uma negação que ninguém disse. No jantar, o Speechmatics também grudou duas palavras a mais, "hati kau" ("seu coração"), no fim de uma fala.

Loops de repetição. No cerco, as pessoas não param de gritar o nome Bondy. O ElevenLabs, o Soniox e o Doubao escreveram o nome de cinco a nove vezes cada um. O Gemini o escreveu como Bodoh ("idiota") dez vezes seguidas.

Trechos perdidos. O AssemblyAI foi o que mais perdeu no cerco, deixando de fora longos trechos da gritaria.

Desvio de idioma. Os dois primeiros trechos do Doubao voltaram como uma mistura sem sentido de chinês e inglês, porque não tínhamos enviado o código de idioma indonésio. Com id-ID definido, sua transcrição da cena do pedido de ajuda saiu quase palavra por palavra igual à do principal.

Nenhum dos motores inverteu o sentido de uma frase inteira em nenhum dos quatro trechos.

O que escolhemos

Principal: ElevenLabs Scribe v2. Menor WER nos dois primeiros trechos, quase nenhum erro de sentido no trecho claro, o maior volume de conteúdo recuperado do cerco e o único motor que captou o pedido de socorro.

Referências, em ordem: Soniox, Doubao, Gemini. Os três rodam em todos os arquivos em indonésio.

• Soniox: substituiu o AssemblyAI. A revisão confirmou nenhum erro de linha vermelha, e ele ficou em primeiro ou segundo entre os motores não principais. Seus dois pontos questionáveis vieram ambos em passagens extremamente barulhentas, em que todos os motores falharam, e o que ele escreveu correspondia a sons do áudio, então contam como erro de audição, não invenção.
• Doubao: com o código de idioma corrigido, nenhuma frase inventada e nenhuma inversão em quatro trechos. Ele vem de uma base técnica muito diferente da do Soniox, então os dois não tendem a falhar no mesmo lugar.
• Gemini: na cena clara do pedido de ajuda, coincidiu com o principal e com o Soniox quase palavra por palavra.

O AssemblyAI passou a reserva. O "obrigado" inventado, somado à gritaria que ele perdeu, o deixou mais perto das nossas linhas vermelhas do que o Soniox, julgados pelo mesmo critério.

Evidências contra a nossa escolha

• O Soniox tem um hábito. Quando não consegue entender algo, tende a escrever uma frase fluente em vez de deixar um lixo óbvio, e uma frase fluente e errada é a mais difícil de o leitor perceber. Uma varredura automática inicial também apontou sinais de geração excessiva e repetição na sua saída em indonésio. A configuração registra que, no primeiro mês em produção, falas fluentes e difíceis de ouvir que só o Soniox produziu devem ser conferidas por amostragem.
• A negação a mais do Doubao na fala "ficarmos unidos" é exatamente o tipo de erro que mais estraga quando as transcrições são fundidas.
• O AssemblyAI foi limpo nos três primeiros trechos. O argumento para substituí-lo se apoia sobretudo numa única cena.

Problemas em aberto

• Os quatro trechos vêm de um único filme, com o mesmo elenco e as mesmas condições de gravação. Outros filmes e outros sotaques poderiam dar outra resposta.
• As pontuações do cerco são inutilizáveis, então o ranking ali vem inteiramente da leitura linha por linha.
• Não temos gravações de entrevistas reais.