Árabe: as pessoas falam dialeto, as legendas escrevem MSA. Como escolhemos os motores mesmo assim

Um motor, um único nível de competência. Em uma gravação em árabe, sua taxa de erro foi de 49.2%. Em outra, 18.2%.

O motor não mudou. A transcrição de referência, sim. A primeira estava escrita em árabe formal. A segunda registrava, palavra por palavra, o dialeto que o falante de fato usou.

Os trechos de teste: duas gravações, dois dialetos

• Talhouk: uma palestra pública de um falante libanês sobre língua materna e ensino de árabe. Ele fala árabe libanês coloquial. As legendas o transpõem para o árabe padrão moderno (MSA).
• Fenjan (روقي): uma entrevista de atualidades em árabe do Golfo (saudita). As legendas transcrevem o dialeto falado literalmente.

É tudo o que temos. Material gratuito que reúna áudio em dialeto, legendas feitas por humanos e fidelidade literal é muito difícil de encontrar, e paramos nesses dois. Eles foram escolhidos pelo dialeto, não pela dificuldade. Nosso nível mais difícil (pessoas falando umas por cima das outras, muito ruído de fundo) não está coberto para o árabe.

E só o segundo trecho pode ser usado para ranquear motores. Eis o porquê.

Motores que testamos

Dez: ElevenLabs Scribe v2, AssemblyAI, Speechmatics (enhanced e Melia-1), Doubao (ar-SA), Soniox, Deepgram, Gladia, FunASR (fun-asr-mtl) e Qwen (qwen3.5-omni). O Gemini foi incluído numa rodada posterior, em agosto de 2026.

Linhas vermelhas: o árabe se revelou um idioma "seguro"

Na entrevista de Fenjan, lemos oito transcrições linha por linha: ElevenLabs, Soniox, Speechmatics, Qwen, Doubao, Gladia, Deepgram e FunASR. Todas preservaram o sentido. Nenhuma frase inventada, nenhuma negação invertida, nenhum trecho fabricado.

Os problemas estavam em outro lugar:

• AssemblyAI entrou em loop num trecho da palestra de Talhouk e produziu conteúdo que não está no áudio, preso a marcações de tempo de duração zero. Foi a única alucinação genuína em todo o painel de árabe.
• FunASR enfiou uma palavra em inglês, "Also", numa frase em árabe (um pequeno desvio de idioma) e transformou o ano 1990 em 2990.
• Doubao e FunASR marcaram 41.4% e 37.7% em Fenjan, cerca do dobro dos líderes. Numa leitura atenta, a maior parte desses "erros" vinha de duas coisas: o sinal hamza omitido e anos escritos por extenso do jeito que se falam no dialeto (2011 como الفين واحدعش). Um leitor não seria enganado. Primeiro concluímos que o Doubao era fraco em árabe; depois retiramos essa conclusão.

No mesmo trecho, o Speechmatics marcou 15.7%, o Qwen 17.9%, o Soniox 18.2% e o ElevenLabs 20.1%. Poucos pontos de diferença.

O que escolhemos, e por quê

Principal: ElevenLabs Scribe v2. Em Fenjan ele fica no fim do grupo da frente, então o árabe não é seu idioma mais forte. Mas foi fiel nos dois trechos. Na palestra libanesa, manteve palavras dialetais como بدي, هيدا e وين quase intactas. Na entrevista do Golfo, escreveu o mais genérico أيش onde o falante disse وش ("o quê"), sem perder o sentido. Ele é nosso motor principal em todos os idiomas sobretudo pela separação de falantes e pela estabilidade em gravações longas, não por essa pontuação específica.

Referência 1: Soniox. Nenhuma alucinação em nenhum dos trechos, e a leitura mais fiel do dialeto do Golfo. Na palestra libanesa, fez o oposto: escreveu o dialeto como árabe formal, e é por isso que seu WER ali foi o mais baixo. Ou seja, ele erra na direção oposta à do nosso motor principal. Um puxa para o dialeto, o outro para a forma escrita. Isso é mais útil para a checagem cruzada do que dois motores que erram do mesmo jeito.

Referência 2: Speechmatics. Menor taxa de erro em Fenjan, saída limpa, sem colapsos. É um modelo acústico convencional, construído de forma diferente do Soniox. Suas transcrições vêm sem pontuação, o que é uma configuração da API e não afeta as palavras.

Referência 3: Gemini. Na rodada de agosto, o árabe entrou no grupo "pode ser incluído": nenhuma linha vermelha em pelo menos dois trechos de conversa ou fala.

Não escolhidos: o Qwen foi tão preciso quanto os dois primeiros, mas é um transcritor baseado em grande modelo de linguagem, como o Gemini, e não fornece marcações de tempo por palavra, então fica no banco. O Doubao funciona de forma diferente de todos os outros da formação; é um possível reserva, mas não está conectado.

Evidências contra a nossa escolha

• Certa vez listamos "o Soniox é o mais fiel ao dialeto libanês" como motivo para escolhê-lo. Uma nova checagem palavra por palavra mostrou que tínhamos entendido ao contrário. Os motores que mantiveram as palavras dialetais foram ElevenLabs, FunASR, Qwen e Doubao. O Soniox foi o que mais formalizou. Esse motivo caiu; o Soniox fica pelos motivos acima.
• O único ranking confiável se apoia numa única gravação. Speechmatics, Qwen e Soniox estão a dois ou três pontos de distância, e um trecho só não consegue separá-los.
• Nossa primeira passada pelo árabe se apoiou principalmente no WER e na estrutura da saída. A leitura pelo sentido veio depois, e derrubou o veredito "Doubao e FunASR são fracos em árabe".

Ainda em aberto

• Só foram testados o árabe levantino e o do Golfo. O egípcio e outros dialetos não estão cobertos.
• Quando encontrarmos uma terceira e uma quarta gravação fiéis ao dialeto, o ranking precisa ser refeito.
• Os dois trechos são uma palestra pública e uma entrevista de mídia, não entrevistas de pesquisa.