Mandarim: escolhendo motores entre tiros e gritos

Numa cena de resgate de Terra à Deriva (The Wandering Earth), uma transmissão de emergência em inglês atravessa os gritos em mandarim. O Speechmatics transformou essa transmissão em "Team Violence Eduardo Saverin Fear". Eduardo Saverin é um personagem de outro filme, A Rede Social. No mesmo trecho, o AssemblyAI traduziu o inglês para um chinês truncado, e o FunASR não devolveu nada.

O chinês é o único idioma em que usamos quatro trilhas de referência. Este post explica como as escolhemos.

Os trechos de teste

Quatro cenas de filmes chineses, de três a cinco minutos cada, todas em mandarim:

• Let the Bullets Fly, a negociação do assalto de abertura: gravação limpa, fala rápida, pessoas se interrompendo, muitos nomes.
• Assembly, um cerco no campo de batalha: tiros por cima da fala, ordens esparsas, soldados feridos gritando uns por cima dos outros.
• Terra à Deriva, o resgate em Xangai: ruído de cena de desastre, com uma transmissão em inglês no meio do mandarim.
• Aftershock, as ruínas do terremoto: uma mãe gritando pelos filhos, tremores secundários retumbando, áudio abafado.

Na escala de três níveis do primeiro post desta série, Let the Bullets Fly fica perto do nível intermediário e os outros três estão no nível mais difícil. Nenhum trecho cobre o nível básico: uma ou duas pessoas conversando com calma numa sala silenciosa.

Carregamos de propósito três dos quatro trechos com ruído forte. O erro mais perigoso, uma frase inventada, só aparece quando a fala é meio inteligível e está enterrada no ruído. Em áudio limpo, nenhum dos motores a produz, então não dá para testá-lo ali.

Os candidatos

Doubao, iFlytek, FunASR (versões flagship e flash), dois modelos Qwen da Alibaba, ElevenLabs, AssemblyAI, Speechmatics, Soniox e Deepgram: onze ao todo. Depois rodamos o Whisper large-v3, de código aberto, como linha de base.

As seis linhas vermelhas, motor a motor

Frases inventadas. O Speechmatics inventou coisas nos três trechos barulhentos. Em Assembly, produziu uma frase que diz mais ou menos "Eu te falei há muito tempo… você quer alguém com você, eu disse com um sorriso." Em Aftershock, produziu "Eu amo esportes, estou bem, olá a todos" e transformou os gritos em "bé bé bé bé". O Whisper inventou "Presidente Li, cedo, cedo" nos gritos de Terra à Deriva e transcreveu "Tem uma criança aqui, alguém venha rápido!" em Aftershock como "É um pãozinho, é um pãozinho, pãozinho."

Loops de repetição. O Whisper entrou em loop nos quatro trechos, até no limpo. No fim de Let the Bullets Fly, a palavra para "aguente!" virou um token sem sentido seguido da mesma sílaba treze vezes. O modelo omni-plus do Qwen desmoronou por completo nos gritos de Aftershock.

Negação invertida. Doubao, ElevenLabs, AssemblyAI e iFlytek não produziram nenhuma inversão clara de negação em nenhum trecho. O Whisper chegou perto uma vez, transformando "Heizi aguentou" em "Heizi parou".

Trechos perdidos. O AssemblyAI tende a parar quando o ruído fica pesado. Em Assembly, transcreveu mais ou menos os primeiros 30 caracteres e nada depois; em Aftershock, pulou a abertura barulhenta. Não inventou nada, mas uma trilha de referência com um buraco também não consegue conferir nada. O Whisper foi pior: os primeiros 70 segundos de Aftershock saíram como uma sequência de dois caracteres repetidos, e os pedidos de socorro da mãe desapareceram.

Deriva de idioma. É a transmissão em inglês do início. Na revisão, Doubao, ElevenLabs, iFlytek e Soniox mantiveram o inglês como inglês. O FunASR e o omni-plus o descartaram, o AssemblyAI o traduziu para o chinês e o Speechmatics o transformou num nome.

Conteúdo inserido. O ElevenLabs acrescentou uma fala em Assembly, algo como "o metralhador capturou o subcomandante do regimento". Nenhum dos outros dez motores a produziu, e a referência está em branco nesse trecho. Não temos como saber se foi realmente dita, então a registramos como não verificada.

O que escolhemos

Trilha principal: ElevenLabs Scribe v2. Nenhuma inversão de negação nos três trechos barulhentos e nenhuma frase inventada confirmada, fora a fala não verificada acima. Os rótulos de falante vêm apenas desta trilha.

Trilhas de referência, em ordem de prioridade:

1. Doubao: nenhuma frase inventada e nenhuma inversão nos quatro trechos, a saída mais completa, e manteve intacta a transmissão em inglês.
2. FunASR: nunca inventou uma frase nos três trechos barulhentos. Seus erros foram omissões e erros de audição.
3. iFlytek: entre os motores mais precisos quando o áudio é limpo, com 12,2% de CER em Let the Bullets Fly.
4. Gemini: adicionado em 25 de agosto de 2026. É um modelo grande de ponta a ponta, então falha de forma diferente dos três motores acústicos. Devolve frases inteiras, não tempos por palavra, e não tem nenhum papel na decisão de quem está falando.

As quatro rodam em todos os arquivos.

Evidências contra a nossa escolha

• O FunASR é a mais fraca das três trilhas acústicas. Escreveu "duzentos mil" como "20,1 milhões". Em Let the Bullets Fly, perdeu duas respostas curtas que sustentam a cena, e onde mandarim e inglês se misturam tende a perder o inglês por inteiro. Nós o mantemos porque ele resiste ao ruído e não inventa. A precisão não é o motivo.
• A ordem entre iFlytek e Doubao nunca foi decidida. O trecho limpo sugeriu que o iFlytek era pelo menos tão bom quanto o Doubao, com o FunASR em último. Mas é um único trecho limpo, e a reconferência está pendente desde então.
• Abrimos mão de um motor mais preciso para evitar invenções. O omni-plus do Qwen teve o menor CER tanto em Assembly quanto em Terra à Deriva. Também inventou uma frase num trecho fraco no fim de Terra à Deriva e desmoronou em Aftershock, então o deixamos de fora.
• A trilha principal também comete erros graves. Em Aftershock, o ElevenLabs ouviu o nome que a mãe grita sem parar, "Daqiang", como "irmã mais velha" do começo ao fim, e transformou "o vidro não vai aguentar" em "eu não consigo aguentar".

Questões em aberto e limites

• Os quatro trechos são de filmes. Nenhum é uma entrevista real, e nenhum está no nível básico.
• O ElevenLabs nunca foi rodado no trecho limpo de Let the Bullets Fly. Ele se sustentou nos três trechos mais difíceis, mas essa célula está vazia.
• Não conferimos o Gemini linha a linha nesses quatro trechos públicos, então não temos evidências em mandarim para mostrar aqui.
• Nomes não foram pontuados. Erros como "Daqiang" são tratados pelo glossário, e esta rodada de testes não avalia isso.