Inglês: duas faixas de referência que falham em lugares diferentes

Numa cena de interrogatório num bar, em The Departed, alguém diz "I don't know what they do." O Doubao transcreveu como "You know what they do", o que inverte o sentido. O AssemblyAI acertou essa fala. Mas, na mesma cena, o AssemblyAI deixou cair uma negação crucial inteira, "I am not a fucking cop!", que as outras duas faixas conseguem suprir.

Depois de ler os quatro trechos linha por linha, descobrimos que esses dois motores quase nunca tropeçam no mesmo ponto. Esse é o princípio por trás das nossas faixas de referência para o inglês.

Os trechos de teste

Quatro cenas de filmes americanos e britânicos, cada uma construída em torno de um tipo de dificuldade:

• Gosford Park (2001): sotaques britânicos da classe alta, um jantar dos criados no andar de baixo, trocas rápidas e interrupções sobre ruído de fundo.
• The Social Network (2010): fala americana limpa e rápida num depoimento, densa em termos jurídicos e nomes.
• The Departed (2006): sotaques de Boston, barulho de bar, gíria e palavrões, um interrogatório baixo e ameaçador.
• August: Osage County (2013): uma família inteira falando uns por cima dos outros à mesa de jantar.

Nos três níveis do primeiro post desta série, The Social Network fica perto do nível intermediário e os outros três estão no mais difícil. O nível básico não está coberto.

Os candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dois modelos), Soniox, Deepgram, Gladia (dois modelos) e Gemini, além de dois modelos Qwen e o FunASR. O iFlytek foi testado só no primeiro trecho; ele não tem um modo só de inglês, então paramos por ali.

As seis linhas vermelhas, motor por motor

Frases inventadas. Em Gosford Park, "I heard Lady Sylvia spoke out of turn" saiu do Soniox como "My hand, ladies, don't be a stroke out at 20 minutes PC." O Deepgram acrescentou no mesmo trecho dois nomes que ninguém disse, "Sister Fredrick" e "Percy". Um dos modelos Qwen escreveu em The Departed uma frase inteira que não está no áudio: "buy some bananas."

Negação invertida. Foi a linha vermelha mais comum em inglês. Em The Departed, o Soniox e o Deepgram deixaram cair o "not" de "you're still not a cop." O Speechmatics transformou "Unless I stop them" em "as I stop them." A inversão do Doubao é a do início deste post. Demos ao Qwen um prompt mais rígido, que mandava explicitamente manter as negações. Ele deixou cair o "not" mesmo assim.

Loops e colapso. Em August: Osage County, alguém grita "Eat your fish" cinco vezes. O Gladia transcreveu uma vez e depois cortou, perdendo cerca de nove palavras.

Trechos perdidos. O Deepgram pulou um bom pedaço de Gosford Park e errou mais ali do que qualquer outro motor.

Desvio de idioma. Nenhum nesses quatro trechos.

Conteúdo inserido. Além dos nomes inventados acima, o Speechmatics transformou "a 3L" (um estudante do terceiro ano de direito) em "a three year old".

O que escolhemos

Faixa principal: ElevenLabs Scribe v2. Foi o mais limpo ou o segundo mais limpo em três dos quatro trechos e não desmoronou em nenhum.

Faixas de referência, em ordem de prioridade:

1. AssemblyAI (universal-2): nenhuma frase inventada e nenhuma inversão nos quatro trechos, com a estrutura geral mais sólida. Sua única falha foi a negação em The Departed, e foi uma omissão, não uma invenção.
2. Doubao: nenhuma frase inventada em nenhum trecho. Captou os cinco gritos de "Eat your fish", e nesse trecho foi mais preciso que o AssemblyAI. É construído de forma diferente do AssemblyAI e erra em lugares diferentes.
3. Gemini: incluído em 26 de agosto de 2026. Quando o testamos em 26 idiomas, o inglês ficou no grupo em que ele podia entrar direto. Na gritaria de August: Osage County não teve linhas vermelhas.

Evidências contra a nossa escolha

• A faixa principal cometeu exatamente o erro do Doubao. Quando rodamos os trechos de novo mais tarde, o ElevenLabs também produziu "You know what they do." Na primeira rodada, ele tinha embaralhado uma fala inteira em Gosford Park; na nova rodada, esse erro sumiu. A mesma entrada nem sempre dá a mesma saída, então julgamos os motores pelos tipos de erro que cometem, não por quantos por acaso contamos.
• O Gemini também inverte negações. Quando o testamos pela primeira vez como faixa principal de reserva, ele transformou "Yes. Yes, yes." em The Departed em "No. Yes! Yes, yes!" e "I don't know" em "I know." Na rodada de agosto, reescreveu a fala de Lady Sylvia em Gosford Park como duas frases sem relação. Nós o incluímos porque, como grande modelo de linguagem, ele falha de forma diferente dos motores acústicos. Mesmo assim, naquela fala de The Departed, o Doubao, o Gemini e a nova rodada do ElevenLabs erraram todos. Os erros dos motores nem sempre são independentes, e ainda não temos uma boa solução para isso.
• Os motores de menor WER não entraram. O Speechmatics teve o menor WER em Gosford Park (11.4%), e o Soniox o menor em August: Osage County (4.7%). Os dois inventaram frases ou inverteram negações em outros trechos, então os deixamos de fora.

Perguntas em aberto e limites

• Os quatro trechos são de filmes. Nenhum é uma entrevista real, e nenhum está no nível básico.
• Sotaques cobertos: britânico e americano, incluindo o de Boston. Nenhum outro sotaque do inglês foi testado.
• Vimos a inversão do Doubao só uma vez, mas é o tipo de erro mais perigoso. Depois da nova rodada, o AssemblyAI foi a única das quatro faixas que acertou aquela fala. É por isso que, em negações e sentidos invertidos, nossa etapa de fusão não segue a maioria: sem evidência sólida do contexto, a fala é marcada para uma pessoa conferir.