Espanhol: o motor que o nosso próprio código fez parecer quebrado

Uma das nossas primeiras conclusões sobre o espanhol dizia: "O Doubao desmorona em espanhol difícil, taxa de erro de 98.7%." Naquele trecho, ele produziu uma mistura sem sentido de chinês e inglês.

O problema acabou sendo nosso. Estávamos mandando ao Doubao o código de idioma es-ES (espanhol da Espanha). O Doubao não aceita esse código. E também não devolveu erro; simplesmente voltou em silêncio para o chinês. Trocamos para es-MX (espanhol mexicano) e rodamos de novo os quatro trechos. O Doubao não produziu frases inventadas, manteve a maior parte das formas verbais argentinas e superou o Speechmatics, o motor que o tinha substituído.

O "colapso" original se baseava num único trecho. Depois, "colapsos" do Doubao em outros nove idiomas se revelaram ter a mesma causa.

Os trechos de teste

Quatro cenas de filmes de três países:

• El Método (2005, Espanha): uma sala de candidatos a emprego discutindo quem é o infiltrado, em espanhol castelhano.
• El crimen del Padre Amaro (2002, México): padres discutindo sobre uma partida de futebol com a TV ligada ao fundo, até virar uma acusação de conluio com bandidos.
• Nueve Reinas (2000, Argentina): uma briga aos gritos por uma herança, mais uma cena de golpe numa senhora idosa. Os argentinos usam o voseo, que muda a conjugação dos verbos.
• La Comunidad (2000, Espanha): vizinhos se amontoando numa porta e gritando depois de encontrar o apartamento de um inquilino morto.

Tratamos La Comunidad como amostra do nível mais difícil; os outros três ficam entre o nível intermediário e o mais difícil. O nível básico não está coberto (os níveis são explicados no primeiro post).

Os candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dois modelos), Soniox, Gladia (dois modelos), Deepgram, FunASR, Qwen e, depois, Gemini.

As seis linhas vermelhas, motor por motor

Negação invertida. A linha vermelha mais comum em espanhol. Em El Método, o Speechmatics transformou "Quiero probar cosas nuevas" (quero experimentar coisas novas) em "No quiero" (não quero), e "si hay un topo" (se há um infiltrado) em "Soy un topo" (eu sou o infiltrado). O Gladia transformou "Apaguen ya esa tele" (desliguem essa TV) em "¡No apaguen" (não desliguem). O Deepgram transformou "no sé" (não sei) em "lo sé" (sei).

Palavras e frases inventadas. O Gladia ouviu "nuestra situación laboral" (nossa situação de trabalho) como "nuestra situación, Laura", inventando uma mulher chamada Laura. O Deepgram transformou "porque está sola" (porque ela está sozinha) em "orquesta sola", fazendo surgir uma orquestra.

Desvio de idioma. O modelo Melia-1 do Speechmatics escreveu "Soy abogado" (sou advogado) como o português "Sou advogado", e passou todo o final de La Comunidad para o português. Espanhol e português são próximos o bastante para que definir o idioma explicitamente não impedisse isso.

Trechos perdidos. O Deepgram pulou a conversa sobreposta sobre futebol no início de Padre Amaro e cortou o clímax dos gritos no fim de La Comunidad.

Sotaques achatados. Não é uma linha vermelha, mas importa em entrevistas latino-americanas. O Soniox trocou o argentino "Oíme / hablás / andás" pelo neutro "Óyeme / hablas / andas". O ElevenLabs e o AssemblyAI mantiveram os originais.

Repetição. O Gladia mostrou sinais iniciais de repetir a mesma palavra em trechos em espanhol. Nenhum dos outros teve isso nesses quatro trechos.

Houve também boas notícias. La Comunidad é a cena mais barulhenta, e mesmo assim seis motores convergiram para o mesmo diálogo e nenhum inventou nada. A legenda tem uma única fala, "Habrán dejado el grifo abierto", e os seis transcreveram a frase completa como de fato foi dita, que é mais do que a legenda traz.

O que escolhemos

Faixa principal: ElevenLabs Scribe v2. Sólido nos três sotaques, o melhor em manter o voseo argentino, e sem frases inventadas nem sentidos invertidos em nenhum dos quatro trechos.

Faixas de referência, em ordem de prioridade:

1. AssemblyAI (universal-2): nenhuma frase inventada e nenhuma inversão em nenhum trecho; o mais limpo e completo do grupo.
2. Doubao (com o código es-MX): nenhuma frase inventada e nenhum colapso nos quatro trechos, e a maioria das formas verbais argentinas intacta. Recuperou palavras reais que as legendas comprimidas tinham omitido (complacencias, rumbos), e acertou a fala que o Deepgram transformou numa orquestra.
3. Gemini: incluído em 26 de agosto de 2026.

O Speechmatics agora é um reserva de emergência. Ele não inventa, mas inverteu duas falas em El Método e foi o mais fraco no trecho argentino.

Evidências contra a nossa escolha

• O Doubao também inverteu uma fala, no mesmo ponto que o Speechmatics. Em El Método, o Doubao também escreveu "Quiero" como "No quiero". O Speechmatics não roda em produção, então essa fala específica não vai receber dois votos errados. Mas já vimos vários motores errarem no mesmo ponto em cinco idiomas, e quando isso acontece uma simples votação por maioria escolhe a resposta errada. É por isso que nossa etapa de fusão não decide negações por maioria: sem evidência sólida, a fala é marcada para uma pessoa.
• O Gemini tem suas próprias inversões em espanhol. Em Padre Amaro, transformou "desliguem a TV" em "não desliguem a TV" e "não sei" em "sei". As outras três faixas acertaram as duas. Em La Comunidad, trocou "deixaram o gás ligado" por "deixaram a casa ligada", o que já não combina com a fala seguinte, sobre todo mundo ir pelos ares.
• O Qwen foi limpo em espanhol, e mesmo assim ficou de fora. Nos quatro trechos não teve loops nem frases inventadas, e manteve todas as formas verbais argentinas. Nós o deixamos de fora porque ele não tem marcações de tempo por palavra, pertence à mesma família de grandes modelos que o Gemini e foi menos estável que os nossos três atuais em áudio limpo.

Perguntas em aberto e limites

• Na América Latina, testamos só o México e a Argentina. Não há trechos com sotaques caribenho, colombiano, chileno ou outros.
• Os quatro trechos são de filmes. Nenhum é uma entrevista real, e nenhum está no nível básico.
• Quando o Doubao recebe um código de idioma que não aceita, ele não gera erro; só devolve algo sem sentido. O código agora está correto, mas esse tipo de problema nunca aparece nos logs de erro. Só dá para pegá-lo lendo a saída.