Italiano: quando nossa faixa principal ouviu desânimo como elogio

Em I soliti ignoti, uma quadrilha de aspirantes a ladrões acaba de ver umas imagens filmadas às escondidas, e um deles diz, frustrado, "é finita la pellicola": o filme acabou. Nossa faixa principal, o ElevenLabs, escreveu "il film è bellissimo", "o filme é lindíssimo". O desânimo virou elogio.

Dos dez motores que rodaram neste trecho, só o Doubao acertou essa fala. O AssemblyAI ouviu "benzina" (gasolina), o Gladia ouviu "bestia" (fera), e o Speechmatics a deixou de fora. O italiano é o nosso exemplo mais claro de uma faixa de referência corrigindo a faixa principal.

Os trechos de teste

Quatro cenas de filmes cobrindo quatro sotaques regionais:

• I soliti ignoti (1958, Roma): uma quadrilha assistindo a imagens de vigilância, avaliando um cofre e depois pechinchando com um chaveiro, com muita fala sobreposta.
• Baarìa (2009, Sicília): uma cena lotada na praça de um vilarejo, com um barbeiro, uma agência de correio e um exemplar emprestado de Marx.
• Ammore e malavita (2017, Nápoles): condolências num velório, depois uma viúva pondo preço na vingança.
• Il Capitale Umano (2013, Milão/norte): o conselho de um teatro debatendo sua programação, em italiano padrão claro.

Nos três níveis do primeiro post, Il Capitale Umano fica perto do nível intermediário e os outros três estão no mais difícil. O nível básico não está coberto.

Vários dos filmes têm trilha sonora, números musicais ou canções ao fundo, então cortamos em volta dos trechos em que a música abafa o diálogo.

Os candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dois modelos), Soniox, Gladia, Deepgram, FunASR, Qwen e, depois, Gemini.

As seis linhas vermelhas, motor por motor

Trechos perdidos. O Deepgram desmoronou nos três trechos difíceis. I soliti ignoti tem 324 palavras na referência; o Deepgram devolveu 134. Baarìa tem 121; ele devolveu 64. A cena de Nápoles tem 103; ele devolveu 15, perdendo por completo os primeiros 90 segundos de condolências e acusações.

Sentido invertido. Além da fala da faixa principal, o Gladia transformou "è stato Ciro che ha venduto Vincenzo" (foi o Ciro quem traiu o Vincenzo) numa fala sobre ser traído por "vincenza", invertendo quem traiu quem. O Speechmatics transformou "darà un milione" (vai oferecer um milhão) em "Non era 1.000.000", acrescentando uma negação.

Palavras e frases inventadas. O Speechmatics transformou o sobrenome do chefão do crime, Strozzalone, em "stronza", um insulto dirigido a mulheres. O Gladia transformou "ho fatto un regalo" (dei um presente) num palavrão. O Soniox inseriu na cena de Nápoles uma frase inteira, "Il ciccio di Masellini", que ninguém diz.

Loops de repetição. O Qwen caiu num loop, repetindo-se dez vezes num ponto, e também deixou cair a palavra de negação mica, invertendo um sentido.

Desvio de idioma. Veja a seção sobre o Gemini abaixo.

A cena de Milão é o caso de controle. Em italiano padrão claro, os sete motores foram limpos, e até o Deepgram se aguentou. Todos os erros graves acima vieram de fala sobreposta ou de dialeto carregado.

O que escolhemos

Faixa principal: ElevenLabs Scribe v2. Limpo em três de quatro trechos, e muito à frente de todos no dialeto napolitano. A inversão em I soliti ignoti é sua única linha vermelha neste idioma.

Faixas de referência, em ordem de prioridade:

1. AssemblyAI (universal-2): nenhuma frase inventada, nenhuma inversão e nenhum colapso nos quatro trechos e nos quatro sotaques.
2. Doubao: da mesma forma, nenhuma frase inventada, nenhuma inversão e nenhum colapso. Foi o mais limpo nos trechos de Roma e da Sicília, e o único motor a acertar a fala da pellicola.
3. Gemini: incluído em 26 de agosto de 2026.

O AssemblyAI e o Doubao foram os dois únicos motores desta rodada que nunca inventaram, nunca inverteram um sentido e nunca colapsaram em nenhum trecho.

Evidências contra a nossa escolha

• A faixa principal inverteu uma fala crucial. É a evidência mais direta contra a nossa configuração em italiano. Contamos com as faixas de referência para pegar isso, o que só funciona se uma faixa de referência por acaso estiver certa naquele ponto.
• Nossa evidência sobre o Gemini em italiano é pouca. No teste de 26 idiomas, o italiano foi classificado como "precisa de mais testes": tínhamos só um trecho de conversa, e o Gemini foi limpo nele. Nas duas cenas de multidão com dialeto carregado, ficou em último nas duas. Em Baarìa, onde a fala real é "Pai, eu fui convidado?", escreveu uma frase sem relação que quer dizer mais ou menos "Que bola linda, quantas crianças, eu quero!". Em Ammore, produziu do nada um trecho em inglês: "Don't leave us alone, don't be shy. When I was a child, I used to make." O Gemini continua nas faixas de referência, mas neste idioma a evidência a seu favor se resume àquele único trecho de conversa.
• O outro modelo do Speechmatics é menos danoso, mas não inofensivo. O Melia-1 não repetiu o insulto nem acrescentou a negação, mas repetiu "un bianco" quatro vezes.

Perguntas em aberto e limites

• Os quatro trechos são de filmes, o mais antigo de 1958. O áudio está muito longe de uma gravação de entrevista moderna.
• Nenhum trecho de nível básico e nenhuma entrevista real. O Gemini, em especial, ainda não tem uma amostra de conversa sólida em italiano.
• Nomes não foram pontuados. Os motores os erram com frequência, e o glossário cuida disso.