Francês: três motores, uma frase, o mesmo sentido errado

Na discussão do jantar em Le Prénom, alguém diz "même s'ils se trompent", ou seja, "mesmo que eles estejam errados". O Deepgram, o Gladia e o Soniox escreveram todos "même s'ils ne se trompent pas": "mesmo que eles não estejam errados". Três motores sem relação entre si, mesmo ponto, mesmo sentido invertido.

Pedir que vários motores votem só funciona se os erros deles forem independentes. Esta única frase mostra que nem sempre são.

Os trechos de teste

Quatro cenas de filmes, cada uma um tipo diferente de francês difícil de acompanhar:

• La Haine (1995): a periferia de Paris, gíria de rua (verlan), muito ruído de fundo. Uma equipe de TV é hostilizada por uma multidão, depois o carro de um vizinho é destruído e todo mundo começa a gritar.
• Le Prénom (2012): sotaque parisiense padrão, um debate rápido à mesa de jantar cheio de nomes.
• Le Dîner de Cons (1998): sotaque parisiense padrão, troca cômica acelerada, uma farsa ao telefone baseada num nome trocado.
• Bon Cop, Bad Cop (2006, Canadá): joual quebequense, incluindo uma aula completa de palavrões do Quebec.

A terceira vaga era para ser de Bienvenue chez les Ch'tis, pelo dialeto do norte da França. A fonte que achamos tinha o título e a duração certos, mas uma rodada de teste mostrou que era uma compilação de entrevistas com o diretor e bastidores. Tivemos de trocar de filme, e o dialeto do norte ficou sem teste. A primeira fonte do quarto trecho também era falsa: uma resenha de filme em inglês gerada por IA.

Nos três níveis do primeiro post, os quatro trechos ficam entre o nível intermediário e o mais difícil, com La Haine e Bon Cop como os mais difíceis. O nível básico não está coberto.

Os candidatos

ElevenLabs, AssemblyAI, Doubao, Speechmatics (dois modelos), Soniox, Gladia, Deepgram, FunASR e, depois, Gemini.

As seis linhas vermelhas, motor por motor

Negação invertida. Além da inversão tripla acima, o Speechmatics transformou "c'est pas moi qui ai les tunes" (não sou eu quem tem a grana) em La Haine em "c'est pas moi qui t'ai tué" (não fui eu quem te matou). O outro modelo do Speechmatics, o Melia-1, também inverteu a fala de Le Prénom.

Frases inventadas. La Haine abre sem diálogo, e o Gladia e o Soniox inventaram, cada um, uma fala de abertura. O Gladia reescreveu "Est-ce que vous avez participé aux émeutes" (vocês participaram dos tumultos) como uma frase truncada com uma negação que não existia. O Speechmatics inventou "niveau budget" no fim de Le Dîner de Cons. O Deepgram transformou o "Golden Gate" de São Francisco em algo sem sentido.

O AssemblyAI também inventou coisas. O palavrão quebequense "je m'en câlice" (estou pouco me lixando) virou "je mets un cornichon" (estou pondo um picles). E num filme de 1995, ele transcreveu as palavras "YouTube" e "Covid", que ainda nem existiam.

Loops de repetição. O Speechmatics transformou "Oh là là" em dezoito "la" seguidos. Na primeira rodada de Le Dîner de Cons, o Gemini repetiu "là" 1.659 vezes e nunca produziu uma transcrição. Uma segunda rodada terminou normalmente em 35 segundos.

Trechos perdidos. Em La Haine, o Deepgram devolveu 109 palavras onde os outros devolveram cerca de 620; a segunda metade, a briga pelo carro destruído, simplesmente sumiu. O Doubao também perdeu muito no trecho do Quebec, devolvendo só 142 palavras.

Desvio de idioma. Nenhuma mudança grande para outro idioma nesses quatro trechos.

O que escolhemos

Faixa principal: ElevenLabs Scribe v2. Nenhum sentido invertido em nenhum trecho, mantém o verlan intacto e foi o segundo mais robusto no trecho do Quebec.

Faixas de referência, em ordem de prioridade:

1. AssemblyAI (universal-2): nenhuma inversão em nenhum trecho, e o mais limpo do grupo em verlan, debate e comédia.
2. Doubao: o único motor não principal que nunca inventou nem inverteu uma fala nos quatro trechos. Degradou muito no trecho do Quebec, mas só por ouvir errado e perder palavras.
3. Gemini: incluído em 26 de agosto de 2026. Os quatro trechos de filmes são todos cenas de multidão e gritaria, o que não nos disse nada de útil sobre ele. Então pegamos cinco minutos de uma entrevista longa real com Nicolas Sarkozy e comparamos o Gemini com o ElevenLabs linha por linha: nenhuma frase inventada, nenhuma inversão, nenhum loop, duas pequenas mudanças de sentido e um ponto em que foi mais preciso que o ElevenLabs. As grandes omissões que mostrou nos trechos de filmes não apareceram na entrevista.

Evidências contra a nossa escolha

• O AssemblyAI não é limpo em francês. O picles e os dois anacronismos são obra dele. Teve quatro trechos inventados nos quatro trechos de teste.
• As duas faixas de referência podem falhar ao mesmo tempo. Numa cena barulhenta, o Doubao perdeu o trecho inteiro enquanto o AssemblyAI inventava algo nele, deixando a faixa principal como a única testemunha utilizável.
• A faixa principal também inventou coisas. O ElevenLabs não teve inversões, mas teve dois trechos inventados, um deles no início de um trecho.
• Deixamos de fora o melhor motor para o francês do Quebec. O Speechmatics foi o que melhor lidou com Bon Cop. Mas inverteu um sentido em La Haine e inventou falas em outros trechos, então o deixamos de fora.
• Nossa evidência sobre o Gemini em francês é pouca. Uma entrevista de cinco minutos, sem transcrição de referência, conferida só contra a faixa principal. Nos trechos de filmes, ele também tem registrada aquela falha de 1.659 repetições, ainda que uma nova rodada tenha passado.

Perguntas em aberto e limites

• O dialeto ch'ti do norte ficou sem teste, e não temos trechos de francês belga, suíço ou africano.
• Os quatro trechos de referência são de filmes, e nenhum está no nível básico. A única entrevista é a que acrescentamos para o Gemini.
• A inversão tripla lembra que divergências perto de uma negação não podem ser resolvidas contando votos. Ainda estamos ajustando como a etapa de fusão trata esses pontos.