Norueguês: "não fomos infiéis" virou "escolhemos ser infiéis"

Em A Pior Pessoa do Mundo (Verdens verste menneske) há uma cena de festa em que alguém diz "Vi var ikke utro": não fomos infiéis. O AssemblyAI escreveu "Vi valgte utro": escolhemos ser infiéis. A negação sumiu, o verbo mudou e o sentido se inverteu. A fala volta a aparecer na cena, e o AssemblyAI errou todas as vezes. Três vezes ao todo.

Não foi o ruído que causou isso. A cena tem ritmo normal, sem fala sobreposta contínua.

Os trechos de teste

Cinco trechos de três filmes:

Os cinco são filmes. Dois são relativamente limpos, mas continuam sendo drama roteirizado. Por isso, quando avaliamos o Gemini em agosto, também usamos um trecho de cinco minutos de um podcast norueguês.

Motores que testamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Gemini, Qwen, FunASR e Doubao. Também olhamos o NB-Whisper, o modelo de código aberto da Biblioteca Nacional da Noruega, mas não o adotamos.

O Doubao não suporta norueguês. Tentamos os três códigos de idioma noruegueses e obtivemos algaravia em inglês ou nada. O FunASR produziu só cerca de metade das palavras da referência.

As linhas vermelhas

Inversões de negação são o que mais importa aqui. Além da fala de abertura, o AssemblyAI transformou "estou disposto a fazer qualquer coisa" em "não vou fazer isso", e "você nunca deve desistir" em "eu nunca devo…". O Speechmatics também inverte, na direção contrária: tende a acrescentar um ikke, e "sei" vira "não sei". Não mais do que três vezes nos cinco trechos. E, numa negação, todos os motores da comparação erraram, exceto o ElevenLabs.

Nomes inventados: o AssemblyAI abriu a cena emotiva limpa com um personagem chamado Bård e colocou alguém chamado Martha no ataque aéreo. Nenhum dos dois existe nessas cenas. O Qwen inventou um sobrenome, Hågen.

Conteúdo inserido: no trecho do navio de guerra, o Gemini inventou vários comandos que não estão no filme, como "Canhão 1 em posição" e "Bateria de torpedos 3/4".

Deriva de idioma: uma vez, o Gemini devolveu um trecho norueguês como tradução para o chinês ("Qual é o seu nome? Julia."). Rodado de novo sobre o mesmo áudio, produziu norueguês normal.

Loops: o Gemini se repetiu no trecho do ataque aéreo. Seu WER ali foi de 89,6%, contra 41,8% a 47,8% dos outros três motores, uma diferença de 42 pontos.

O que escolhemos

• Motor principal: ElevenLabs Scribe v2. Nenhuma alucinação, nenhuma inversão, nenhum nome inventado nos cinco trechos. Seus erros são erros de audição: escreveu a fala de abertura como "Vi var ikke ute", não estávamos fora, mas manteve a negação.
• Motores de referência: Soniox, Speechmatics, Gemini.

O AssemblyAI está fora. Quatro dos cinco trechos tiveram inversões ou nomes inventados, incluindo os limpos.

O Soniox entrou em julho. Até então, o Speechmatics era o único motor de referência para o norueguês. Trecho a trecho, o Soniox venceu o Speechmatics quatro vezes e empatou uma, e os dois erraram, na maioria, em lugares diferentes. O Soniox acertou a fala de abertura e o nome Julie.

O Speechmatics nunca inventou uma frase ou um nome nos cinco trechos e também acertou a fala de abertura.

O Gemini, no podcast de cinco minutos: nenhuma alucinação, inversão ou loop. Três erros de palavras de som parecido e dois pontos em que foi mais preciso que o ElevenLabs.

Nossa configuração para o norueguês tem uma regra extra: onde os motores discordam sobre um ikke, a transcrição o marca como incerto para uma pessoa conferir.

Evidências contra as nossas escolhas

• O Gemini cruzou uma linha vermelha em cada um dos cinco trechos de filme: inversões, comandos inventados, loops e a saída em chinês. Nosso argumento para usá-lo se apoia num único podcast de cinco minutos sem transcrição de referência, conferido apenas contra o ElevenLabs. Em julho, nós o tínhamos rejeitado.
• O Soniox e o Speechmatics cometeram três erros direcionais idênticos na cena emotiva. O argumento de que "eles falham em lugares diferentes" nem sempre se sustenta onde mais importa.
• Uma varredura automática inicial encontrou o Soniox produzindo 1,5 vez mais palavras que a referência em norueguês.

O que ainda está em aberto

• Não temos uma única conversa real com transcrição de referência. As evidências para o Gemini são especialmente frágeis.
• A negação continua sendo o maior risco no norueguês. Um caso como aquela negação que só o ElevenLabs acertou não pode ser salvo por votação. Por enquanto, nós o marcamos como incerto e deixamos uma pessoa ouvir.