Finlandês: quase perfeito em fala clara, falas inventadas sob tiroteio

Testamos duas gravações claras de finlandês do dia a dia: um telefonema para marcar um horário e uma conversa sobre um café que termina com alguém fazendo o pedido. O ElevenLabs marcou 2.7% e 2.9% de WER e, lendo linha por linha, não encontramos nenhum erro real.

Aí veio a cena de ataque do filme de guerra Unknown Soldier. Sob o fogo de metralhadora e as explosões, todos os motores começaram a inventar frases, o ElevenLabs incluído.

Os trechos de teste

Quatro trechos:

É difícil conseguir o áudio original completo de filmes finlandeses. Os dois últimos trechos vêm de podcasts para estudantes em que os próprios apresentadores digitaram legendas literais, o que tem sido uma fonte confiável de transcrições de referência para idiomas menores. Evitamos de propósito cenas em dialetos regionais carregados, como os da Lapônia ou da Carélia.

Motores que testamos

ElevenLabs Scribe v2, Speechmatics, AssemblyAI, Soniox e Doubao, com o Gemini incluído em agosto. Quando a AssemblyAI lançou um novo modelo, também o testamos no finlandês.

O Doubao não suporta finlandês; devolveu um inglês sem sentido.

As linhas vermelhas

Frases alucinadas, quase todas na cena do ataque. Um oficial grita "Rapazes, droga, avante!" e o ElevenLabs escreveu algo como "vocês foram espancados vivos avante". Para "terceiro e quarto, à esquerda", o ElevenLabs escreveu "de volta à posição" e o AssemblyAI escreveu "Paulus prevê, à esquerda". O Speechmatics produziu do nada "o pedido dos coelhos", mais uma série de frases no fim que não estão no filme.

Houve só uma nos trechos claros: na cena do coronel, o AssemblyAI transformou a patente "tenente-coronel" numa sequência de sílabas sem sentido.

Pronomes trocados: no ataque, o AssemblyAI transformou "ponha os homens em movimento" em "ponha-nos em movimento".

Trechos perdidos: no mesmo trecho, o AssemblyAI perdeu a abertura inteira.

Loops: na cena do ataque, o Gemini escreveu "Vihollinen!" (Inimigo!) mais de 75 vezes, engolindo todo o final, e inventou duas frases no início.

Desvio de idioma: num trecho claro, o Soniox escreveu uma frase em inglês, "Drivers to load not there", e se repetiu. O Doubao foi inglês do começo ao fim.

O que escolhemos

• Motor principal: ElevenLabs Scribe v2. O melhor ou empatado como o melhor nos quatro trechos, quase perfeito em fala clara, e nenhuma inversão.
• Motores de referência: Speechmatics, AssemblyAI, Gemini.

O Speechmatics vem em primeiro. Nenhuma inversão nos quatro trechos, e WER menor que o do AssemblyAI nos três trechos claros (32.7% contra 35.6% na cena do coronel, 9.4% contra 12.8% no telefonema, 4.6% contra 7.5% no café). Seus erros em fala clara são pequenas manchas, como capuccino com uma letra a menos. Em fala clara ele não inventa frases.

O AssemblyAI vem em segundo. Tirando aquela patente militar, não teve alucinações, inversões nem loops nos trechos claros. Seus problemas se concentram em tiroteio com gritaria contínua.

Gemini: nenhum erro real, palavra por palavra, no telefonema.

Não usamos o Soniox para o finlandês, o único destes idiomas nórdicos e centro-europeus em que não o usamos. Uma frase em inglês aparecendo no meio de uma gravação clara em finlandês é mais difícil de prevenir do que qualquer coisa que o AssemblyAI tenha feito, então aqui o Soniox é só reserva.

Evidências contra as nossas escolhas

• O loop de 75 vezes do Gemini é um risco real em produção: quando acontece, uma seção inteira da transcrição some. Nós o rodamos porque ele não cometeu erros reais em nenhuma das duas conversas do dia a dia.
• O novo modelo da AssemblyAI foi pior que o antigo em três dos quatro trechos em finlandês, com novas alucinações. Não trocamos, e a adoção foi depois revertida para todos os idiomas.
• O ElevenLabs também inventou duas frases na cena do ataque. Nosso motor principal não é seguro em ruído extremo.

O que ainda está em aberto

• Os dois trechos claros vêm de podcasts feitos para estudantes, gravados em estúdio. Isso é mais limpo do que a maioria das gravações de entrevistas.
• Não testamos dialetos carregados.
• Dois dos quatro trechos vêm do mesmo filme.