Dinamarquês: trocamos o motor mais limpo no trecho mais parecido com uma entrevista

Dos nossos cinco trechos de teste em dinamarquês, o mais próximo de uma entrevista real é uma conversa num centro de reabilitação: uma pessoa pergunta, a outra responde, e as duas definem metas juntas. Nesse trecho, o AssemblyAI produziu a transcrição mais limpa de todos os motores.

Mesmo assim, nós o tiramos dos nossos motores de referência.

Os trechos de teste

Cinco trechos, de dois filmes de dois diretores:

Queríamos usar a cena do jantar de Festen (1998) e já tínhamos as legendas, mas não encontramos o áudio original em dinamarquês. A única cópia completa tinha restrição de idade; outra era a dublagem francesa.

Motores que testamos

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox e Doubao, com o Gemini incluído em agosto.

O Doubao não suporta dinamarquês. O que saiu foi um inglês sem sentido misturado com caracteres chineses, além de loops.

As linhas vermelhas

Loops: no clímax da briga de Jagten, o AssemblyAI escreveu "Nej det er satan" 23 vezes em cerca de 28 segundos, engolindo o diálogo real. Não entrou em loop nenhuma vez nos outros quatro trechos.

Negações invertidas: o Speechmatics transformou "Det gør jeg ikke" (não faço) em "Det gør jeg" (faço), e uma negação virou uma confissão. No supermercado, a acusação "então tudo bem bater nos clientes?" virou "normalmente vocês têm uma boa reunião com os clientes". Em Adam's Apples, "ele atirou em mim" virou a ordem "atire em mim".

Frases alucinadas: na briga, o ElevenLabs transformou "Tror du ikke det" (você não acha?) em "Jeg dør dig", que não é uma frase real.

Substituições que mudam o sentido: o AssemblyAI gosta de inventar palavras de som parecido. Koteletter (costeletas de porco) virou koaguletter, "o bolo em camadas" virou "legislação", e "por que você está mentindo" virou "por que você está espionando". No trecho do centro de reabilitação, o Soniox transformou "bolo" em "bolo de banana" e "minha meta é fazer bolos" em "minha mãe faz". Na revisão, classificamos esses dois como segmentação errada com base acústica, não inversões.

Desvio de idioma: só o Doubao.

O que escolhemos

• Motor principal: ElevenLabs Scribe v2. O mais limpo, ou empatado como o mais limpo, nos cinco trechos, e nunca entrou em loop. Sua única alucinação na briga não descarrilou o resto da cena.
• Motores de referência: Speechmatics, Soniox, Gemini.

O critério para um novo motor de referência é zero linhas vermelhas nas seis categorias, mais uma colocação entre os dois primeiros no ranking geral dos motores que não são o principal. O Soniox passou nesse critério na revisão e substituiu o AssemblyAI. O ranking geral ficou: Speechmatics em primeiro, Soniox em segundo, AssemblyAI em terceiro.

O Speechmatics continua em primeiro porque sua precisão de palavras foi um pouco melhor que a do Soniox. Ele nunca entra em loop e sua saída mantém a estrutura.

O Gemini foi limpo no trecho do centro de reabilitação e teve, no total, pelo menos dois trechos de conversa limpos.

Evidências contra as nossas escolhas

Há bastante no caso do dinamarquês.

• O AssemblyAI entrou em loop uma vez, numa briga física extrema, o tipo de cena que uma entrevista real quase nunca contém. No trecho mais parecido com uma entrevista, foi o motor mais limpo. Se você der mais peso a "como ele se sai nos trechos mais próximos da produção" do que a "quantas linhas vermelhas cruzou", manter o AssemblyAI é uma decisão defensável.
• O Soniox também mudou sentidos no trecho tranquilo do centro de reabilitação. Esses erros confiantes não foram forçados por ruído.
• Quando testamos o Gemini em agosto, registramos mais problemas do Soniox nos mesmos trechos: na briga, ouviu duas vezes "mentindo" como "prometendo" e acrescentou uma frase inventada no fim; na cena do tiro, "ele atirou em mim" virou duas vezes "você pode atirar em mim?". Isso conflita com sua classificação de zero linhas vermelhas, e ainda não o reavaliamos.
• O Speechmatics inverteu o sentido várias vezes nos cinco trechos (no máximo uma vez por trecho) e, mesmo assim, ocupa a primeira vaga de referência. Tiramos o AssemblyAI por linhas vermelhas sem aplicar o mesmo padrão ao Speechmatics. Isso não é coerente.
• O Gemini transformou "você deveria ir" em "eu deveria ir" na cena do tiro, e trocou um pronome na briga.

O que ainda está em aberto

• A classificação do Soniox precisa ser conferida de novo com base nas notas de agosto.
• Os cinco trechos vêm de dois filmes, e nenhum é uma entrevista de pesquisa real. Se conseguirmos o áudio original de Festen, ele acrescentaria uma cena de falas sobrepostas à mesa de jantar.