Grego: perca os acentos e metade das palavras desmorona

Depois que demos ao Doubao o código de idioma grego correto, ele produziu grego de verdade, e o sentido batia. Mas toda vogal com acento (o tonos) sumiu por completo. κάνεις virou κνεις, έχουμε virou χουμε, e Μπήκε encolheu para Βκη. Cerca de metade das palavras saiu quebrada.

Nossa primeira suspeita foi que nosso próprio processamento estava tirando os acentos. Não estava. No mesmo pipeline, os outros quatro motores mantiveram seus acentos intactos (de 81 a 87 cada); o Doubao teve zero. É o comportamento do próprio Doubao. Ele não inventou nada nem inverteu sentidos. Só estava quebrado demais para servir como faixa de referência.

Os trechos de teste: os quatro do lado claro

• Dogtooth (Κυνόδοντας, 2009), duas cenas: cinco pessoas conversando em volta de uma mesa de jantar, cheia de números; e a visita de um segurança seguida das perguntas médicas de um pai, com troca rápida de falas e uma longa palavra médica para apendicite (σκωληκοειδίτιδα).
• Alps (Άλπεις, 2011), duas cenas: uma conversa apressada na recepção de um hospital, incluindo o nome Jude Law; e uma visita domiciliar em que alguém lê uma revista de moda, cheia de nomes estrangeiros como Ferré, Guatemala e Winona Ryder.

Os quatro são do mesmo diretor, cujo estilo é propositalmente frio e lento: uma pessoa termina, e então a próxima fala. Na nossa escala de três níveis, a maior parte disso é nível básico. Passamos por mais de quarenta filmes procurando uma cena barulhenta com pessoas falando umas por cima das outras e não achamos nenhuma que tivesse o áudio e as legendas em grego disponíveis.

Motores que testamos

ElevenLabs Scribe v2, Speechmatics, AssemblyAI e Doubao (el-GR). Transcrições do Soniox, de uma rodada separada com todos os motores, foram comparadas durante a revisão. O Gemini foi incluído em agosto de 2026.

Linhas vermelhas, motor por motor

O AssemblyAI teve problemas nos quatro trechos, e eles se repetiram quando trocamos de filme:

• Sentido invertido: "Μπήκε χειρουργείο" (entrou em cirurgia) virou "Βγήκε η χειρουργία" (a cirurgia saiu). Totalmente ao contrário.
• Trecho perdido: na cena da revista, o trecho com os três nomes estrangeiros simplesmente sumiu.
• Loop: no final, três palavras se empilharam numa única marcação de tempo, repetidas.
• Palavras inventadas: Jude Law virou um nome que não existe, e em "regar a iúca", a iúca virou uma palavra inventada, Ιούκαντ.

O Speechmatics perdeu sobretudo artigos e preposições, o tipo de erro mais seguro. Mas cometeu dois erros perigosos: na cena da revista, "entrevista com Winona Ryder" virou o inglês "Coming soon"; no hospital, "outro igual" virou "e a verdade". Também ouviu "quer café?" (Θες καφέ) como "ontem café" (Χθες καφέ).

ElevenLabs: nenhuma alucinação. Escreveu corretamente a longa palavra médica, acertou Jude Law e acertou os três nomes estrangeiros da revista (em Ferré faltou uma letra).

O que escolhemos, e por quê

Principal: ElevenLabs Scribe v2. Menor taxa de erro em três dos quatro trechos; no quarto, perdeu só pela forma de escrever números. Lendo linha por linha, quase não errou.

Referência 1: Speechmatics. Um segundo lugar estável nos quatro trechos, perto do principal. A maioria dos seus erros foram omissões, e os perigosos foram isolados.

Referência 2: Soniox. Melhor que o AssemblyAI nos quatro trechos, com os acentos intactos.

Referência 3: Gemini. Na rodada de agosto, não teve linhas vermelhas na cena do jantar e teve ali a menor taxa de erro, 11.9%. Na cena da visita domiciliar cometeu um deslize, transformando "schnitzel" (Σνίτσελ) em "normalmente" (Συνήθως).

O AssemblyAI não está na formação fixa, e o Doubao está fora.

Evidências contra a nossa escolha

• O Speechmatics aparece antes do Soniox por hábito, não porque medimos. Na revisão, o Soniox se leu pelo menos tão bem quanto o Speechmatics em três trechos. Com as duas faixas rodando, a ordem por enquanto não importa. Se algum dia tivermos de manter só um, teremos de compará-los de novo.
• O "Coming soon" do Speechmatics é inglês surgido do nada, o que não é pouca coisa. Ele fica porque isso aconteceu uma vez em quatro trechos, e porque o Doubao não serve para o grego, então há poucos motores para ocupar o lugar.
• Entre os quatro motores originais, o Speechmatics teve a menor taxa de erro na cena do jantar.

Ainda em aberto

• Nenhum trecho barulhento, com falas sobrepostas. Essa é a maior lacuna. O AssemblyAI tropeçou até em trechos claros assim; como qualquer motor se sai numa sala barulhenta, não sabemos.
• Nenhum material de entrevista. Achamos uma produção grega com legendas excelentes para isso, mas a única cópia "completa" online estava com o áudio errado, então tivemos de descartá-la.