Portoghese: tre battute capovolte, e una frase chiave salvata

In un'intervista approfondita della televisione portoghese, la frase più importante contiene "no chão da cozinha": sul pavimento della cucina. La nostra traccia principale, ElevenLabs, ha scritto "no som da coxinha", una sequenza di suoni senza significato. Gemini l'ha azzeccata.

Nella stessa intervista, Gemini ha trasformato "nunca disse isto" (non l'ho mai detto) in "Tu disseste isto" (l'hai detto tu). In ciascuna delle tre conversazioni che abbiamo aggiunto per testarlo, Gemini ha capovolto una battuta in questo modo.

Se includere Gemini è stata la decisione più discussa per il portoghese.

Le clip di prova

Tre scene di film per scegliere i motori acustici, tutte in portoghese brasiliano, da due a tre minuti ciascuna:

• Meu Nome Não É Johnny (2008, Rio): una festa con uno spaccio di droga e gente che schernisce, gergo fitto, voci sovrapposte.
• Que Horas Ela Volta? (2015, San Paolo): sei persone a bordo piscina, un flirt che all'improvviso si trasforma in tutti che urlano ordini.
• O Auto da Compadecida (2000, il Nordest): una banda di banditi scopre chi è davvero qualcuno, cinque o sei persone che parlano in fretta con un forte accento del Nordest.

Tre conversazioni reali aggiunte per testare Gemini, di cinque minuti ciascuna, senza trascrizione di riferimento; abbiamo confrontato Gemini con ElevenLabs riga per riga. Una è un'intervista politica brasiliana, una un'intervista approfondita della televisione portoghese (con stacchi musicali tra i segmenti), e una un podcast con tre persone che si parlano sopra. Le ultime due sono in portoghese europeo.

Rispetto ai tre livelli del primo articolo, tutte e tre le scene di film sono nel livello più difficile. Le conversazioni sono più vicine alle interviste reali, ma senza trascrizione di riferimento possiamo solo confrontare i motori tra loro.

I candidati

ElevenLabs, AssemblyAI, Doubao, Speechmatics (due modelli), Soniox, Gladia, Deepgram, FunASR, Qwen e Gemini.

Le sei linee rosse, motore per motore

Frasi inventate. In un passaggio di transizione della scena affollata di San Paolo, AssemblyAI ha prodotto una battuta in inglese, "That's so good." Nella clip del Nordest ha trasformato "Oxente, e agora é de dois" (ehi, adesso sono due) in "Oxe o Diogo agora é de 12", aggiungendo un nome e sbagliando il numero. Speechmatics ha inserito "Não mais na escuridão" (mai più nell'oscurità) nella clip di Rio e ha ridotto una battuta della clip di San Paolo a "Hoje é um divã Família." Soniox e Gladia hanno inventato entrambi la stessa battuta emotiva nella clip del Nordest, "eu adorei" (mi è piaciuto tantissimo).

Significato capovolto. Nelle clip di film, Gemini ha trasformato "adesso sei in un'altra squadra" in "adesso io sono in un'altra squadra" nella scena di Rio. Oltre al capovolgimento in cima a questo articolo, le conversazioni ce ne hanno dati altri due: "Não, imagina" (ma figurati) è diventato "Imagino" (suppongo di sì), e "E não acertei logo de início" (all'inizio non ci ho azzeccato) è diventato "E acertei", perdendo la negazione, anche se le parole subito dopo, "eu falhei" (ho fallito), la contraddicono. Tutti e tre erano in brevi proposizioni parlate, tutti e tre hanno capovolto una negazione o una persona, e nessuno era inventato dal nulla.

Contenuto inserito. Nell'intervista televisiva, Gemini ha trascritto la musica tra i segmenti come se fosse parlato, in tre punti, uno dei quali un frammento di inglese stentato. Tutti e tre cadevano in vuoti in cui ElevenLabs non aveva prodotto nulla. Non è successo nel podcast, che non ha musica.

Passaggi persi. Nella clip del Nordest, Gladia ha saltato l'intero scambio della panetteria, circa otto frasi.

Loop di ripetizione. Nessuno registrato su queste clip in portoghese.

Un altro errore da segnalare: Speechmatics ha trasformato il "eu sou casada" di una donna (sono sposata, forma femminile) nel maschile "casado".

Cosa abbiamo scelto

Traccia principale: ElevenLabs Scribe v2. La più completa su tutte e tre le scene di film, con solo qualche parola inserita di poco conto.

Tracce di riferimento:

• AssemblyAI (universal-2): nel complesso il più preciso tra i motori internazionali. Ha inventato una cosa ciascuna nelle clip di San Paolo e del Nordest, e niente del tutto nella clip di Rio, dove ha avuto anche il WER migliore.
• Doubao: costante in tutte e tre le regioni brasiliane, senza frasi inventate né capovolgimenti.
• Gemini: aggiunto il 26 agosto 2026.

Nella configurazione AssemblyAI è elencato prima di Doubao per coerenza con le nostre altre lingue europee. L'ordine non significa che sia migliore.

Prove contro la nostra scelta

• Doubao è semanticamente più sicuro di AssemblyAI. Sulle tre clip di film Doubao non ha inventato nulla; AssemblyAI ha inventato due cose.
• I nomi sono un punto cieco per tutte e tre le tracce. Nomi come João Guilherme e Dona Bárbara erano sbagliati in tutte e tre le tracce, ognuna in modo diverso, quindi il passaggio di fusione non ha nulla di affidabile su cui basarsi. Le interviste con molti nomi hanno bisogno del glossario.
• I tre capovolgimenti di Gemini sono reali. In ogni caso le battute circostanti mostrano la contraddizione. Ma queste conversazioni sono state confrontate solo con la traccia principale; le altre due tracce di riferimento non sono state eseguite su di esse.
• Secondo i nostri registri di agosto, non c'era alcuna protezione dedicata contro l'audio di sottofondo trascritto come parlato. Una TV o una radio accese nel luogo dell'intervista potrebbero finire nella trascrizione in questo modo.

Domande aperte e limiti

• Non c'è alcuna clip di prova in portoghese europeo. L'unico film candidato si è rivelato una produzione francese con dialoghi per lo più in francese, e comunque le fonti disponibili erano sbagliate. I film in portoghese europeo non hanno quasi mai sottotitoli nativi, quindi non possiamo costruire una trascrizione di riferimento. Le nostre uniche prove sul portoghese europeo sono le due conversazioni aggiunte per Gemini, e anche quelle non hanno riferimento.
• Doubao potrebbe non essere affidabile sul portoghese europeo. A Doubao inviamo il codice di lingua del portoghese brasiliano. I nostri registri dicono che sul portoghese europeo degrada silenziosamente in testo senza senso, ma senza una clip di prova non l'abbiamo mai verificato noi stessi. C'è un motore di riserva candidato per il portoghese europeo, Speechmatics Melia-1, ancora in attesa di essere validato.
• Tutte e tre le scene di film sono scene di gruppo; non c'è una clip di livello base.