Inglese: due tracce di riferimento che sbagliano in punti diversi

In una scena di interrogatorio in un bar di The Departed, qualcuno dice "I don't know what they do." Doubao l'ha trascritto come "You know what they do," che ribalta il significato. AssemblyAI ha azzeccato quella battuta. Ma nella stessa scena AssemblyAI ha perso un intero diniego chiave, "I am not a fucking cop!", che le altre due tracce possono ricostruire.

Dopo aver letto tutti e quattro gli spezzoni riga per riga, abbiamo visto che questi due motori non inciampano quasi mai nello stesso punto. È il principio alla base delle nostre tracce di riferimento per l'inglese.

Gli spezzoni di test

Quattro scene da film americani e britannici, ciascuna costruita attorno a un tipo di difficoltà:

• Gosford Park (2001): accenti britannici dell'alta società, una cena della servitù ai piani bassi, scambi rapidi e interruzioni sopra il rumore di fondo.
• The Social Network (2010): parlato americano pulito e veloce in una deposizione, fitto di termini legali e nomi.
• The Departed (2006): accenti di Boston, rumore da bar, slang e parolacce, un interrogatorio sommesso e minaccioso.
• August: Osage County (2013): un'intera famiglia che si parla sopra a tavola.

Sui tre livelli del primo articolo di questa serie, The Social Network sta vicino al livello intermedio e gli altri tre sono nel più difficile. Il livello base non è coperto.

I candidati

ElevenLabs, AssemblyAI, Doubao, Speechmatics (due modelli), Soniox, Deepgram, Gladia (due modelli) e Gemini, più due modelli Qwen e FunASR. iFlytek è stato provato solo sul primo spezzone; non ha una modalità solo inglese, quindi ci siamo fermati lì.

Le sei linee rosse, motore per motore

Frasi inventate. In Gosford Park, "I heard Lady Sylvia spoke out of turn" è uscito da Soniox come "My hand, ladies, don't be a stroke out at 20 minutes PC." Deepgram ha aggiunto nello stesso spezzone due nomi che nessuno ha detto, "Sister Fredrick" e "Percy." Uno dei modelli Qwen ha scritto in The Departed una frase intera che non è nell'audio: "buy some bananas."

Negazione ribaltata. È stata la linea rossa più frequente in inglese. In The Departed, Soniox e Deepgram hanno entrambi perso il "not" di "you're still not a cop." Speechmatics ha trasformato "Unless I stop them" in "as I stop them." Il ribaltamento di Doubao è quello all'inizio di questo articolo. Abbiamo dato a Qwen un prompt più rigoroso che gli diceva esplicitamente di mantenere le negazioni. Ha perso il "not" lo stesso.

Loop e cedimenti. In August: Osage County, qualcuno grida "Eat your fish" cinque volte. Gladia l'ha trascritto una volta, poi si è interrotto, perdendo circa nove parole.

Passaggi persi. Deepgram ha saltato una grossa parte di Gosford Park e lì ha fatto più errori di qualsiasi altro motore.

Deriva di lingua. Nessuna su questi quattro spezzoni.

Contenuti inseriti. Oltre ai nomi inventati di cui sopra, Speechmatics ha trasformato "a 3L" (uno studente di legge al terzo anno) in "a three year old."

Cosa abbiamo scelto

Traccia principale: ElevenLabs Scribe v2. È stato il più pulito o il secondo più pulito su tre dei quattro spezzoni e non è crollato su nessuno.

Tracce di riferimento, in ordine di priorità:

1. AssemblyAI (universal-2): nessuna frase inventata e nessun ribaltamento su tutti e quattro gli spezzoni, con la struttura complessiva più solida. Il suo unico errore è stato il diniego in The Departed, e si trattava di un'omissione, non di un'invenzione.
2. Doubao: nessuna frase inventata su nessuno spezzone. Ha colto tutte e cinque le grida "Eat your fish", e su quello spezzone è stato più accurato di AssemblyAI. È costruito in modo diverso da AssemblyAI e sbaglia in punti diversi.
3. Gemini: aggiunto il 26 agosto 2026. Quando lo abbiamo testato su 26 lingue, l'inglese è finito nel gruppo in cui poteva entrare direttamente. Sulla lite urlata di August: Osage County non ha avuto linee rosse.

Prove contro la nostra scelta

• La traccia principale ha fatto esattamente l'errore di Doubao. Quando più tardi abbiamo rifatto gli spezzoni, anche ElevenLabs ha prodotto "You know what they do." Nella prima esecuzione aveva storpiato un'intera battuta in Gosford Park; nella ripetizione quell'errore era sparito. Lo stesso input non dà sempre lo stesso output, quindi giudichiamo i motori dal tipo di errori che fanno, non da quanti ci è capitato di contarne.
• Anche Gemini ribalta le negazioni. Quando lo abbiamo testato la prima volta come traccia principale di riserva, ha trasformato "Yes. Yes, yes." in The Departed in "No. Yes! Yes, yes!" e "I don't know" in "I know." Nel turno di agosto ha riscritto la battuta su Lady Sylvia in Gosford Park in due frasi senza alcun legame. Lo abbiamo aggiunto perché, essendo un modello linguistico di grandi dimensioni, sbaglia in modo diverso dai motori acustici. Eppure su quella battuta di The Departed, Doubao, Gemini e la ripetizione di ElevenLabs hanno sbagliato tutti. Gli errori dei motori non sono sempre indipendenti, e non abbiamo ancora una buona soluzione per questo.
• I motori con il WER più basso non sono stati scelti. Speechmatics aveva il WER più basso su Gosford Park (11.4%) e Soniox il più basso su August: Osage County (4.7%). Entrambi hanno inventato frasi o ribaltato negazioni su altri spezzoni, quindi li abbiamo scartati.

Domande aperte e limiti

• Tutti e quattro gli spezzoni vengono da film. Nessuno è un'intervista reale e nessuno è nel livello base.
• Accenti coperti: britannico e americano, compreso quello di Boston. Nessun altro accento inglese è stato testato.
• Il ribaltamento di Doubao l'abbiamo visto una sola volta, ma è il tipo di errore più pericoloso. Dopo la ripetizione, AssemblyAI era l'unica delle quattro tracce ad avere quella battuta giusta. Per questo, su negazioni e significati ribaltati, la nostra fase di fusione non segue la maggioranza: senza prove solide dal contesto, la battuta viene segnalata perché la controlli una persona.