Ucraino: 54 secondi di silenzio trasformati in una lezione

Un film ucraino ha una scena in soggiorno in cui c'è una TV accesa in sottofondo e nessuno parla per circa un minuto. I sottotitoli la segnano con una sola riga: [TV accesa in sottofondo].

Soniox ha scritto 54 secondi di contenuto in quel vuoto, qualcosa sulle piante velenose, bloccandosi a metà in un piccolo loop. Speechmatics ne ha riempiti 29 secondi. Forse stavano davvero captando la TV. Per la trascrizione di un'intervista non fa differenza: un lungo passaggio compare dal nulla e si legge come se l'avesse detto l'intervistato.

È stato il più grande inserimento inventato di tutto il nostro set di prova. Soniox ha sostituito altri motori in diverse lingue. Per l'ucraino non viene usato, e quei 54 secondi sono il motivo.

Le clip di prova: trovarle è stato metà del lavoro

• My Thoughts Are Silent (Мої думки тихі, 2019), tre scene: un interrogatorio per contrabbando alla frontiera (rumore forte, marcato dialetto transcarpatico; livello più difficile); la successiva ricerca del rossetto (più veloce, più sovrapposizioni; livello più difficile); il soggiorno di un'insegnante (ucraino standard, chiaro; livello di base).
• Stop-Zemlia (Стоп-Земля, 2021): interviste in un'aula più scene di strada. Parlato veloce, frequenti cambi di interlocutore, rumore di strada. Livello medio-alto.

Il materiale ucraino è difficile da mettere insieme. I film recenti hanno licenze molto restrittive, i film di guerra spesso non hanno un'uscita completa o non hanno sottotitoli, e i film ambientati nel Donbas sono per metà in russo. Le prime tre clip sono dovute venire da un solo film, quindi abbiamo preso la quarta da un film diverso per assicurarci che i risultati non riguardassero un unico film.

I motori che abbiamo testato

ElevenLabs Scribe v2, AssemblyAI, Speechmatics e Doubao (uk-UA). Le trascrizioni di Soniox, Deepgram e Qwen venivano da un'esecuzione separata con tutti i motori e sono state confrontate durante la revisione. Gemini è stato aggiunto ad agosto 2026.

Linee rosse, motore per motore

ElevenLabs: nessun loop, nessuna allucinazione, nessun capovolgimento in tutte e quattro le clip. Ha gestito meglio di tutti il dialetto, per esempio файні трави ("erbe buone") e тя роздеру як жабу ("ti squarto come una rana").

AssemblyAI: alla fine della scena del rossetto ha ripetuto una battuta, "Треба цього конючку", tre volte. Nella stessa scena ha trasformato подозрітєльний ("sospetto") in правдивий ("sincero"), quasi un'inversione, e ha perso un intero passaggio in cui vengono lette delle regole. Nella quarta clip, "А якщо не вступиш?" ("e se non entri?") è diventato наступиш ("calpesti").

Doubao: il rapporto originale diceva che non aveva inversioni. La revisione ha trovato tre errori a livello di inversione: "sospetto" è diventato приємний ("piacevole"), "non entri" è diventato "calpesti", e "non è andato lì" ha perso la negazione. In strada ha anche inserito una parolaccia e la parola російський ("russo") che nessuno ha detto.

Speechmatics: ha trasformato il rumore della TV in dialogo; ha perso due volte le negazioni, tra cui "Це скоріше не пушка" ("questa è più che altro non una pistola") diventato "questa è più che altro una pistola"; e ha scritto reazione сенсорну ("sensoriale") al posto di стресорну ("da stress").

Soniox: vedi i 54 secondi di cui sopra.

Cosa abbiamo scelto, e perché

Principale: ElevenLabs Scribe v2. Il più costante in tutte e quattro le clip, senza nessuno dei tre tipi di errore.

Riferimento 1: AssemblyAI. Il suo loop è avvenuto una sola volta, solo dove si sommavano dialetto marcato, parlato veloce e fitte sovrapposizioni. Nella chiara scena del soggiorno e nella quarta clip in stile intervista è stato pulito.

Riferimento 2: Doubao. Ucraino coerente su tutte e quattro le clip, nessun loop, nessun output spazzatura.

Riferimento 3: Gemini. Su questo abbiamo cambiato idea più volte; vedi la sezione successiva.

Prove contro la nostra scelta

• Le nostre due tracce di riferimento possono sbagliare insieme. Su "sospetto" e "non entri", AssemblyAI e Doubao hanno sbagliato nello stesso punto e nella stessa direzione, e Soniox, il motore che abbiamo scartato, li ha azzeccati entrambi. Quando le due tracce di riferimento concordano, non per questo hanno ragione, soprattutto sulle negazioni e sul giudizio se qualcosa è positivo o negativo.
• Il rapporto originale era troppo indulgente con i motori già in uso. Le inversioni di Doubao sono passate da zero a tre. L'affermazione "solo ElevenLabs ha azzeccato 'non entri'" non reggeva: ElevenLabs, Speechmatics, Soniox, Deepgram e Qwen l'avevano azzeccato tutti.
• Gemini è andato male sulle clip di film. Nella scena del rossetto è passato al russo a metà (базаришь что такое) e ha inserito una parolaccia. Nella chiara scena del soggiorno ha aggiunto 40 parole che nessuno degli altri tre ha prodotto. A un certo punto avevamo messo l'ucraino tra le lingue in cui "non aggiungerlo". Poi abbiamo eseguito un podcast di cinque minuti con una vera intervista politica. Nessuna allucinazione, nessun capovolgimento, nessun loop, e una parola che ha azzeccato dove ElevenLabs no (двієчник, "studente scarso"). Ha anche tralasciato due citazioni dirette, circa 30 parole in tutto, e ha trasformato Сповідь ("confessione") in Ковід ("Covid"). Quel podcast non aveva una trascrizione di riferimento umana; abbiamo confrontato Gemini solo con ElevenLabs.

Ancora aperto

• Tre delle quattro clip vengono da un solo film. La base di fonti è ristretta.
• Le prime tre clip all'inizio sono state giudicate solo in base alla forma dell'output; la lettura riga per riga è arrivata in una revisione successiva.
• Ancora nessuna vera intervista di ricerca. L'inclusione di Gemini si basa su un solo podcast di cinque minuti.