Ceco: il prefisso di due lettere che ha deciso la nostra formazione di motori

In ceco il "non" spesso non è altro che ne- attaccato davanti a un verbo.

Il nostro spezzone ceco più difficile è una scena familiare con tutti intorno al tavolo che parlano insieme. Su una negazione chiave, Speechmatics ha perso il ne- e la frase è uscita con il significato opposto. Soniox l'ha tenuto. È su quello spezzone che abbiamo cambiato i nostri motori di riferimento per il ceco.

Gli spezzoni di test

Quattro spezzoni da due film:

I motori che abbiamo testato

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR e Doubao. Gemini è stato aggiunto ad agosto.

Doubao non supporta il ceco. I quattro spezzoni sono tornati vuoti oppure come un miscuglio senza senso di inglese e cinese, con loop come "No no no".

Le linee rosse

Negazioni ribaltate: quella citata all'inizio, di Speechmatics.

Passaggi persi: AssemblyAI ha perso due interi passaggi nello spezzone familiare più difficile. Sullo spezzone della rivoluzione ha prodotto 78 parole in tutto, contro le 154 di Speechmatics: circa la metà.

Loop: Doubao, sì. ElevenLabs ha scritto il "Už je to tady!" (Ci siamo!) della folla sei volte sullo spezzone della rivoluzione, dove i sottotitoli lo riportano due volte. La folla lo scandiva davvero più e più volte, quindi non l'abbiamo contato come loop, ma l'abbiamo annotato.

Contenuti inseriti: sullo spezzone della rivoluzione, Gemini ha scritto nella trascrizione un'indicazione di scena in inglese, "(Crowd noise and shouting)", e ha trasformato "campane che suonano" in zabili (hanno ucciso).

Deriva di lingua: solo Doubao.

Frasi allucinate: nella valutazione originale sui quattro spezzoni, né ElevenLabs né AssemblyAI né Speechmatics hanno inventato una frase intera. I loro errori erano per lo più parole dal suono simile, e alcuni cambiavano il significato. Speechmatics ha sentito má slon in "l'elefante è tre metri e settanta!" come máslo (burro), e "non lo ingoierei mai" come "non lo riconoscerei mai".

Cosa abbiamo scelto

• Motore principale: ElevenLabs Scribe v2. Il più fedele su tre dei quattro spezzoni. La lite a cena è uscita quasi parola per parola.
• Motori di riferimento: Soniox, Speechmatics, Gemini.

Soniox: zero linee rosse sui quattro spezzoni. Sullo spezzone familiare più difficile è arrivato a pari merito con ElevenLabs come migliore, ed è stato l'unico motore a scrivere correttamente il nome di un personaggio, Brašule. Ha mantenuto la negazione chiave.

Speechmatics resta, con una regola annessa: se Speechmatics è l'unico motore con una certa lettura sul fatto che una frase sia negativa o no, la fase di fusione non la segue.

AssemblyAI è passato tra i motori di riserva per via dei passaggi persi di cui sopra.

Gemini ha avuto zero linee rosse sul chiaro interrogatorio di polizia.

Prove contro le nostre scelte

• Il nostro primo report sui quattro spezzoni concludeva che AssemblyAI e Speechmatics si limitavano a perdere parole senza mai ribaltare il significato, quindi tre motori bastavano e avanzavano. Rifare lo spezzone più difficile ha rovesciato quella conclusione. La nostra prima lettura era troppo ottimista.
• Sullo spezzone della rivoluzione, Speechmatics ha colto la parte più ampia della trasmissione radio ed era il migliore dei tre motori confrontati all'epoca; ElevenLabs è arrivato ultimo. Quando abbiamo testato Gemini ad agosto, le note per quello spezzone dicono che ElevenLabs ha perso gran parte dell'apertura ed è arrivato ultimo. Il nostro motore principale non è affidabile su audio rumoroso con trasmissione più folla.
• In ceco Gemini ha all'attivo un solo spezzone di conversazione. Sull'altro ha inserito un'indicazione di scena e cambiato un significato.

Cosa resta aperto

• Tutti e quattro gli spezzoni vengono da due film. Nessuno è un'intervista reale.
• Gemini ha bisogno di più materiale di conversazione.
• Speechmatics ha perso una negazione, e la nostra correzione è una regola che dice di non fidarsi di lui da solo. Questo mette una pezza alla fase di fusione; la debolezza del motore resta.