Tschechisch: das Präfix aus zwei Buchstaben, das über unsere Engine-Aufstellung entschied

Im Tschechischen ist „nicht“ oft nichts weiter als ein ne-, das vorne an ein Verb gehängt wird.

Unsere schwierigste tschechische Aufnahme ist eine Familienszene, in der alle am Tisch gleichzeitig reden. Bei einer entscheidenden Verneinung ließ Speechmatics das ne- weg, und der Satz bedeutete das Gegenteil. Soniox behielt es. An dieser Aufnahme haben wir unsere tschechischen Referenz-Engines umgestellt.

Die Testaufnahmen

Vier Aufnahmen aus zwei Filmen:

Getestete Engines

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR und Doubao. Gemini kam im August hinzu.

Doubao unterstützt kein Tschechisch. Die vier Aufnahmen kamen entweder leer zurück oder als Mischung aus englischem und chinesischem Unsinn, einschließlich Schleifen wie „No no no“.

Die roten Linien

Umgekehrte Verneinungen: die eingangs erwähnte, von Speechmatics.

Verlorene Passagen: AssemblyAI verlor in der schwierigsten Familienaufnahme zwei ganze Passagen. Bei der Revolutionsaufnahme lieferte es insgesamt 78 Wörter, gegenüber 154 von Speechmatics: etwa die Hälfte.

Schleifen: Doubao, ja. ElevenLabs schrieb bei der Revolutionsaufnahme den Ruf der Menge „Už je to tady!“ (Es ist so weit!) sechsmal, wo die Untertitel ihn zweimal haben. Die Menge skandierte ihn tatsächlich immer wieder, daher haben wir das nicht als Schleife gewertet, aber notiert.

Eingefügte Inhalte: Bei der Revolutionsaufnahme schrieb Gemini eine englische Regieanweisung, „(Crowd noise and shouting)“, ins Transkript und machte aus „Glockenläuten“ zabili (sie töteten).

Sprachdrift: nur Doubao.

Halluzinierte Sätze: In der ursprünglichen Auswertung der vier Aufnahmen hat keine der Engines ElevenLabs, AssemblyAI oder Speechmatics einen ganzen Satz erfunden. Ihre Fehler waren meist ähnlich klingende Wörter, und einige veränderten die Bedeutung. Speechmatics hörte das má slon in „der Elefant ist drei Meter siebzig!“ als máslo (Butter) und „das würde ich nie schlucken“ als „das würde ich nie erkennen“.

Wofür wir uns entschieden haben

• Haupt-Engine: ElevenLabs Scribe v2. Die getreueste bei drei der vier Aufnahmen. Der Streit beim Abendessen kam fast Wort für Wort heraus.
• Referenz-Engines: Soniox, Speechmatics, Gemini.

Soniox: null rote Linien über die vier Aufnahmen. Bei der schwierigsten Familienaufnahme lag es gleichauf mit ElevenLabs an der Spitze, und es war die einzige Engine, die den Namen einer Figur, Brašule, richtig schrieb. Es behielt die entscheidende Verneinung.

Speechmatics bleibt, mit einer angehängten Regel: Wenn Speechmatics als einzige Engine eine bestimmte Lesart dazu hat, ob ein Satz verneint ist, folgt der Zusammenführungsschritt ihr nicht.

AssemblyAI wurde wegen der oben genannten verlorenen Passagen zum Backup.

Gemini hatte bei der klaren polizeilichen Befragung null rote Linien.

Belege gegen unsere Wahl

• Unser erster Bericht über die vier Aufnahmen kam zu dem Schluss, dass AssemblyAI und Speechmatics immer nur Wörter weglassen und nie die Bedeutung umkehren, drei Engines also völlig ausreichen. Die erneute Auswertung der schwierigsten Aufnahme hat das umgestoßen. Unsere erste Einschätzung war zu optimistisch.
• Bei der Revolutionsaufnahme erfasste Speechmatics das meiste der Radiosendung und war die beste der drei damals verglichenen Engines; ElevenLabs wurde Letzte. Als wir im August Gemini testeten, vermerken die Notizen zu dieser Aufnahme, dass ElevenLabs einen großen Teil des Anfangs verlor und auf dem letzten Platz landete. Unsere Haupt-Engine ist bei verrauschtem Audio aus Sendung plus Menschenmenge nicht zuverlässig.
• Gemini hat im Tschechischen nur eine einzige Gesprächsaufnahme vorzuweisen. Bei der anderen fügte es eine Regieanweisung ein und veränderte eine Bedeutung.

Was noch offen ist

• Alle vier Aufnahmen stammen aus zwei Filmen. Keine davon ist ein echtes Interview.
• Gemini braucht mehr Gesprächsmaterial.
• Speechmatics hat eine Verneinung verloren, und unsere Lösung ist eine Regel, ihm allein nicht zu vertrauen. Das flickt den Zusammenführungsschritt; die Schwäche der Engine bleibt bestehen.