Ukrainisch: 54 Sekunden Stille, verwandelt in einen Vortrag

Ein ukrainischer Film hat eine Wohnzimmerszene, in der im Hintergrund ein Fernseher läuft und etwa eine Minute lang niemand spricht. Die Untertitel markieren sie mit einer einzigen Zeile: [Im Hintergrund läuft der Fernseher].

Soniox schrieb 54 Sekunden Inhalt in diese Lücke, irgendetwas über Giftpflanzen, mittendrin in einer kleinen Schleife hängend. Speechmatics füllte 29 Sekunden. Vielleicht haben sie tatsächlich den Fernseher aufgeschnappt. Für ein Interviewtranskript macht das keinen Unterschied: Eine lange Passage erscheint aus dem Nichts und liest sich, als hätte die befragte Person sie gesagt.

Es war die größte erfundene Einfügung in unserem gesamten Testset. Soniox hat in mehreren Sprachen andere Engines ersetzt. Für Ukrainisch wird es nicht eingesetzt, und diese 54 Sekunden sind der Grund.

Die Testclips: Sie zu finden war die halbe Arbeit

• My Thoughts Are Silent (Мої думки тихі, 2019), drei Szenen: ein Schmuggelverhör an der Grenze (starker Lärm, ausgeprägter transkarpatischer Dialekt; höchste Stufe); die anschließende Suche nach einem Lippenstift (schneller, mehr Überlappung; höchste Stufe); das Wohnzimmer einer Lehrerin (Standardukrainisch, klar; Basisstufe).
• Stop-Zemlia (Стоп-Земля, 2021): Interviews in einem Klassenzimmer plus Straßenszenen. Schnelles Sprechen, häufige Sprecherwechsel, Straßenlärm. Mittlere bis hohe Stufe.

Ukrainisches Material ist schwer zusammenzustellen. Neuere Filme sind streng lizenziert, Kriegsfilme haben oft keine vollständige Veröffentlichung oder keine Untertitel, und Filme, die im Donbas spielen, sind zur Hälfte auf Russisch. Die ersten drei Clips mussten aus einem Film stammen, also haben wir den vierten aus einem anderen genommen, um sicherzugehen, dass die Befunde nicht an einem einzigen Film hängen.

Getestete Engines

ElevenLabs Scribe v2, AssemblyAI, Speechmatics und Doubao (uk-UA). Transkripte von Soniox, Deepgram und Qwen stammten aus einem separaten Durchlauf mit allen Engines und wurden bei der Überprüfung verglichen. Gemini kam im August 2026 hinzu.

Rote Linien, Engine für Engine

ElevenLabs: über alle vier Clips keine Schleifen, keine Halluzinationen, keine Umkehrungen. Es kam mit dem Dialekt am besten zurecht, z. B. файні трави („gute Kräuter“) und тя роздеру як жабу („ich reiß dich auseinander wie einen Frosch“).

AssemblyAI: Am Ende der Lippenstift-Szene wiederholte es eine Zeile, „Треба цього конючку“, dreimal. In derselben Szene machte es aus подозрітєльний („verdächtig“) ein правдивий („wahrhaftig“) – nahe an einer Umkehrung – und ließ eine ganze Passage aus, in der Regeln vorgelesen werden. Im vierten Clip wurde aus „А якщо не вступиш?“ („und wenn du nicht reinkommst?“) ein наступиш („drauftreten“).

Doubao: Der ursprüngliche Bericht sagte, es habe keine Umkehrungen. Die Überprüfung fand drei Fehler auf dem Niveau einer Umkehrung: Aus „verdächtig“ wurde приємний („angenehm“), aus „nicht reinkommen“ wurde „drauftreten“, und „er ist nicht dorthin gegangen“ verlor seine Verneinung. Auf der Straße fügte es außerdem ein Schimpfwort und das Wort російський („russisch“) ein, die niemand gesagt hat.

Speechmatics: verwandelte das Fernsehgeräusch in Dialog; ließ zweimal Verneinungen weg, darunter „Це скоріше не пушка“ („das ist eher keine Waffe“), das zu „das ist eher eine Waffe“ wurde; und schrieb сенсорну („sensorische“) statt стресорну („Stress-“)Reaktion.

Soniox: siehe die 54 Sekunden oben.

Was wir gewählt haben und warum

Primär: ElevenLabs Scribe v2. Über alle vier Clips die stabilste, ohne einen der drei Fehlertypen.

Referenz 1: AssemblyAI. Seine Schleife trat einmal auf, und nur dort, wo starker Dialekt, schnelles Sprechen und dichte Überlappung zusammenkamen. In der klaren Wohnzimmerszene und im interviewartigen vierten Clip war es sauber.

Referenz 2: Doubao. Zusammenhängendes Ukrainisch bei allen vier Clips, keine Schleifen, kein Datenmüll.

Referenz 3: Gemini. Hier ging es hin und her; siehe nächster Abschnitt.

Was gegen unsere Wahl spricht

• Unsere beiden Referenzspuren können gemeinsam falsch liegen. Bei „verdächtig“ und „nicht reinkommen“ scheiterten AssemblyAI und Doubao an derselben Stelle in dieselbe Richtung, und Soniox – die Engine, die wir abgelehnt haben – hatte beides richtig. Wenn sich die beiden Referenzspuren einig sind, heißt das nicht, dass sie recht haben, besonders bei Verneinungen und bei der Frage, ob etwas gut oder schlecht ist.
• Der ursprüngliche Bericht war zu nachsichtig mit den Amtsinhabern. Doubaos Umkehrungen stiegen von null auf drei. Die Behauptung, „nur ElevenLabs hatte ‚nicht reinkommen‘ richtig“, hielt nicht: ElevenLabs, Speechmatics, Soniox, Deepgram und Qwen hatten es alle richtig.
• Gemini schnitt bei den Filmclips schlecht ab. In der Lippenstift-Szene wechselte es mittendrin ins Russische (базаришь что такое) und fügte ein Schimpfwort ein. In der klaren Wohnzimmerszene fügte es 40 Wörter hinzu, die keine der anderen drei produzierte. Zeitweise hatten wir Ukrainisch als „nicht hinzufügen“ geführt. Dann haben wir einen fünfminütigen echten Podcast mit politischem Interview durchlaufen lassen. Keine Halluzinationen, keine Umkehrungen, keine Schleifen, und ein Wort, das es richtig hatte, wo ElevenLabs danebenlag (двієчник, „schlechter Schüler“). Es ließ allerdings zwei direkte Zitate aus, insgesamt etwa 30 Wörter, und machte aus Сповідь („Beichte“) ein Ковід („Covid“). Dieser Podcast hatte kein menschliches Referenztranskript; wir haben Gemini nur mit ElevenLabs verglichen.

Noch offen

• Drei der vier Clips stammen aus einem Film. Die Quellenbasis ist schmal.
• Die ersten drei Clips wurden zunächst nur nach der Form der Ausgabe beurteilt; zeilenweises Lesen kam erst in einer späteren Überprüfung hinzu.
• Noch keine echten Forschungsinterviews. Die Aufnahme von Gemini beruht auf einem einzigen fünfminütigen Podcast.