Indonesisch: Jemand schreit um Hilfe, die Engine schreibt „danke“

Eine unserer indonesischen Testszenen zeigt eine Sekte, die ein Haus belagert. Durch das Geschrei hindurch ruft jemand „Bu, tolong selamatkan anak-anakku, bu!“ („Mama, bitte rette meine Kinder!“). Unsere Haupt-Engine, ElevenLabs, hat diese Zeile erfasst. Im selben Moment schrieb AssemblyAI „Terima kasih“, was „danke“ bedeutet.

Gladia ging noch weiter. Es produzierte „Jangan lupa like share dan subscribe“, „vergiss nicht zu liken, zu teilen und zu abonnieren“, die Verabschiedung aus dem Video eines YouTubers.

Beides weist in dieselbe Richtung. Wenn das Audio zu chaotisch wird, um etwas zu verstehen, füllen manche Engines die Lücke mit einer vertrauten Floskel.

Die Testaufnahmen

Alle vier Aufnahmen stammen aus einem Film, Satan's Slaves (Pengabdi Setan, 2017), bewertet anhand seiner indonesischen Untertitel für Gehörlose und Schwerhörige. Wir haben einen einzigen Film verwendet, weil jeder andere indonesische „ganze Film“, den wir auf YouTube fanden, eine Fälschung war: ein Rezensionsvideo, ein anderer Film unter demselben Titel oder ein Neuschnitt, dessen Timing nicht zu den Untertiteln passte.

Die vier Szenen fordern jeweils etwas anderes:

• Blättern in einer Zeitschrift: Streichermusik im Hintergrund, zwei Personen werfen sich Sätze hin und her.
• Familienessen: klapperndes Geschirr, jüngere Geschwister, die herumalbern, ständige Überlappungen.
• Bitte um Hilfe: zwei Personen erzählen ruhig und in ganzen Sätzen eine Familiengeschichte.
• Die Belagerung: panisches Geschrei, Donner, jemand hämmert gegen die Tür.

Auf unserer dreistufigen Schwierigkeitsskala liegen die ersten beiden zwischen der mittleren und der obersten Stufe, die Belagerung auf der obersten, und die Hilfeszene ist nahe an der einfachen – die einzige klare Aufnahme im Set.

Ausprobierte Engines

ElevenLabs Scribe v2, AssemblyAI, Doubao und Speechmatics in der ersten Runde, dazu FunASR, Gladia, Deepgram, Soniox und Qwen, die zur Dokumentation parallel liefen. Gemini wurde separat getestet.

Wo die Engines rote Linien überschritten

Erfundene Sätze. Die beiden vom Anfang: das „danke“ von AssemblyAI und das „liken, teilen und abonnieren“ von Gladia. In den ersten drei Aufnahmen hat AssemblyAI nichts erfunden. Erst die Belagerung trieb es zu einer Erfindung.

Eingefügte Wörter. In der Belagerung sagt jemand „kalau kita bersatu“ („wenn wir zusammenhalten“), und keine der vier Engines hatte es richtig. ElevenLabs schrieb „sich gegen jemanden verbünden“, AssemblyAI und Speechmatics schrieben „übergeben“, und Doubao schrieb „kalau kita nggak serahkan“ („wenn wir nicht übergeben“) und fügte damit eine Verneinung hinzu, die niemand gesagt hat. Beim Abendessen hängte Speechmatics außerdem zwei zusätzliche Wörter, „hati kau“ („dein Herz“), an das Ende einer Zeile.

Wiederholungsschleifen. In der Belagerung rufen die Leute immer wieder den Namen Bondy. ElevenLabs, Soniox und Doubao schrieben den Namen jeweils fünf- bis neunmal. Gemini schrieb ihn zehnmal hintereinander als Bodoh („dumm“).

Verlorene Passagen. AssemblyAI verlor in der Belagerung am meisten und ließ lange Strecken des Geschreis aus.

Sprachdrift. Die ersten beiden Aufnahmen von Doubao kamen als Mischung aus chinesischem und englischem Kauderwelsch zurück, weil wir den indonesischen Sprachcode nicht mitgeschickt hatten. Mit id-ID war sein Transkript der Hilfeszene fast Wort für Wort identisch mit dem der Haupt-Engine.

Keine der Engines hat in einer der vier Aufnahmen die Bedeutung eines ganzen Satzes umgekehrt.

Wofür wir uns entschieden haben

Haupt-Engine: ElevenLabs Scribe v2. Niedrigste WER bei den ersten beiden Aufnahmen, so gut wie keine Bedeutungsfehler bei der klaren, der meiste zurückgewonnene Inhalt bei der Belagerung und die einzige Engine, die den Hilferuf erfasste.

Referenzen, in dieser Reihenfolge: Soniox, Doubao, Gemini. Alle drei laufen bei jeder indonesischen Datei mit.

• Soniox: hat AssemblyAI ersetzt. Die Überprüfung bestätigte keine Fehler, die rote Linien überschreiten, und es lag unter den Nicht-Haupt-Engines auf Platz eins oder zwei. Seine beiden fragwürdigen Stellen fielen beide in extrem laute Passagen, in denen alle Engines scheiterten, und was es schrieb, passte zu Lauten im Audio; sie zählen daher als Verhören, nicht als Erfindung.
• Doubao: Nachdem der Sprachcode korrigiert war, keine erfundenen Sätze und keine Umkehrungen in vier Aufnahmen. Es hat einen ganz anderen technischen Hintergrund als Soniox, daher scheitern die beiden meist nicht an derselben Stelle.
• Gemini: Bei der klaren Hilfeszene stimmte es fast Wort für Wort mit der Haupt-Engine und Soniox überein.

AssemblyAI wurde zum Backup. Das erfundene „danke“ und das weggelassene Geschrei brachten es nach demselben Maßstab näher an unsere roten Linien als Soniox.

Belege gegen unsere Wahl

• Soniox hat eine Angewohnheit. Wenn es etwas nicht verstehen kann, schreibt es eher einen flüssigen Satz, statt offensichtlichen Müll zu hinterlassen, und ein flüssiger falscher Satz ist für Lesende am schwersten zu erkennen. Ein früher automatisierter Scan meldete außerdem Anzeichen von Übergenerierung und Wiederholung in seiner indonesischen Ausgabe. Die Konfiguration vermerkt, dass im ersten Produktionsmonat flüssige, schwer hörbare Zeilen, die nur Soniox produziert hat, stichprobenartig geprüft werden sollen.
• Die zusätzliche Verneinung von Doubao in der „Zusammenhalten“-Zeile ist genau die Art von Fehler, die beim Zusammenführen von Transkripten den größten Schaden anrichtet.
• AssemblyAI war in den ersten drei Aufnahmen sauber. Die Begründung für seinen Austausch beruht hauptsächlich auf einer Szene.

Offene Probleme

• Alle vier Aufnahmen stammen aus einem Film, mit derselben Besetzung und denselben Aufnahmebedingungen. Andere Filme und andere Akzente könnten ein anderes Ergebnis liefern.
• Die Werte der Belagerung sind unbrauchbar, daher ergibt sich das Ranking dort ausschließlich aus dem zeilenweisen Lesen.
• Wir haben keine echten Interviewaufnahmen.