Japanisch: Die Engine, die am besten aussah, strich die Füllwörter

Bei zwei modernen japanischen Interviewaufnahmen sah AssemblyAI zunächst wie die genaueste der vier ausprobierten Engines aus, mit einer Zeichenfehlerrate von nur 8.4% bei einer davon. Dann fanden wir heraus, woher der Vorsprung kam. Die Untertitel, gegen die wir bewerten, lassen gesprochene Füllwörter und Zögerlaute weg. AssemblyAI lässt sie ebenfalls weg. Soniox schreibt sie auf, und jedes einzelne, das es schrieb, zählte als Fehler. Entfernt man die Füllwörter auf beiden Seiten, gewinnt Soniox alle vier Aufnahmen und erreicht bei der letzten 2.0%, weniger als unsere Haupt-Engine.

Diese Erkenntnis hat verändert, wer auf den japanischen Referenzspuren sitzt.

Die Testaufnahmen

Vier Aufnahmen in zwei Paaren:

• Seven Samurai (1954): Tōhoku-Dialekt, dichtes Geschrei, Rauschen alter Filme.
• Rashomon (1950): Standardjapanisch, aber starker Regen und drei Personen, die einander unterbrechen.
• Ein Zweierinterview von YouTube: häufige Sprecherwechsel, sauberer Studioton.
• Eine Folge einer japanischsprachigen YouTube-Sendung: zwei Moderatoren mit ständigen Rückmeldesignalen (そうだね, うん und dergleichen), Sprecherwechsel alle paar Wörter.

Auf unserer dreistufigen Schwierigkeitsskala liegen die Filme auf der obersten Stufe und die modernen Aufnahmen auf der mittleren. Eine separate einfache japanische Aufnahme (ein oder zwei Personen, gleichmäßiges Tempo, kein Lärm) haben wir nicht getestet.

Bei den modernen Aufnahmen haben wir gegen die handgemachten Untertitel der Uploader bewertet, nie gegen automatische Untertitel. Das erste Interview, das wir ausgewählt hatten, entpuppte sich bei der zeilenweisen Prüfung als gesprochenes Englisch mit japanischen Übersetzungsuntertiteln. Ein Transkript gegen eine Übersetzung zu bewerten, wäre sinnlos gewesen, also haben wir es ausgetauscht.

Ausprobierte Engines

ElevenLabs Scribe v2, AssemblyAI, Doubao und Speechmatics in der ersten Runde. Soniox, Gladia, Deepgram, FunASR und Qwen in Folgedurchläufen. Gemini wurde separat getestet.

Wo die Engines rote Linien überschritten

Wiederholungsschleifen. Im Geschrei von Seven Samurai wiederholte AssemblyAI einen Laut 95-mal. Bei derselben Aufnahme wiederholte Gladia 447-mal. Sobald sich ein Transkript mit einer einzigen Silbe füllt, ist alles, was danach kam, verloren.

Erfundene Sätze. Ebenfalls bei Seven Samurai erfand AssemblyAI ganze Sätze, und bei Rashomon hängte es ungesprochene Wörter an das Ende einer Zeile.

Eingefügte Inhalte. Bei den alten Filmen schrieb Doubao einmal einen gewalttätigen Befehl aus, den niemand gegeben hat. Seine saubere Bilanz gilt nur für die modernen Aufnahmen.

Umgekehrte Bedeutung. Soniox kehrte im Abschnitt mit Dialekt und Geschrei in Seven Samurai den Sinn zweier Zeilen um. Bei derselben Aufnahme hing AssemblyAI in Schleifen fest und erfand Sätze. Soniox wegen dieser beiden Fehler fallen zu lassen und AssemblyAI zu behalten, hieße, sie nach unterschiedlichen Regeln zu beurteilen; daher haben wir es als Problem dieser Szene behandelt.

Sprachdrift. Als wir Gemini als Ersatz-Haupt-Engine ausprobierten, kam sein Japanisch mit einigen Kanji in vereinfachten chinesischen Formen heraus: 绍介, 连络, 结婚 statt 紹介, 連絡, 結婚. Richtige Zeichen, falsche Schrift.

Ersetzungen (keine roten Linien, aber irreführend): Speechmatics hörte 人前式, eine Hochzeit vor Familie und Freunden, als 人権意識, „Menschenrechtsbewusstsein“. Doubao und AssemblyAI schrieben beide 酌み交わす („gemeinsam etwas trinken“) als sein Homophon 組み交わす.

Wofür wir uns entschieden haben

Haupt-Engine: ElevenLabs Scribe v2. Die einzige Engine, die bei keiner der vier Aufnahmen zusammengebrochen ist, und 5.1% bei der YouTube-Sendung.

Referenzen, in dieser Reihenfolge: Soniox, Doubao, Gemini. Alle drei laufen bei jeder japanischen Datei mit.

• Soniox: gewinnt alle vier Aufnahmen, sobald Füllwörter entfernt sind. Seine beiden Umkehrungen beim alten Film schreiben wir der Szene zu.
• Doubao: Zuerst dachten wir, es könne kein Japanisch, weil es Müll lieferte. Wir hatten schlicht nicht den richtigen Sprachcode geschickt. Mit ja-JP war es bei den modernen Aufnahmen sauber, bei Rashomon Dritter und bei Seven Samurai im Mittelfeld, aber intakt. Es stammt aus einer ganz anderen Linie als Soniox, daher scheitern die beiden selten an derselben Stelle.
• Gemini: keine Fehler, die rote Linien überschreiten, bei den beiden modernen Aufnahmen.

AssemblyAI wurde zum Backup.

Belege gegen unsere Wahl

• AssemblyAI ist bei modernen Interviews wirklich genau, und bei sauberen, echten Gesprächen verschwinden seine Probleme größtenteils. Wir haben es hauptsächlich wegen der Schleifen und erfundenen Sätze bei alten Filmen ersetzt, und weil es nicht mehr vorne liegt, sobald Füllwörter entfernt sind.
• Eine frühere Runde kam zum gegenteiligen Schluss. Damals sah Soniox bei Interviewmaterial nicht besser aus als die beiden bisherigen Engines, und die Regel lautete „bei Gleichstand keine Änderung“. Die Entdeckung mit den Füllwörtern hat das umgekehrt. Die Entscheidung hängt also an einer einzigen Bewertungsfrage: ob Füllwörter zählen.
• Gemini machte bei den beiden alten Filmen viele Fehler. In Seven Samurai machte es aus 米 („Reis“) den Nachnamen 亀岡. In Rashomon schrieb es den Polizeititel 検非違使 aus der Heian-Zeit als 蛇石 („Schlangenstein“), machte aus „genug gepredigt“ „genug gehustet“ und ließ den letzten Satz weg. Rashomon ist klarer Dialog, die Probleme hängen also eher an der Aufnahmequalität als am Lärm. Ist die Aufnahme eines Kunden schlecht, kann diese Spur mit ihr nachlassen.

Offene Probleme

• Wir haben nur zwei echte Interviews, und beide sind sauber. Wir haben kein bewertetes Beispiel eines modernen japanischen Interviews in einem lauten Raum.
• Wenn ein Kunde ein streng wortgetreues Transkript mit jedem erhaltenen えーと möchte, ist die Gewohnheit von Soniox, Füllwörter zu schreiben, eine Stärke. Möchte er ein bereinigtes Transkript, muss die Grundlage des Rankings noch einmal überprüft werden.
• Das Problem mit den vereinfachten Kanji trat auf, als Gemini die Haupt-Engine vertrat. Ob es auch auftritt, wenn Gemini als Referenzspur läuft, dazu haben wir keine eigenen Daten.