Koreanisch: drei Engines, eine identische falsche Verneinung

Eine Zeile in unseren koreanischen Tests kam bei drei Engines auf genau dieselbe Weise falsch heraus. In dem, was der Sprecher sagt, gibt es keine Verneinung, und doch schrieben Doubao, AssemblyAI und Soniox alle 쓰지 않았어, einen Satz mit „nicht“ darin.

Wenn drei Engines denselben Fehler machen, liegt das Problem am Audio an dieser Stelle, nicht an einer einzelnen Engine. Hätten wir Soniox deswegen fallen gelassen, hätten wir auch die beiden bereits eingesetzten Engines fallen lassen müssen. Es war außerdem eine Erinnerung daran, dass eine Abstimmung unter drei Engines bei Verneinungen keinen Schutz bietet.

Die Testaufnahmen

Vier koreanische Filmszenen, bewertet anhand koreanischer Untertitel für Gehörlose und Schwerhörige:

• Memories of Murder, ein Verhör: drei Personen, mit Gelächter, Stöhnen und überlappender Sprache.
• Memories of Murder, das letzte Verhör: vier oder fünf Personen, Geschrei und Flüche.
• Extreme Job, die Szene, in der sie das Brathähnchen benennen: mehrere Leute reden schnell durcheinander, dazu Jubel.
• The Accidental Detective 2, eine Besprechung mit einer Klientin: vier Personen in schnellem Hin und Her, mit einer Hacking-Vorführung in der Mitte.

Die ersten beiden liegen auf unserer dreistufigen Schwierigkeitsskala auf der obersten Stufe, die anderen beiden auf der mittleren. Eine einfache Aufnahme gibt es nicht. Die ersten beiden stammen aus offiziellen Szenenausschnitten, die das Studio veröffentlicht hat.

Ausprobierte Engines

ElevenLabs Scribe v2, AssemblyAI, Doubao und Speechmatics in der ersten Runde. Soniox, Gladia und weitere in Folgedurchläufen. Gemini wurde separat getestet.

Wo die Engines rote Linien überschritten

Umgekehrte Bedeutung. Neben dem oben erwähnten gemeinsamen Fehler hatte Speechmatics in der Detektivszene eine eigene Umkehrung, bei der 오빠 넣으면 und das verneinte 안 오면 („wenn er nicht kommt“) vertauscht wurden.

Eingefügte Inhalte. In der Hähnchen-Szene erfand Speechmatics einen Namen, 박동규야. Die Schwachstelle von Doubao sind Zahlen: Es produzierte aus dem Nichts „5 존맛“ und schrieb eine Strecke Weinen als „6 6“.

Wiederholungsschleifen. Beim Gelächter in Memories of Murder schrieb Doubao das Lachen als 40-mal wiederholtes ㅎ. Bei den beiden Aufnahmen der mittleren Stufe brach es nie so zusammen; es passierte nur bei extremem Lachen und Geschrei. Auch Gladia geriet im Koreanischen in Schleifen. Soniox war die einzige Engine, die bei keiner der beiden schwierigsten Aufnahmen zusammenbrach.

Verlorene Passagen. Das größte Problem von AssemblyAI ist das Weglassen. Es überspringt ganze Brocken und liefert von den vier oft die wenigsten Zeichen. Es erfindet selten etwas, verliert aber viel.

Wofür wir uns entschieden haben

Haupt-Engine: ElevenLabs Scribe v2. Erster Platz bei allen vier Aufnahmen, mit einem Mittelwert von 11.6% gegenüber 17.0% für den Zweitplatzierten. Sie ist auch die einzige, die Namen regelmäßig richtig schreibt.

Referenzen, in dieser Reihenfolge: Doubao, Soniox, Gemini. Alle drei laufen bei jeder koreanischen Datei mit.

• Doubao: im Durchschnitt Zweiter und bei beiden Aufnahmen der mittleren Stufe ein stabiler Zweiter. Seine Zusammenbrüche traten nur bei extremem Gelächter auf, das in einem echten Interview selten vorkommt.
• Soniox: hat AssemblyAI ersetzt, und zwar nicht wegen der Werte. Wir stellten fest, dass die schlimmste Art von AssemblyAI-Fehler eine war, die Soniox tendenziell auch machte, oft an derselben Stelle, während die nur bei AssemblyAI auftretenden Fehler seine großen weggelassenen Brocken waren. Mit Soniox überschneiden sich die Referenzspuren weniger in dem, was sie falsch machen.
• Gemini: läuft als dritte Referenz.

Belege gegen unsere Wahl

• Unser erster koreanischer Bericht über vier Aufnahmen empfahl etwas anderes: Doubao plus AssemblyAI, mit der Begründung, AssemblyAI „lässt nur weg, erfindet nie, ist also am sichersten“. Die Überprüfung zeigte dann, dass AssemblyAI eine der drei Engines hinter der gemeinsamen Verneinung war; „am sichersten“ hielt also nicht, und Soniox nahm seinen Platz ein.
• Die koreanische Bilanz von Gemini ist schwach. Als wir es testeten, landete Koreanisch in der Gruppe „nicht hinzufügen“. In der Hähnchen-Szene veränderte es vier- oder fünfmal die Bedeutung, machte aus „der Saft ist noch drin“ „das Fleisch freisprechen“ und ließ Inhalte weg. In der Detektivszene veränderte es dreimal die Bedeutung, machte aus „dachte, es sei eine Leiche“ „dachte, er schliefe“ und ließ ein „5%“ weg. Die meisten davon sind bedeutungsverändernde Ersetzungen, die nicht zu unseren sechs roten Linien gehören, in einem Interviewtranskript aber genauso gefährlich sind. Es ist jetzt in der Konfiguration und muss beobachtet werden.
• Die Phantomzahlen von Doubao sind genau die Art von Dingen, die Lesende leicht für Angaben der befragten Person halten könnten.

Offene Probleme

• Die beiden schwierigsten Aufnahmen wurden damals nur auf Fehlerrate und Zusammenbruch geprüft, nicht Zeile für Zeile auf die Bedeutung.
• Alle vier Aufnahmen sind Filme. Wir haben kein echtes Interview. Die Konfiguration enthält noch einen Vermerk, dass die gesamte Pipeline vor dem vollen Produktionseinsatz einmal von Anfang bis Ende an einem echten Interview laufen sollte.
• Ein gemeinsamer Fehler dreier Engines lässt sich durch Abstimmen nicht beheben. Wenn Engines sich also uneinig sind, ob etwas verneint ist, folgt unser Zusammenführungsschritt nicht der Mehrheit; ohne harte Belege markiert er die Zeile für einen Menschen.