Englisch: zwei Referenzspuren, die an verschiedenen Stellen scheitern

In einer Verhörszene in einer Bar aus The Departed sagt jemand „I don't know what they do.“ Doubao transkribierte es als „You know what they do“, was die Bedeutung umkehrt. AssemblyAI hatte diese Zeile richtig. Aber in derselben Szene ließ AssemblyAI eine ganze entscheidende Verneinung weg, „I am not a fucking cop!“, die die anderen beiden Spuren ergänzen können.

Nachdem wir alle vier Aufnahmen Zeile für Zeile gelesen hatten, stellten wir fest, dass diese beiden Engines fast nie an derselben Stelle stolpern. Das ist das Prinzip hinter unseren englischen Referenzspuren.

Die Testaufnahmen

Vier Szenen aus amerikanischen und britischen Filmen, jede um eine Art von Schwierigkeit herum aufgebaut:

• Gosford Park (2001): britische Oberschicht-Akzente, ein Abendessen der Dienerschaft im Souterrain, schnelle Wortwechsel und Unterbrechungen über Hintergrundgeräuschen.
• The Social Network (2010): sauberes, schnelles amerikanisches Englisch in einer Zeugenaussage, dicht mit juristischen Begriffen und Namen.
• The Departed (2006): Bostoner Akzente, Kneipenlärm, Slang und Flüche, leise, bedrohliche Befragung.
• August: Osage County (2013): eine ganze Familie, die am Esstisch durcheinanderredet.

Auf den drei Stufen aus dem ersten Beitrag dieser Serie liegt The Social Network nahe der mittleren Stufe, die anderen drei in der schwierigsten. Die einfache Stufe ist nicht abgedeckt.

Die Kandidaten

ElevenLabs, AssemblyAI, Doubao, Speechmatics (zwei Modelle), Soniox, Deepgram, Gladia (zwei Modelle) und Gemini, dazu zwei Qwen-Modelle und FunASR. iFlytek wurde nur bei der ersten Aufnahme ausprobiert; es hat keinen reinen Englisch-Modus, also haben wir dort aufgehört.

Die sechs roten Linien, Engine für Engine

Erfundene Sätze. In Gosford Park kam „I heard Lady Sylvia spoke out of turn“ bei Soniox als „My hand, ladies, don't be a stroke out at 20 minutes PC.“ heraus. Deepgram fügte in derselben Aufnahme zwei Namen hinzu, die niemand sagte, „Sister Fredrick“ und „Percy“. Eines der Qwen-Modelle schrieb in The Departed einen ganzen Satz, der nicht im Audio vorkommt: „buy some bananas.“

Umgekehrte Verneinung. Das war im Englischen die häufigste rote Linie. In The Departed ließen Soniox und Deepgram beide das „not“ aus „you're still not a cop“ weg. Speechmatics machte aus „Unless I stop them“ „as I stop them“. Die Umkehrung von Doubao ist die vom Anfang dieses Beitrags. Wir gaben Qwen einen strengeren Prompt, der ausdrücklich verlangte, Verneinungen zu erhalten. Es ließ das „not“ trotzdem weg.

Schleifen und Zusammenbrüche. In August: Osage County ruft jemand fünfmal „Eat your fish“. Gladia transkribierte es einmal und brach dann ab, wobei etwa neun Wörter verloren gingen.

Verlorene Passagen. Deepgram übersprang einen großen Teil von Gosford Park und machte dort mehr Fehler als jede andere Engine.

Sprachdrift. Keine bei diesen vier Aufnahmen.

Eingefügte Inhalte. Neben den oben erfundenen Namen machte Speechmatics aus „a 3L“ (ein Jurastudent im dritten Jahr) „a three year old“.

Wofür wir uns entschieden haben

Hauptspur: ElevenLabs Scribe v2. Sie war bei drei der vier Aufnahmen die sauberste oder zweitsauberste und ist bei keiner auseinandergefallen.

Referenzspuren, nach Priorität:

1. AssemblyAI (universal-2): keine erfundenen Sätze und keine Umkehrungen in allen vier Aufnahmen, mit der insgesamt solidesten Struktur. Sein einziger Fehlgriff war die Verneinung in The Departed, und das war eine Auslassung, keine Erfindung.
2. Doubao: bei keiner Aufnahme erfundene Sätze. Es erfasste alle fünf „Eat your fish“-Rufe und war bei dieser Aufnahme genauer als AssemblyAI. Es ist anders gebaut als AssemblyAI und macht seine Fehler an anderen Stellen.
3. Gemini: hinzugefügt am 26. August 2026. Als wir es in 26 Sprachen testeten, landete Englisch in der Gruppe, in der es direkt eingesetzt werden konnte. Beim Schreiduell in August: Osage County hatte es keine roten Linien.

Belege gegen unsere Wahl

• Die Hauptspur machte genau den Fehler von Doubao. Als wir die Aufnahmen später erneut durchliefen, produzierte auch ElevenLabs „You know what they do.“ Im ersten Durchlauf hatte es in Gosford Park eine ganze Zeile verstümmelt; im erneuten Durchlauf war dieser Fehler verschwunden. Dieselbe Eingabe liefert nicht jedes Mal dieselbe Ausgabe, daher beurteilen wir Engines nach der Art ihrer Fehler, nicht danach, wie viele wir zufällig gezählt haben.
• Auch Gemini kehrt Verneinungen um. Als wir es zuerst als Backup-Hauptspur testeten, machte es in The Departed aus „Yes. Yes, yes.“ „No. Yes! Yes, yes!“ und aus „I don't know“ „I know.“ In der August-Runde schrieb es die Lady-Sylvia-Zeile in Gosford Park in zwei zusammenhanglose Sätze um. Wir haben es hinzugefügt, weil es als großes Sprachmodell anders scheitert als akustische Engines. Doch bei dieser einen Zeile in The Departed lagen Doubao, Gemini und der erneute Durchlauf von ElevenLabs alle falsch. Fehler von Engines sind nicht immer unabhängig voneinander, und dafür haben wir noch keine gute Lösung.
• Die Engines mit der niedrigsten WER kamen nicht in die Auswahl. Speechmatics hatte die niedrigste WER bei Gosford Park (11.4%), Soniox die niedrigste bei August: Osage County (4.7%). Beide erfanden bei anderen Aufnahmen Sätze oder kehrten Verneinungen um, daher haben wir auf sie verzichtet.

Offene Fragen und Grenzen

• Alle vier Aufnahmen stammen aus Filmen. Keine ist ein echtes Interview, und keine liegt in der einfachen Stufe.
• Abgedeckte Akzente: britisch und amerikanisch, einschließlich Boston. Andere englische Akzente wurden nicht getestet.
• Die Umkehrung durch Doubao haben wir nur einmal gesehen, aber es ist die gefährlichste Art von Fehler. Nach dem erneuten Durchlauf war AssemblyAI die einzige der vier Spuren, die diese Zeile richtig hatte. Deshalb folgt unser Zusammenführungsschritt bei Verneinungen und umgekehrter Bedeutung nicht der Mehrheit: Ohne harte Belege aus dem Kontext wird die Zeile markiert, damit ein Mensch sie prüft.