Mandarin: Engines auswählen zwischen Schüssen und Schreien

In einer Rettungsszene aus The Wandering Earth schneidet eine englische Katastrophendurchsage durch das Geschrei auf Mandarin. Speechmatics machte aus dieser Durchsage „Team Violence Eduardo Saverin Fear“. Eduardo Saverin ist eine Figur aus einem anderen Film, The Social Network. Bei derselben Passage übersetzte AssemblyAI das Englische in verstümmeltes Chinesisch, und FunASR lieferte gar nichts.

Chinesisch ist die einzige Sprache, bei der wir vier Referenzspuren laufen lassen. Dieser Beitrag erklärt, wie wir sie ausgewählt haben.

Die Testclips

Vier Szenen aus chinesischen Filmen, jeweils drei bis fünf Minuten, alle auf Mandarin:

• Let the Bullets Fly, die Verhandlung beim Überfall am Anfang: saubere Aufnahme, schnelles Sprechen, Leute fallen sich ins Wort, viele Namen.
• Assembly, eine Belagerung auf dem Schlachtfeld: Schüsse über der Sprache, knappe Befehle, verwundete Soldaten, die durcheinanderschreien.
• The Wandering Earth, die Rettung in Shanghai: Lärm einer Katastrophenszene, mit einer englischen Durchsage mitten im Mandarin.
• Aftershock, die Trümmer nach dem Erdbeben: eine Mutter, die nach ihren Kindern schreit, grollende Nachbeben, dumpfer Ton.

Auf der dreistufigen Skala aus dem ersten Beitrag dieser Serie liegt Let the Bullets Fly nahe der mittleren Stufe und die anderen drei auf der schwierigsten. Keiner der Clips deckt die Basisstufe ab: eine oder zwei Personen, die ruhig in einem stillen Raum sprechen.

Drei der vier Clips haben wir absichtlich mit starkem Lärm belastet. Der gefährlichste Fehler, ein erfundener Satz, zeigt sich nur, wenn Sprache halb verständlich und im Lärm begraben ist. Bei sauberem Audio produziert ihn keine der Engines, dort kann man also nicht darauf testen.

Die Kandidaten

Doubao, iFlytek, FunASR (Flaggschiff- und Flash-Version), zwei Qwen-Modelle von Alibaba, ElevenLabs, AssemblyAI, Speechmatics, Soniox und Deepgram: insgesamt elf. Später ließen wir das Open-Source-Modell Whisper large-v3 als Vergleichsbasis laufen.

Die sechs roten Linien, Engine für Engine

Erfundene Sätze. Speechmatics erfand bei allen drei lauten Clips etwas. In Assembly produzierte es einen Satz, der sinngemäß lautet: „Ich hab's dir doch längst gesagt … du willst jemanden bei dir haben, sagte ich lächelnd.“ In Aftershock produzierte es „Ich liebe Sport, mir geht's gut, hallo zusammen“ und machte aus dem Schreien „bäh bäh bäh bäh“. Whisper erfand im Geschrei von The Wandering Earth „Präsident Li, früh, früh“ und gab „Hier ist ein Kind, schnell, kommt jemand!“ in Aftershock als „Es ist ein Brötchen, es ist ein Brötchen, Brötchen“ wieder.

Wiederholungsschleifen. Whisper geriet bei allen vier Clips in Schleifen, selbst beim sauberen. Am Ende von Let the Bullets Fly wurde das Wort für „durchhalten!“ zu einem bedeutungslosen Token, gefolgt von dreizehnmal derselben Silbe. Qwens omni-plus-Modell brach beim Schreien in Aftershock vollständig zusammen.

Umgekehrte Verneinung. Doubao, ElevenLabs, AssemblyAI und iFlytek produzierten bei keinem Clip eine eindeutige Verneinungsumkehrung. Whisper kam einmal nahe heran, als es aus „Heizi hielt durch“ ein „Heizi hörte auf“ machte.

Ausgelassene Passagen. AssemblyAI neigt dazu aufzuhören, wenn der Lärm stark wird. Bei Assembly transkribierte es ungefähr die ersten 30 Zeichen und danach nichts mehr; bei Aftershock übersprang es den lauten Anfang. Es hat nichts erfunden, aber eine Referenzspur mit einem Loch darin kann auch nichts überprüfen. Whisper war schlimmer: Die ersten 70 Sekunden von Aftershock kamen als Kette aus zwei sich wiederholenden Zeichen heraus, und die Hilferufe der Mutter verschwanden.

Sprachdrift. Das ist die englische Durchsage vom Anfang. Bei der Überprüfung behielten Doubao, ElevenLabs, iFlytek und Soniox das Englische alle als Englisch bei. FunASR und omni-plus ließen es weg, AssemblyAI übersetzte es ins Chinesische, und Speechmatics machte einen Namen daraus.

Eingefügte Inhalte. ElevenLabs fügte in Assembly eine Zeile hinzu, sinngemäß „der MG-Schütze hat den stellvertretenden Regimentskommandeur gefangen genommen“. Keine der anderen zehn Engines produzierte sie, und die Referenz ist an dieser Stelle leer. Wir können nicht sagen, ob sie wirklich gesprochen wurde, daher haben wir sie als unbestätigt verbucht.

Was wir gewählt haben

Hauptspur: ElevenLabs Scribe v2. Keine Verneinungsumkehrungen bei den drei lauten Clips und keine bestätigten erfundenen Sätze, abgesehen von der einen unbestätigten Zeile oben. Die Sprecherkennzeichnung kommt ausschließlich aus dieser Spur.

Referenzspuren, nach Priorität:

1. Doubao: bei keinem der vier Clips erfundene Sätze oder Umkehrungen, die vollständigste Ausgabe, und die englische Durchsage blieb intakt.
2. FunASR: erfand bei den drei lauten Clips nie einen Satz. Seine Fehler waren Auslassungen und Verhörer.
3. iFlytek: bei sauberem Audio unter den genauesten Engines, mit 12,2 % CER bei Let the Bullets Fly.
4. Gemini: hinzugefügt am 25. August 2026. Es ist ein End-to-End-Großmodell und scheitert daher anders als die drei akustischen Engines. Es liefert ganze Sätze, keine Zeitangaben auf Wortebene, und spielt keine Rolle bei der Entscheidung, wer spricht.

Alle vier laufen bei jeder Datei.

Was gegen unsere Wahl spricht

• FunASR ist die schwächste der drei akustischen Spuren. Es schrieb „zweihunderttausend“ als „20,1 Millionen“. In Let the Bullets Fly ließ es zwei kurze Antworten weg, die die Szene tragen, und wo sich Mandarin und Englisch mischen, verliert es das Englische meist komplett. Wir behalten es, weil es im Lärm standhält und nichts erfindet. Genauigkeit ist nicht der Grund.
• Die Reihenfolge von iFlytek und Doubao wurde nie geklärt. Der saubere Clip legte nahe, dass iFlytek mindestens so gut wie Doubao ist, mit FunASR auf dem letzten Platz. Aber das ist ein einziger sauberer Clip, und die erneute Prüfung steht seitdem aus.
• Wir haben auf eine genauere Engine verzichtet, um Erfindungen zu vermeiden. Qwens omni-plus hatte bei Assembly und The Wandering Earth die niedrigste CER. Es erfand aber auch einen Satz in einer leisen Passage am Ende von The Wandering Earth und brach bei Aftershock zusammen, also haben wir es weggelassen.
• Auch die Hauptspur macht schlimme Fehler. In Aftershock hörte ElevenLabs den Namen, den die Mutter immer wieder ruft, „Daqiang“, durchgehend als „große Schwester“ und machte aus „das Glas hält nicht“ ein „ich halte nicht durch“.

Offene Fragen und Grenzen

• Alle vier Clips stammen aus Filmen. Keiner ist ein echtes Interview, und keiner gehört zur Basisstufe.
• ElevenLabs lief nie auf dem sauberen Let the Bullets Fly-Clip. Bei den drei schwereren Clips hielt es stand, aber diese Zelle ist leer.
• Wir haben Gemini auf diesen vier öffentlichen Clips nicht Zeile für Zeile geprüft, daher haben wir hier keine Mandarin-Evidenz dafür vorzuweisen.
• Namen wurden nicht bewertet. Fehler wie „Daqiang“ werden vom Glossar behandelt, und diese Testrunde bewertet das nicht.