Spanisch: die Engine, die unser eigener Code kaputt aussehen ließ

Eine unserer frühesten Schlussfolgerungen zum Spanischen lautete: „Doubao bricht bei schwierigem Spanisch zusammen, 98.7% Fehlerrate.“ Bei dieser Aufnahme lieferte es ein Durcheinander aus Chinesisch und Englisch.

Das Problem lag bei uns. Wir hatten Doubao den Sprachcode es-ES (Spanisch, wie es in Spanien gesprochen wird) geschickt. Doubao akzeptiert diesen Code nicht. Es gab aber auch keinen Fehler zurück; es fiel stillschweigend auf Chinesisch zurück. Wir wechselten zu es-MX (mexikanisches Spanisch) und ließen alle vier Aufnahmen erneut laufen. Doubao produzierte keine erfundenen Sätze, behielt die meisten argentinischen Verbformen und schlug Speechmatics, die Engine, die es ersetzt hatte.

Der ursprüngliche „Zusammenbruch“ beruhte auf einer einzigen Aufnahme. Später stellte sich heraus, dass „Zusammenbrüche“ von Doubao in neun weiteren Sprachen dieselbe Ursache hatten.

Die Testaufnahmen

Vier Filmszenen aus drei Ländern:

• El Método (2005, Spanien): ein Raum voller Bewerber, die darüber streiten, wer der Maulwurf ist, auf kastilischem Spanisch.
• El crimen del Padre Amaro (2002, Mexiko): Priester streiten über ein Fußballspiel, während im Hintergrund der Fernseher läuft, bis daraus der Vorwurf wird, mit Gesetzlosen gemeinsame Sache zu machen.
• Nueve Reinas (2000, Argentinien): ein Schreiduell um ein Erbe, dazu eine Szene, in der eine alte Frau betrogen wird. Argentinier verwenden den voseo, der verändert, wie Verben konjugiert werden.
• La Comunidad (2000, Spanien): Nachbarn drängen sich in einem Türrahmen und schreien, nachdem sie die Wohnung eines toten Mieters entdeckt haben.

La Comunidad behandeln wir als Probe der schwierigsten Stufe; die anderen drei liegen zwischen der mittleren und der schwierigsten Stufe. Die einfache Stufe ist nicht abgedeckt (die Stufen werden im ersten Beitrag erklärt).

Die Kandidaten

ElevenLabs, AssemblyAI, Doubao, Speechmatics (zwei Modelle), Soniox, Gladia (zwei Modelle), Deepgram, FunASR, Qwen und später Gemini.

Die sechs roten Linien, Engine für Engine

Umgekehrte Verneinung. Die häufigste rote Linie im Spanischen. In El Método machte Speechmatics aus „Quiero probar cosas nuevas“ (ich will neue Dinge ausprobieren) „No quiero“ (ich will nicht) und aus „si hay un topo“ (falls es einen Maulwurf gibt) „Soy un topo“ (ich bin der Maulwurf). Gladia machte aus „Apaguen ya esa tele“ (macht den Fernseher aus) „¡No apaguen“ (macht ihn nicht aus). Deepgram machte aus „no sé“ (ich weiß nicht) „lo sé“ (ich weiß es).

Erfundene Wörter und Sätze. Gladia hörte „nuestra situación laboral“ (unsere berufliche Situation) als „nuestra situación, Laura“ und erfand damit eine Frau namens Laura. Deepgram machte aus „porque está sola“ (weil sie allein ist) „orquesta sola“ und zauberte ein Orchester herbei.

Sprachdrift. Das Melia-1-Modell von Speechmatics schrieb „Soy abogado“ (ich bin Anwalt) als portugiesisches „Sou advogado“ und wechselte beim ganzen Schluss von La Comunidad ins Portugiesische. Spanisch und Portugiesisch liegen so nah beieinander, dass auch die ausdrückliche Einstellung der Sprache das nicht verhinderte.

Verlorene Passagen. Deepgram übersprang das überlappende Fußballgeplauder am Anfang von Padre Amaro und schnitt den Höhepunkt des Geschreis am Ende von La Comunidad ab.

Eingeebnete Akzente. Keine rote Linie, aber wichtig für lateinamerikanische Interviews. Soniox änderte das argentinische „Oíme / hablás / andás“ in das neutrale „Óyeme / hablas / andas“. ElevenLabs und AssemblyAI behielten die Originale.

Wiederholung. Gladia zeigte bei spanischen Aufnahmen erste Anzeichen, dasselbe Wort zu wiederholen. Keine der anderen hatte das bei diesen vier Aufnahmen.

Es gab auch beruhigende Nachrichten. La Comunidad ist die lauteste Szene, und doch kamen sechs Engines auf denselben Dialog, und keine erfand etwas. Der Untertitel hat eine einzige Zeile, „Habrán dejado el grifo abierto“, und alle sechs transkribierten den vollständigen Satz so, wie er tatsächlich gesprochen wurde – also mehr, als der Untertitel enthält.

Wofür wir uns entschieden haben

Hauptspur: ElevenLabs Scribe v2. Solide bei allen drei Akzenten, am besten beim Erhalt des argentinischen voseo und bei keiner der vier Aufnahmen erfundene Sätze oder umgekehrte Bedeutungen.

Referenzspuren, nach Priorität:

1. AssemblyAI (universal-2): bei keiner Aufnahme erfundene Sätze und keine Umkehrungen; die sauberste und vollständigste Engine der Gruppe.
2. Doubao (mit dem Code es-MX): keine erfundenen Sätze und keine Zusammenbrüche über vier Aufnahmen, und die meisten argentinischen Verbformen intakt. Es holte echte Wörter zurück, die die verdichteten Untertitel weggelassen hatten (complacencias, rumbos), und hatte die Zeile richtig, aus der Deepgram ein Orchester gemacht hatte.
3. Gemini: hinzugefügt am 26. August 2026.

Speechmatics ist jetzt ein Notfall-Backup. Es erfindet nichts, hat aber in El Método zwei Zeilen umgekehrt und war bei der argentinischen Aufnahme am schwächsten.

Belege gegen unsere Wahl

• Auch Doubao hat eine Zeile umgekehrt, an derselben Stelle wie Speechmatics. In El Método schrieb auch Doubao „Quiero“ als „No quiero“. Speechmatics läuft nicht in der Produktion, daher bekommt genau diese Zeile keine zwei falschen Stimmen. Aber wir haben in fünf Sprachen gesehen, wie mehrere Engines an derselben Stelle danebenliegen, und wenn das passiert, wählt eine einfache Mehrheitsabstimmung die falsche Antwort. Deshalb entscheidet unser Zusammenführungsschritt Verneinungen nicht per Mehrheit: Ohne harte Belege wird die Zeile für einen Menschen markiert.
• Gemini hat im Spanischen eigene Umkehrungen. In Padre Amaro machte es aus „mach den Fernseher aus“ „mach den Fernseher nicht aus“ und aus „ich weiß nicht“ „ich weiß es“. Die anderen drei Spuren hatten beides richtig. In La Comunidad änderte es „das Gas angelassen“ in „das Haus angelassen“, was nicht mehr zur nächsten Zeile passt, in der es darum geht, dass alle in die Luft fliegen.
• Qwen war im Spanischen sauber, und wir haben trotzdem darauf verzichtet. Über vier Aufnahmen hatte es keine Schleifen und keine erfundenen Sätze, und es behielt jede argentinische Verbform. Wir haben es weggelassen, weil es keine Zeitstempel auf Wortebene hat, zur selben Familie großer Modelle gehört wie Gemini und bei sauberem Audio weniger stabil war als unsere aktuellen drei.

Offene Fragen und Grenzen

• In Lateinamerika haben wir nur Mexiko und Argentinien getestet. Es gibt keine Aufnahmen für karibische, kolumbianische, chilenische oder andere Akzente.
• Alle vier Aufnahmen stammen aus Filmen. Keine ist ein echtes Interview, und keine liegt in der einfachen Stufe.
• Wenn Doubao einen Sprachcode bekommt, den es nicht akzeptiert, meldet es keinen Fehler; es gibt einfach Kauderwelsch aus. Der Code ist jetzt korrekt, aber diese Art von Problem taucht nie in Fehlerprotokollen auf. Man bemerkt sie nur, indem man die Ausgabe liest.