Französisch: drei Engines, ein Satz, dieselbe falsche Bedeutung

Beim Streit während der Dinnerparty in Le Prénom sagt jemand „même s'ils se trompent“, also „selbst wenn sie sich irren“. Deepgram, Gladia und Soniox schrieben alle „même s'ils ne se trompent pas“: „selbst wenn sie sich nicht irren“. Drei voneinander unabhängige Engines, dieselbe Stelle, dieselbe umgekehrte Bedeutung.

Mehrere Engines abstimmen zu lassen funktioniert nur, wenn ihre Fehler unabhängig voneinander sind. Dieser eine Satz zeigt, dass sie es nicht immer sind.

Die Testaufnahmen

Vier Filmszenen, jede eine andere Art von schwer verständlichem Französisch:

• La Haine (1995): die Pariser Banlieue, Straßenslang (verlan), starke Hintergrundgeräusche. Ein Fernsehteam wird von einer Menge angepöbelt, dann wird das Auto eines Nachbarn demoliert, und alle fangen an zu schreien.
• Le Prénom (2012): Pariser Standardakzent, eine schnelle Debatte am Esstisch voller Namen.
• Le Dîner de Cons (1998): Pariser Standardakzent, schnelles komisches Hin und Her, eine Telefonposse, die auf einem verwechselten Namen beruht.
• Bon Cop, Bad Cop (2006, Kanada): Québecer joual, einschließlich einer vollständigen Lektion im Québecer Fluchen.

Der dritte Platz war eigentlich für Bienvenue chez les Ch'tis vorgesehen, wegen des nordfranzösischen Dialekts. Die Quelle, die wir fanden, hatte den richtigen Titel und die richtige Länge, aber ein Testlauf zeigte, dass es sich um eine Zusammenstellung von Regie-Interviews und Making-of-Material handelte. Wir mussten den Film wechseln, daher blieb der nördliche Dialekt ungetestet. Auch die erste Quelle für die vierte Aufnahme war eine Fälschung: eine englischsprachige, KI-generierte Filmkritik.

Auf den drei Stufen aus dem ersten Beitrag liegen alle vier Aufnahmen zwischen der mittleren und der schwierigsten Stufe, wobei La Haine und Bon Cop die schwierigsten sind. Die einfache Stufe ist nicht abgedeckt.

Die Kandidaten

ElevenLabs, AssemblyAI, Doubao, Speechmatics (zwei Modelle), Soniox, Gladia, Deepgram, FunASR und später Gemini.

Die sechs roten Linien, Engine für Engine

Umgekehrte Verneinung. Neben der oben erwähnten Umkehrung durch drei Engines machte Speechmatics in La Haine aus „c'est pas moi qui ai les tunes“ (ich bin nicht der mit dem Geld) „c'est pas moi qui t'ai tué“ (ich bin nicht der, der dich getötet hat). Auch das andere Modell von Speechmatics, Melia-1, kehrte die Zeile aus Le Prénom um.

Erfundene Sätze. La Haine beginnt ohne Dialog, und Gladia und Soniox erfanden jeweils eine Eröffnungszeile. Gladia schrieb „Est-ce que vous avez participé aux émeutes“ (haben Sie an den Krawallen teilgenommen) zu einem verstümmelten Satz mit einer Verneinung um, die gar nicht da war. Speechmatics erfand am Ende von Le Dîner de Cons ein „niveau budget“. Deepgram machte aus dem „Golden Gate“ von San Francisco Kauderwelsch.

Auch AssemblyAI hat Dinge erfunden. Aus dem Québecer Fluch „je m'en câlice“ (ist mir scheißegal) wurde „je mets un cornichon“ (ich lege eine Gewürzgurke hinein). Und in einem Film von 1995 transkribierte es die Wörter „YouTube“ und „Covid“, die es beide noch nicht gab.

Wiederholungsschleifen. Speechmatics gab „Oh là là“ als achtzehn „la“ hintereinander wieder. Bei seinem ersten Durchlauf von Le Dîner de Cons wiederholte Gemini „là“ 1.659-mal und lieferte nie ein Transkript. Ein zweiter Durchlauf war nach 35 Sekunden normal fertig.

Verlorene Passagen. Bei La Haine lieferte Deepgram 109 Wörter, wo die anderen etwa 620 lieferten; die zweite Hälfte, der Streit um das demolierte Auto, fehlte einfach. Auch Doubao verlor bei der Québecer Aufnahme viel und lieferte nur 142 Wörter.

Sprachdrift. Bei diesen vier Aufnahmen keine größeren Wechsel in eine andere Sprache.

Wofür wir uns entschieden haben

Hauptspur: ElevenLabs Scribe v2. Bei keiner Aufnahme umgekehrte Bedeutungen, sie erhält verlan unversehrt und war bei der Québecer Aufnahme die zweitrobusteste.

Referenzspuren, nach Priorität:

1. AssemblyAI (universal-2): bei keiner Aufnahme Umkehrungen und die sauberste Engine der Gruppe bei verlan, Debatte und Komödie.
2. Doubao: die einzige Nicht-Haupt-Engine, die über alle vier Aufnahmen nie eine Zeile erfunden und nie eine umgekehrt hat. Bei der Québecer Aufnahme ließ sie stark nach, aber nur durch falsch gehörte und weggelassene Wörter.
3. Gemini: hinzugefügt am 26. August 2026. Die vier Filmaufnahmen sind allesamt Massenszenen und Geschrei, die uns über Gemini nichts Brauchbares sagten. Also nahmen wir einen fünfminütigen Abschnitt eines echten ausführlichen Interviews mit Nicolas Sarkozy und verglichen Gemini Zeile für Zeile mit ElevenLabs: keine erfundenen Sätze, keine Umkehrungen, keine Schleifen, zwei kleinere Bedeutungsänderungen und eine Stelle, an der es genauer war als ElevenLabs. Die großen Auslassungen, die es bei Filmaufnahmen zeigte, traten im Interview nicht auf.

Belege gegen unsere Wahl

• AssemblyAI ist im Französischen nicht sauber. Die Gewürzgurke und die beiden Anachronismen gehen beide auf sein Konto. Es hatte über die vier Aufnahmen vier erfundene Passagen.
• Beide Referenzspuren können gleichzeitig ausfallen. In einer lauten Szene ließ Doubao die ganze Passage weg, während AssemblyAI darin etwas erfand, sodass die Hauptspur der einzige brauchbare Zeuge blieb.
• Auch die Hauptspur hat Dinge erfunden. ElevenLabs hatte keine Umkehrungen, aber zwei erfundene Passagen, eine davon am Anfang einer Aufnahme.
• Wir haben auf die beste Engine für Québecer Französisch verzichtet. Speechmatics kam mit Bon Cop am besten zurecht. Aber es kehrte in La Haine eine Bedeutung um und erfand anderswo Zeilen, daher haben wir es weggelassen.
• Unsere Belege für Gemini im Französischen sind dünn. Ein fünfminütiges Interview, ohne Referenztranskript, nur gegen die Hauptspur geprüft. Bei Filmaufnahmen ist außerdem jenes Versagen mit 1.659 Wiederholungen dokumentiert, auch wenn ein erneuter Durchlauf durchkam.

Offene Fragen und Grenzen

• Der nördliche Ch'ti-Dialekt blieb ungetestet, und wir haben keine Aufnahmen für belgisches, Schweizer oder afrikanisches Französisch.
• Alle vier Referenzaufnahmen stammen aus Filmen, und keine liegt in der einfachen Stufe. Das einzige Interview ist das, welches wir für Gemini hinzugenommen haben.
• Die Umkehrung durch drei Engines erinnert daran, dass Unstimmigkeiten rund um eine Verneinung nicht durch Stimmenzählen entschieden werden können. Wir passen noch an, wie der Zusammenführungsschritt mit solchen Stellen umgeht.