Dänisch: Wir haben die sauberste Engine bei der interviewähnlichsten Aufnahme ausgetauscht

Von unseren fünf dänischen Testaufnahmen kommt ein Gespräch in einem Reha-Zentrum einem echten Interview am nächsten: Eine Person fragt, die andere antwortet, und gemeinsam erarbeiten sie Ziele. Bei dieser Aufnahme lieferte AssemblyAI das sauberste Transkript aller Engines.

Wir haben es trotzdem aus unseren Referenz-Engines herausgenommen.

Die Testaufnahmen

Fünf Aufnahmen aus zwei Filmen von zwei Regisseuren:

Wir wollten die Abendessen-Szene aus Festen (1998) verwenden und hatten die Untertitel schon bereit, konnten aber den dänischen Originalton nicht finden. Die einzige vollständige Kopie war altersbeschränkt; eine andere erwies sich als französische Synchronfassung.

Getestete Engines

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox und Doubao, dazu im August Gemini.

Doubao unterstützt kein Dänisch. Heraus kam englisches Kauderwelsch mit eingestreuten chinesischen Schriftzeichen, dazu Schleifen.

Die roten Linien

Schleifen: Auf dem Höhepunkt der Schlägerei in Jagten schrieb AssemblyAI „Nej det er satan“ 23-mal in etwa 28 Sekunden und verschluckte dabei den echten Dialog. In den anderen vier Aufnahmen geriet es kein einziges Mal in eine Schleife.

Umgekehrte Verneinungen: Speechmatics machte aus „Det gør jeg ikke“ (Tue ich nicht) „Det gør jeg“ (Tue ich), sodass aus einem Leugnen ein Geständnis wurde. Im Supermarkt wurde aus dem Vorwurf „dann ist es also in Ordnung, die Kunden zu schlagen?“ ein „normalerweise haben Sie ein gutes Treffen mit den Kunden“. In Adam's Apples wurde aus „er hat auf mich geschossen“ der Befehl „schieß auf mich“.

Halluzinierte Sätze: In der Schlägerei machte ElevenLabs aus „Tror du ikke det“ (meinst du nicht) „Jeg dør dig“, was kein echter Satz ist.

Bedeutungsverändernde Ersetzungen: AssemblyAI erfindet gern ähnlich klingende Wörter. Aus Koteletter (Schweinekoteletts) wurde koaguletter, aus „der Schichtkuchen“ wurde „Gesetzgebung“, und aus „warum lügst du“ wurde „warum spionierst du“. Bei der Reha-Aufnahme machte Soniox aus „Kuchen“ „Bananenkuchen“ und aus „mein Ziel ist zu backen“ „meine Mama macht“. Bei der Überprüfung haben wir diese beiden als Fehlsegmentierung mit akustischer Grundlage eingestuft, nicht als Umkehrungen.

Sprachdrift: nur Doubao.

Wofür wir uns entschieden haben

• Haupt-Engine: ElevenLabs Scribe v2. Die sauberste oder gemeinsam sauberste bei allen fünf Aufnahmen, und sie geriet nie in eine Schleife. Ihre eine Halluzination in der Schlägerei brachte den Rest der Szene nicht aus der Spur.
• Referenz-Engines: Speechmatics, Soniox, Gemini.

Die Hürde für eine neue Referenz-Engine sind null rote Linien in allen sechs Kategorien, dazu ein Platz unter den besten zwei im Gesamtranking der Nicht-Haupt-Engines. Soniox hat sie bei der Überprüfung genommen und AssemblyAI ersetzt. Das Gesamtranking ergab Speechmatics auf Platz eins, Soniox auf Platz zwei, AssemblyAI auf Platz drei.

Speechmatics bleibt auf dem ersten Platz, weil seine Wortgenauigkeit etwas besser war als die von Soniox. Es gerät nie in Schleifen, und seine Ausgabe behält ihre Struktur.

Gemini war bei der Reha-Aufnahme sauber und hatte insgesamt mindestens zwei saubere Gesprächsaufnahmen.

Belege gegen unsere Wahl

Für Dänisch gibt es davon reichlich.

• AssemblyAI geriet einmal in eine Schleife, bei einem extremen körperlichen Kampf, einer Art Szene, die in einem echten Interview so gut wie nie vorkommt. Bei der interviewähnlichsten Aufnahme war es die sauberste Engine. Wer „wie sie bei den Aufnahmen abschneidet, die dem Produktionseinsatz am nächsten sind“ höher gewichtet als „wie viele rote Linien sie überschritten hat“, kann das Beibehalten von AssemblyAI gut begründen.
• Soniox veränderte auch bei der ruhigen Reha-Aufnahme Bedeutungen. Diese selbstsicheren Fehler waren nicht durch Lärm erzwungen.
• Als wir im August Gemini testeten, notierten wir bei denselben Aufnahmen weitere Soniox-Probleme: In der Schlägerei hörte es „lügen“ zweimal als „versprechen“ und fügte am Ende einen erfundenen Satz an; in der Schussszene wurde „er hat auf mich geschossen“ zweimal zu „kannst du auf mich schießen?“. Das widerspricht seiner Bewertung mit null roten Linien, und wir haben es noch nicht neu bewertet.
• Speechmatics hat über die fünf Aufnahmen mehrmals die Bedeutung umgekehrt (höchstens einmal pro Aufnahme) und hält dennoch den obersten Referenzplatz. Wir haben AssemblyAI wegen roter Linien entfernt, ohne Speechmatics am selben Maßstab zu messen. Das ist nicht konsistent.
• Gemini machte in der Schussszene aus „du solltest gehen“ „ich sollte gehen“ und änderte in der Schlägerei ein Pronomen.

Was noch offen ist

• Die Bewertung von Soniox muss anhand der August-Notizen noch einmal geprüft werden.
• Alle fünf Aufnahmen stammen aus zwei Filmen, und keine ist ein echtes Forschungsinterview. Wenn wir den Originalton von Festen bekommen, käme eine Szene mit Überlappungen am Esstisch hinzu.