Ungarisch: warum wir die Engine behielten, die 23-mal „Fahrkarte“ schrieb

Im ungarischen Film Kontroll (2003) gibt es in der U-Bahn eine Schlägerei um Fahrkarten. Der Kontrolleur ruft immer wieder „Jegy!“ (Fahrkarte). AssemblyAI schrieb das Wort 23-mal hintereinander, und der gesamte Dialogabschnitt danach verschwand.

In einer anderen Aufnahme, einem schnellen Hin und Her beim Bestellen an einem Imbiss, geriet dieselbe Engine kein einziges Mal in eine Schleife. Wir haben sie für Ungarisch behalten. Die Gründe dafür erwiesen sich allerdings als schwächer, als wir zunächst dachten.

Die Testaufnahmen

Fünf Aufnahmen, alle aus Filmen:

Die letzten drei stammen aus demselben Film. Vollständige, saubere Quellen für neuere ungarische Filme sind schwer zu finden; die einzige vollständige Kopie eines Films, den wir verwenden wollten, steckte hinter einer Altersbeschränkung fest.

Getestete Engines

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Deepgram, Gladia, FunASR und Doubao, später kam Gemini hinzu.

Ungarisch gehört nicht zu den von Doubao unterstützten Sprachen, und alle fünf Aufnahmen kamen als Datenmüll zurück. Deepgram und FunASR lieferten viel zu wenig Text, etwa ein Zehntel beziehungsweise drei Zehntel der Wortzahl der Referenz, was bedeutet, dass der Großteil des Audios schlicht nicht transkribiert wurde.

Die roten Linien

Schleifen: Die „Jegy“-Serie ist eine. In der Reifenwerkstatt-Aufnahme wiederholte AssemblyAI „Mi az hogy mi között van“ 18-mal und verschluckte dabei sechs verschiedene Zeilen. Auch Gemini hatte in Kontroll mehrere Wiederholungsserien.

Umgekehrte Verneinungen: Speechmatics machte aus „Ne csináljátok a fotót“ (macht das Foto nicht) „Csináljátok a fotót“ (macht es). AssemblyAI machte aus „diese Party ist großartig“ „warum ist diese Party nicht gut“. Am Imbiss hörte es megvennék (ich würde es kaufen) als megvernék (ich würde ihn verprügeln). Gemini machte aus „misch dich nicht ein“ „nur zu, misch dich ein“.

Halluzinierte Sätze: Wo die Partymusik die Stimmen übertönte, produzierte Speechmatics einen Lachanfall und einen Satz, die im Film nicht vorkommen. AssemblyAI ersetzte in Kontroll eine ganze Zeile durch eine andere. Gemini fügte in der Reifenwerkstatt eine Zeile hinzu, „wir zahlen die Fahrt“, die niemand gesagt hat.

Verlorene Passagen: Am Imbiss verpasste AssemblyAI zwei Funkgerät-Wortwechsel.

Eingefügte Inhalte: In derselben Aufnahme schob Gemini den Funkspruch sechsmal mitten ins Gespräch.

Sprachdrift: nur Doubao.

ElevenLabs hatte über alle fünf Aufnahmen keine Schleifen und keine Umkehrungen. Seine Fehler waren Ersetzungen durch ähnlich klingende Wörter, etwa színed statt szénád.

Wofür wir uns entschieden haben

• Haupt-Engine: ElevenLabs Scribe v2.
• Referenz-Engines: AssemblyAI, Soniox, Gemini.

AssemblyAI blieb, weil seine Schleifen nur bei langen, ausgeglichenen Schreiduellen auftraten. Im Zweiergespräch und in der Imbiss-Aufnahme geriet es weder in Schleifen noch ließ es ganze Abschnitte weg. In echten Interviews schreien selten mehrere Leute lange durcheinander.

Soniox ersetzte Speechmatics, das bei Lärm Sätze erfindet und eine Verneinung verloren hat; Speechmatics ist jetzt ein Notfall-Backup. Bei der Überprüfung schlug Soniox AssemblyAI bei allen fünf Aufnahmen, und wenn es versagte, produzierte es meist sichtbar kaputte Bruchstücke.

Gemini wurde im August zu jeder Sprache hinzugefügt. Es scheitert anders als die akustischen Engines, sodass die beiden Arten einander prüfen können.

Belege gegen unsere Wahl

Im Ungarischen gibt es davon einiges.

• Die Behauptung, AssemblyAI sei bei Gesprächen sauber, bekam durch seinen eigenen Fehler einen Dämpfer: Aus „kaufen“ wurde „verprügeln“, in der Imbiss-Aufnahme, die einem Interview am nächsten kommt.
• Die Überprüfung fand Soniox bei allen fünf Aufnahmen besser als AssemblyAI, und doch führt unsere Konfiguration AssemblyAI noch vor Soniox. Die Reihenfolge widerspricht den Belegen.
• Gemini hatte nur eine Gesprächsaufnahme zur Beurteilung, und dort war es sauber. In den beiden Gruppenszenen hatte es eine Umkehrung, einen erfundenen Satz und mehrere Schleifen, und am Imbiss fügte es den Funkspruch sechsmal ein.
• Nach WER allein schnitt Speechmatics sowohl bei der Zweier-Aufnahme als auch am Imbiss am besten ab (20.5% und 33.5%, gegenüber 27.6% und 36.3% bei ElevenLabs). Nach dieser Zahl haben wir nicht entschieden; siehe WER lügt.

Was noch offen ist

• Eine Gesprächsaufnahme reicht als Beleg für Gemini im Ungarischen nicht aus. Es braucht weitere Tests.
• Drei der fünf Aufnahmen stammen aus einem Film, was die Bandbreite der Szenen begrenzt.
• Ob die Referenz-Engines entsprechend der Überprüfung neu gereiht werden, ist noch nicht entschieden.