Italienisch: als unsere Hauptspur Bestürzung als Lob hörte

In I soliti ignoti hat eine Bande von Möchtegern-Dieben gerade heimlich gedrehtes Filmmaterial angesehen, und einer von ihnen sagt frustriert „é finita la pellicola“: Der Film ist zu Ende. Unsere Hauptspur, ElevenLabs, schrieb „il film è bellissimo“, „der Film ist wunderschön“. Aus Bestürzung wurde Lob.

Von den zehn Engines, die diese Aufnahme verarbeitet haben, hatte nur Doubao diese Zeile richtig. AssemblyAI hörte „benzina“ (Benzin), Gladia hörte „bestia“ (Bestie), und Speechmatics ließ sie weg. Italienisch ist unser deutlichstes Beispiel dafür, dass eine Referenzspur die Hauptspur korrigiert.

Die Testaufnahmen

Vier Filmszenen, die vier regionale Akzente abdecken:

• I soliti ignoti (1958, Rom): eine Bande sieht sich Überwachungsaufnahmen an, begutachtet einen Tresor und feilscht dann mit einem Schlosser, mit viel überlappender Sprache.
• Baarìa (2009, Sizilien): eine belebte Szene auf dem Dorfplatz mit einem Barbier, einer Post und einem geliehenen Exemplar von Marx.
• Ammore e malavita (2017, Neapel): Beileidsbekundungen bei einer Beerdigung, dann eine Witwe, die einen Preis für Rache festlegt.
• Il Capitale Umano (2013, Mailand/Norden): der Vorstand eines Theaters diskutiert sein Programm, in klarem Standarditalienisch.

Auf den drei Stufen aus dem ersten Beitrag liegt Il Capitale Umano nahe der mittleren Stufe, die anderen drei in der schwierigsten. Die einfache Stufe ist nicht abgedeckt.

Mehrere der Filme haben Filmmusik, Musiknummern oder Hintergrundlieder, daher haben wir um die Passagen herumgeschnitten, in denen Musik den Dialog übertönt.

Die Kandidaten

ElevenLabs, AssemblyAI, Doubao, Speechmatics (zwei Modelle), Soniox, Gladia, Deepgram, FunASR, Qwen und später Gemini.

Die sechs roten Linien, Engine für Engine

Verlorene Passagen. Deepgram fiel bei allen drei schwierigen Aufnahmen auseinander. I soliti ignoti hat 324 Wörter in der Referenz; Deepgram lieferte 134. Baarìa hat 121; es lieferte 64. Die Szene aus Neapel hat 103; es lieferte 15 und verlor die ersten 90 Sekunden mit Beileidsbekundungen und Anschuldigungen vollständig.

Umgekehrte Bedeutung. Neben der Zeile der Hauptspur machte Gladia aus „è stato Ciro che ha venduto Vincenzo“ (Ciro war es, der Vincenzo verraten hat) eine Zeile darüber, von „vincenza“ verraten worden zu sein, und kehrte damit um, wer wen verraten hat. Speechmatics machte aus „darà un milione“ (wird eine Million bieten) „Non era 1.000.000“ und fügte eine Verneinung hinzu.

Erfundene Wörter und Sätze. Speechmatics machte aus dem Nachnamen des Gangsterbosses, Strozzalone, „stronza“, eine gegen Frauen gerichtete Beleidigung. Gladia machte aus „ho fatto un regalo“ (ich habe ein Geschenk gemacht) ein Schimpfwort. Soniox fügte in der Szene aus Neapel einen ganzen Satz ein, „Il ciccio di Masellini“, den niemand sagt.

Wiederholungsschleifen. Qwen geriet in eine Schleife, wiederholte sich an einer Stelle zehnmal und ließ außerdem das Verneinungswort mica weg, wodurch es eine Bedeutung umkehrte.

Sprachdrift. Siehe den Abschnitt zu Gemini weiter unten.

Die Mailänder Szene ist der Kontrollfall. Bei klarem Standarditalienisch waren alle sieben Engines sauber, und selbst Deepgram hielt zusammen. Jeder einzelne der schädlichen Fehler oben stammte aus überlappender Sprache oder starkem Dialekt.

Wofür wir uns entschieden haben

Hauptspur: ElevenLabs Scribe v2. Sauber bei drei von vier Aufnahmen und beim neapolitanischen Dialekt allen weit voraus. Die Umkehrung in I soliti ignoti ist ihre einzige rote Linie in dieser Sprache.

Referenzspuren, nach Priorität:

1. AssemblyAI (universal-2): keine erfundenen Sätze, keine Umkehrungen und keine Zusammenbrüche über alle vier Aufnahmen und alle vier Akzente.
2. Doubao: ebenfalls keine erfundenen Sätze, keine Umkehrungen und keine Zusammenbrüche. Es war bei den Aufnahmen aus Rom und Sizilien am saubersten und die einzige Engine, die die pellicola-Zeile richtig hatte.
3. Gemini: hinzugefügt am 26. August 2026.

AssemblyAI und Doubao waren die einzigen beiden Engines in dieser Runde, die bei keiner Aufnahme etwas erfunden, eine Bedeutung umgekehrt oder zusammengebrochen sind.

Belege gegen unsere Wahl

• Die Hauptspur hat eine Schlüsselzeile umgekehrt. Das ist der direkteste Beleg gegen unser Setup im Italienischen. Wir verlassen uns darauf, dass die Referenzspuren das abfangen, was nur funktioniert, wenn eine Referenzspur an genau dieser Stelle zufällig richtig liegt.
• Unsere Belege für Gemini im Italienischen sind dünn. Im Test mit 26 Sprachen wurde Italienisch als „braucht mehr Tests“ eingestuft: Wir hatten nur eine Gesprächsaufnahme, und dort war Gemini sauber. Bei den beiden dialektlastigen Massenszenen landete es beide Male auf dem letzten Platz. In Baarìa, wo die tatsächliche Zeile „Papa, bin ich eingeladen worden?“ lautet, schrieb es einen zusammenhanglosen Satz, der ungefähr bedeutet „Was für ein schöner Ball, so viele Kinder, ich will ihn!“. In Ammore produzierte es aus dem Nichts eine englische Passage: „Don't leave us alone, don't be shy. When I was a child, I used to make.“ Gemini ist weiterhin bei den Referenzspuren, aber in dieser Sprache beruht der Beleg dafür auf dieser einen Gesprächsaufnahme.
• Das andere Modell von Speechmatics ist weniger schädlich, aber nicht harmlos. Melia-1 wiederholte die Beleidigung nicht und fügte die Verneinung nicht hinzu, wiederholte aber „un bianco“ viermal.

Offene Fragen und Grenzen

• Alle vier Aufnahmen stammen aus Filmen, die älteste von 1958. Das Audio ist weit von einer modernen Interviewaufnahme entfernt.
• Keine Aufnahme der einfachen Stufe und kein echtes Interview. Besonders Gemini fehlt im Italienischen noch eine solide Gesprächsprobe.
• Namen wurden nicht bewertet. Engines schreiben sie regelmäßig falsch, und darum kümmert sich das Glossar.