Norwegisch: Aus „wir waren nicht untreu“ wurde „wir entschieden uns, untreu zu sein“

In Der schlimmste Mensch der Welt (Verdens verste menneske) gibt es eine Partyszene, in der jemand sagt: „Vi var ikke utro“ – wir waren nicht untreu. AssemblyAI schrieb „Vi valgte utro“ – wir entschieden uns, untreu zu sein. Die Verneinung verschwand, das Verb änderte sich, und die Bedeutung kehrte sich um. Die Zeile kommt in der Szene erneut vor, und AssemblyAI lag jedes Mal falsch. Insgesamt dreimal.

Lärm war nicht die Ursache. Die Szene hat ein normales Tempo, ohne anhaltendes Durcheinanderreden.

Die Testclips

Fünf Filmclips aus drei Filmen:

Alle fünf sind Filme. Zwei sind relativ klar, aber trotzdem inszeniertes Drama. Als wir Gemini im August bewertet haben, nahmen wir deshalb zusätzlich einen fünfminütigen Ausschnitt aus einem norwegischen Podcast.

Getestete Engines

ElevenLabs Scribe v2, AssemblyAI, Speechmatics, Soniox, Gemini, Qwen, FunASR und Doubao. Wir haben uns auch NB-Whisper angesehen, das Open-Source-Modell der Norwegischen Nationalbibliothek, es aber nicht übernommen.

Doubao unterstützt kein Norwegisch. Wir haben alle drei norwegischen Sprachcodes ausprobiert und bekamen englisches Kauderwelsch oder gar nichts. FunASR lieferte nur etwa halb so viele Wörter wie die Referenz.

Die roten Linien

Umgekehrte Verneinungen zählen hier am meisten. Neben der Eingangszeile machte AssemblyAI aus „Ich bin bereit, alles zu tun“ ein „Ich werde es nicht tun“ und aus „du darfst nie aufgeben“ ein „ich darf …“. Auch Speechmatics kehrt um, in die andere Richtung: Es neigt dazu, ein ikke hinzuzufügen, sodass aus „wissen“ „nicht wissen“ wird. Nicht mehr als dreimal über die fünf Clips. Und bei einer Verneinung lag jede Engine im Vergleich falsch – außer ElevenLabs.

Erfundene Namen: AssemblyAI eröffnete die klare emotionale Szene mit einer Figur namens Bård und setzte jemanden namens Martha in den Luftangriff. Keine der beiden Figuren existiert in diesen Szenen. Qwen erfand einen Nachnamen, Hågen.

Eingefügte Inhalte: Im Kriegsschiff-Clip erfand Gemini mehrere Kommandos, die im Film nicht vorkommen, etwa „Geschütz 1 in Position“ und „Torpedobatterie 3/4“.

Sprachdrift: Einmal gab Gemini einen norwegischen Clip als chinesische Übersetzung zurück („Wie heißt du? Julia.“). Beim erneuten Durchlauf mit demselben Audio lieferte es normales Norwegisch.

Schleifen: Gemini wiederholte sich im Luftangriff-Clip. Seine WER lag dort bei 89,6 %, gegenüber 41,8 % bis 47,8 % bei den anderen drei Engines – ein Abstand von 42 Punkten.

Was wir gewählt haben

• Primäre Engine: ElevenLabs Scribe v2. Keine Halluzinationen, keine Umkehrungen, keine erfundenen Namen über die fünf Clips. Seine Fehler sind Verhörer: Es schrieb die Eingangszeile als „Vi var ikke ute“ – wir waren nicht draußen –, behielt aber die Verneinung.
• Referenz-Engines: Soniox, Speechmatics, Gemini.

AssemblyAI ist raus. Vier der fünf Clips enthielten Umkehrungen oder erfundene Namen, auch die klaren.

Soniox kam im Juli dazu. Bis dahin war Speechmatics die einzige Referenz-Engine für Norwegisch. Clip für Clip schlug Soniox Speechmatics viermal, einmal gab es ein Unentschieden, und die beiden lagen meist an unterschiedlichen Stellen daneben. Soniox erfasste die Eingangszeile richtig, ebenso den Namen Julie.

Speechmatics erfand in den fünf Clips nie einen Satz oder einen Namen und erfasste die Eingangszeile ebenfalls richtig.

Gemini, beim fünfminütigen Podcast: keine Halluzinationen, Umkehrungen oder Schleifen. Drei Fehler bei ähnlich klingenden Wörtern und zwei Stellen, an denen es genauer war als ElevenLabs.

Unsere norwegische Konfiguration enthält eine zusätzliche Regel: Wo sich die Engines über ein ikke uneinig sind, markiert das Transkript die Stelle als unsicher, damit ein Mensch sie prüft.

Was gegen unsere Wahl spricht

• Gemini hat auf jedem der fünf Filmclips eine rote Linie überschritten: Umkehrungen, erfundene Kommandos, Schleifen und die chinesische Ausgabe. Unser Argument für seinen Einsatz beruht auf einem einzigen fünfminütigen Podcast ohne Referenztranskript, nur gegen ElevenLabs geprüft. Im Juli hatten wir es abgelehnt.
• Soniox und Speechmatics machten in der emotionalen Szene drei identische Richtungsfehler. Das Argument „sie scheitern an unterschiedlichen Stellen“ trägt nicht immer dort, wo es am meisten zählt.
• Ein früher automatisierter Scan ergab, dass Soniox im Norwegischen 1,5-mal so viele Wörter wie die Referenz produzierte.

Was noch offen ist

• Wir haben kein einziges echtes Gespräch mit Referenztranskript. Die Evidenz für Gemini ist besonders dünn.
• Verneinungen bleiben das größte Risiko im Norwegischen. Ein Fall wie jene eine Verneinung, die nur ElevenLabs richtig hatte, lässt sich durch Abstimmen nicht retten. Vorerst markieren wir so etwas als unsicher und lassen einen Menschen hinhören.