Finnisch: fast fehlerfrei bei klarer Sprache, erfundene Zeilen unter Beschuss

Wir haben zwei klare finnische Alltagsaufnahmen getestet: einen Telefonanruf zur Terminabsprache und ein Gespräch über ein Café, das damit endet, dass jemand bestellt. ElevenLabs kam auf 2.7% und 2.9% WER, und beim zeilenweisen Lesen fanden wir keine echten Fehler.

Dann kam die Angriffsszene aus dem Kriegsfilm Unknown Soldier. Unter dem Maschinengewehrfeuer und den Explosionen begannen alle Engines, Sätze zu erfinden, ElevenLabs eingeschlossen.

Die Testaufnahmen

Vier Aufnahmen:

Vollständiger Originalton finnischer Filme ist schwer zu bekommen. Die letzten beiden Aufnahmen stammen aus Podcasts für Lernende, bei denen die Moderatoren selbst wortgetreue Untertitel abgetippt haben – für kleinere Sprachen eine verlässliche Quelle für Referenztranskripte. Szenen in starken regionalen Dialekten, etwa aus Lappland oder Karelien, haben wir bewusst gemieden.

Getestete Engines

ElevenLabs Scribe v2, Speechmatics, AssemblyAI, Soniox und Doubao, dazu im August Gemini. Als AssemblyAI ein neues Modell veröffentlichte, haben wir es auch mit Finnisch ausprobiert.

Doubao unterstützt kein Finnisch; es lieferte englisches Kauderwelsch.

Die roten Linien

Halluzinierte Sätze, fast alle in der Angriffsszene. Ein Offizier brüllt „Jungs, verdammt, vorwärts!“, und ElevenLabs schrieb etwas wie „ihr seid lebendig geschlagen worden, vorwärts“. Für „Dritter und Vierter, links“ schrieb ElevenLabs „zurück in die Stellung“ und AssemblyAI „Paulus sagt voraus, links“. Speechmatics produzierte aus dem Nichts „die Bitte der Kaninchen“, dazu am Ende eine Reihe von Sätzen, die im Film nicht vorkommen.

Bei den klaren Aufnahmen gab es nur einen: In der Oberst-Szene machte AssemblyAI aus dem Dienstgrad „Oberstleutnant“ eine Folge bedeutungsloser Silben.

Vertauschte Pronomen: Beim Angriff machte AssemblyAI aus „bring die Männer in Bewegung“ „bring uns in Bewegung“.

Verlorene Passagen: In derselben Aufnahme verlor AssemblyAI den gesamten Anfang.

Schleifen: In der Angriffsszene schrieb Gemini „Vihollinen!“ (Feind!) mehr als 75-mal, verschluckte damit das ganze Ende und erfand am Anfang zwei Sätze.

Sprachdrift: Bei einer klaren Aufnahme schrieb Soniox einen englischen Satz, „Drivers to load not there“, und wiederholte sich. Doubao war durchgehend englisch.

Wofür wir uns entschieden haben

• Haupt-Engine: ElevenLabs Scribe v2. Beste oder gemeinsam beste bei allen vier Aufnahmen, fast fehlerfrei bei klarer Sprache und keine einzige Umkehrung.
• Referenz-Engines: Speechmatics, AssemblyAI, Gemini.

Speechmatics steht an erster Stelle. Keine Umkehrungen über vier Aufnahmen und eine niedrigere WER als AssemblyAI bei allen drei klaren Aufnahmen (32.7% gegenüber 35.6% in der Oberst-Szene, 9.4% gegenüber 12.8% beim Telefonanruf, 4.6% gegenüber 7.5% im Café). Seine Fehler bei klarer Sprache sind kleine Schmierer, etwa capuccino mit einem fehlenden Buchstaben. Bei klarer Sprache erfindet es keine Sätze.

AssemblyAI steht an zweiter Stelle. Abgesehen von jenem militärischen Dienstgrad hatte es bei den klaren Aufnahmen keine Halluzinationen, Umkehrungen oder Schleifen. Seine Probleme konzentrieren sich auf anhaltendes Gewehrfeuer mit Geschrei.

Gemini: beim Telefonanruf keine echten Fehler, Wort für Wort.

Für Finnisch setzen wir Soniox nicht ein – als einzige dieser nordischen und mitteleuropäischen Sprachen. Ein englischer Satz mitten in einer klaren finnischen Aufnahme ist schwerer abzufangen als alles, was AssemblyAI gemacht hat, daher ist Soniox hier nur ein Backup.

Belege gegen unsere Wahl

• Die 75-fache Schleife von Gemini ist ein echtes Produktionsrisiko: Wenn sie auftritt, fehlt ein ganzer Abschnitt des Transkripts. Wir setzen es ein, weil es bei beiden Alltagsgesprächen keine echten Fehler gemacht hat.
• Das neue Modell von AssemblyAI schnitt bei drei der vier finnischen Aufnahmen schlechter ab als das alte, einschließlich neuer Halluzinationen. Wir haben nicht gewechselt, und die Einführung wurde später für alle Sprachen rückgängig gemacht.
• Auch ElevenLabs hat in der Angriffsszene zwei Sätze erfunden. Unsere Haupt-Engine ist bei extremem Lärm nicht sicher.

Was noch offen ist

• Die beiden klaren Aufnahmen stammen aus Podcasts für Lernende, aufgenommen im Studio. Das ist sauberer als die meisten Interviewaufnahmen.
• Starke Dialekte haben wir nicht getestet.
• Zwei der vier Aufnahmen stammen aus demselben Film.