Türkisch: wie ein Modell-Upgrade eine weiße Weste befleckte

Im Türkischen startete AssemblyAI mit einer weißen Weste: vier Clips und keine einzige Zeile, in der es die Bedeutung umkehrte. Dann brachte sein Hersteller eine neue Generation des Modells heraus, und wir wechselten kurzzeitig darauf. Alle vier türkischen Clips wurden schlechter, manche mit fast doppelt so hoher Fehlerrate, und es machte aus dem Befehl indirin („lass es herunter“) ein indirmez („er wird es nicht herunterlassen“). Damit war die weiße Weste dahin. Wir sind zum älteren Modell zurückgekehrt.

Dieselbe Engine, eine andere Version – und die Schlussfolgerung gilt womöglich nicht mehr. Das ist der Hintergrund dafür, wie Türkisch aufgestellt ist.

Die Testclips

Vier türkische Filmszenen von jeweils etwa anderthalb Minuten, bewertet anhand türkischer Untertitel für Gehörlose und Schwerhörige:

• Vizontele (2001): ein Dorfvorsteher empfängt Besucher, mit schnellen Erwiderungen, Unterbrechungen und Geschrei.
• Düğün Dernek (2013): Ein Kamel hat die Braut verloren; vier oder mehr Leute reden gleichzeitig, murmeln und fluchen.
• G.O.R.A. (2004): das Besteigen eines Raumschiffs in einer Science-Fiction-Komödie, Befehle stapeln sich über dichten Soundeffekten und Musik.
• Bergen (2022): Eine leibliche Mutter taucht zu einer Konfrontation auf; schnelle, emotionale Wortwechsel im Adana-Dialekt, mit Flüchen.

Die ersten beiden liegen auf unserer dreistufigen Schwierigkeitsskala auf der höchsten Stufe, die anderen beiden auf der mittleren. Einen einfachen Clip gibt es nicht.

Ausprobierte Engines

Vier in der ersten Runde: ElevenLabs Scribe v2, AssemblyAI, Speechmatics und Doubao. Soniox wurde in einer späteren Überprüfung bewertet. Gemini wurde separat getestet.

Wo die Engines rote Linien überschritten

Erfundene Sätze. Speechmatics produzierte in Vizontele zwei oder drei. Aus Hiç lüzüm yok („das ist nicht nötig“) wurde İç sesim yok („ich habe keine innere Stimme“), und es hängte gazeteye getirip („zur Zeitung bringen“) an einen Satz an, der das nicht sagt.

Eine hinzugefügte Verneinung. Dieselbe Engine, derselbe Clip: Fikri benim adım („mein Name ist Fikri“) kam mit einem yok („nicht“) am Ende zurück.

Ausgelassene Enden. Bei zwei schweren Clips ist Geminis Transkript bis zum letzten Abschnitt in Ordnung, dann fehlen 20 bis 25 Wörter, in einem Fall vier ganze Sätze. Nach WER lag es bei beiden auf Platz zwei, der Wert gibt also keinerlei Hinweis.

Sprachdrift. Doubaos erste türkische Durchläufe kamen als englisches Kauderwelsch zurück, zum Beispiel „I'm shaking these diseases“. Wir hatten keinen türkischen Sprachcode geschickt. Mit gesetztem tr-TR kamen alle vier Clips als zusammenhängendes Türkisch zurück.

AssemblyAI (mit dem älteren Modell) und Doubao hatten über die vier Clips keine erfundenen Sätze und keine Umkehrungen.

Was wir gewählt haben

Primär: ElevenLabs Scribe v2. Bei jedem Clip vorn außer bei G.O.R.A., wo die Soundeffekte alle gleichmachen.

Referenzen, in dieser Reihenfolge: AssemblyAI, Doubao, Gemini. Alle drei laufen bei jeder türkischen Datei.

• AssemblyAI: nach der primären die genaueste Engine, ohne erfundene Sätze und ohne Umkehrungen. Es verhört sich allerdings bei Namen, etwa Belgin als belli („offensichtlich“), aber diese Art von Fehler können die anderen Spuren auffangen.
• Doubao: nach WER bei jedem Clip Letzter, bei der Dialektszene abfallend auf 28,6 %. Fast alle seine Fehler betreffen die Schreibung. Es schreibt Dialektaussprache so aus, wie es sie hört, sodass pabuç zu pafuç wird. Aber es hat nie etwas erfunden oder umgekehrt. Bei einer Referenzspur war uns wichtiger, ob eine Engine selbstbewusst Falsches schreibt, als auf welchem Platz sie landet.
• Gemini: läuft als dritte Referenz.

Soniox schnitt bei der Überprüfung gut ab: keinerlei Rote-Linien-Fehler und Zweiter unter den nicht-primären Engines. Wir haben es nicht eingewechselt, weil AssemblyAI bereits die stärkste nicht-primäre Engine ist und ein Wechsel nichts gebracht hätte. Es steht als Backup an erster Stelle und würde einspringen, wenn Doubao die Ergebnisse im Produktivbetrieb nach unten zieht.

Was gegen unsere Wahl spricht

• Die Upgrade-Geschichte zeigt, dass AssemblyAIs „keine Umkehrungen“ eine Bilanz für eine einzige Modellversion ist. Eine neue Version heißt: neu testen.
• Doubao ist die schwächste der vier. Bei starkem Dialekt und schnellem Sprechen trägt es nur begrenzt Information bei.
• Gemini hat nur einen türkischen Testclip im Gesprächsstil, was für ein Urteil nicht reicht. Bei G.O.R.A. ging sein fehlendes Ende zudem mit Bedeutungsänderungen einher: Aus „nimm deine Brille ab“ wurde „stich dir die Augen aus“, und Wörter wie Ölmüş („er ist tot“) tauchten aus dem Nichts auf.
• Der Bericht verzeichnet bei den ersten beiden Clips jeweils eine kleinere erfundene Wendung der primären Engine. Die Überprüfung ergab aber auch, dass diese Untertitel viel weglassen und dass aus diesem Grund zweimal echte Sprache fälschlich als Halluzination gewertet worden war. Wir können nicht ganz sicher sein, dass diese beiden gegen die primäre Engine zählen.

Offene Probleme

• Alle vier Clips sind Filme. Es gibt kein echtes Interview und kein einfaches Alltagsgespräch.
• Die Untertitel lassen so viel weg, dass sie erneut geprüft werden müssen, wenn mehrere Engines sich auf etwas einigen, das in den Untertiteln fehlt, bevor jemand es eine Halluzination nennt.
• Geminis fehlende Enden zeigen sich nicht im Wert. Nur zeilenweises Lesen findet sie.