Vietnamesisch: Die „Halluzination“ war eine Marktverkäuferin

Am Ende einer Marktszene in unseren vietnamesischen Tests schrieb Doubao eine Zeile, die in den Untertiteln fehlt: „Ai mua gà kìa“, sinngemäß „wer kauft Hühnchen?“. Der erste Bericht verbuchte das als Halluzination. Bei der Überprüfung stellte sich heraus, dass es ein echter Verkäufer war, der im Hintergrund ausrief. Die Untertitel hatten es weggelassen, und Doubao hatte es gehört.

Für diese Sprache gibt es nicht viel Evidenz, nur zwei gültige Clips. Hier steht, was sie uns sagen und was nicht.

Die Testclips

Zwei vietnamesische Filme, bewertet anhand der vietnamesischen Untertitel für Gehörlose und Schwerhörige von Netflix:

• Furie (2019): Schuldeneintreibung an einem Pfandstand auf dem Markt, dann eine Taschendiebstahl-Beschuldigung. Mehrere Leute, die sich schnell in einem südlichen Dialekt beschimpfen, Marktlärm, überlappende Stimmen. Höchste Stufe auf unserer dreistufigen Schwierigkeitsskala.
• Song Lang (2018): hinter der Bühne einer traditionellen Operntruppe, Fans schauen zum Plaudern vorbei. Schneller Wortwechsel mit Geräuschen einer Menschenmenge. Mittlere Stufe und viel klarer als der erste.

Wir wollten zwei weitere Clips mit dichterem Gespräch. Jeder „ganze Film“ auf YouTube, den wir fanden, war entweder ein Neuschnitt eines anderen Kanals, der nicht zu den Untertiteln passte, oder hinter einer Altersverifikation gesperrt, und die eigenen Kanäle der Studios bieten nur Trailer. Wir haben bei zwei aufgehört, statt das Set mit Audio aufzufüllen, das wir nicht überprüfen konnten.

Ausprobierte Engines

ElevenLabs Scribe v2, AssemblyAI, Doubao und Speechmatics in der ersten Runde. Soniox wurde bei einer späteren Überprüfung bewertet. Gemini wurde separat getestet.

Wo die Engines rote Linien überschritten

Ausgelassene Passagen. AssemblyAI tat das bei beiden Clips. Es übersprang die ersten vier Sätze von Song Lang vollständig, was der Hauptgrund ist, warum es beim klaren Clip Letzter wurde.

Ersetzungen, die zu Namen werden. AssemblyAI schrieb dị ứng („Allergie“) dreimal als Dĩ Ấn, was sich wie ein Personenname liest. In Furie machte es aus dem Namen Mai ein công an („Polizei“), aus ăn cắp („stehlen“) ein Anh Cất und aus tang chứng („Beweis“) ein ăn trứng („Eier essen“). Die ganze Szene dreht sich darum, ob jemand etwas gestohlen hat, und mit diesen Fehlern ändert sich die Geschichte.

Erfundene Sätze. Unsere primäre Engine, ElevenLabs, erfand an der lautesten, am stärksten überlappenden Stelle gegen Ende von Furie zwei nicht existierende Namen, dazu einen Satz, Họ đang buôn bán („sie machen Geschäfte“). Speechmatics eröffnete Song Lang mit einem ca sĩ („Sänger“), den niemand gesagt hat.

Soniox hatte bei keinem der beiden Clips irgendeinen Rote-Linien-Fehler.

Was wir gewählt haben

Primär: ElevenLabs Scribe v2. Bei beiden Clips in der Spitzengruppe und am vollständigsten über Anfang und Mitte.

Referenzen, in dieser Reihenfolge: Doubao, Soniox, Gemini. Alle drei laufen bei jeder vietnamesischen Datei.

• Doubao: bei beiden Clips gleichauf mit der primären Engine auf Platz eins und am nächsten an den Untertiteln. Seine eine „Halluzination“ hat die Überprüfung nicht überstanden.
• Soniox: ersetzte AssemblyAI. Keine Rote-Linien-Fehler, 9,1 % beim klaren Clip, und beim lauten holte es den meisten Inhalt heraus.
• Gemini: Unsere vietnamesischen Filmclips bestehen nur aus Streit und Gruppenszenen, die wenig über normale Gespräche sagen. Also haben wir fünf Minuten eines vietnamesischen Podcasts durch Gemini und die primäre Engine laufen lassen und sie gegeneinander geprüft. Beide lieferten genau 1.018 Wörter. Gemini machte einen echten Fehler: Aus chôn („begraben“) wurde trốn („verstecken“).

Was gegen unsere Wahl spricht

• Die primäre Engine hat am Ende von Furie Inhalte erfunden. Im Vietnamesischen kann man nicht davon ausgehen, dass die primäre Engine nichts erfindet; das laute Ende einer Aufnahme braucht die Referenzspuren zur Kontrolle.
• Als Gemini nur an diesen beiden Filmclips getestet wurde, lautete das Urteil „nicht hinzufügen“. Nach dem Podcast-Test wurde es umgekehrt, und dieser Podcast hatte kein Referenztranskript, also wurden Gemini und die primäre Engine nur gegeneinander geprüft.
• Ein Clip ist extrem laut und einer recht klar. Dazwischen haben wir nichts.

Offene Probleme

Unser Vertrauen in die Konfiguration dieser Sprache stufen wir als mittel ein, aus einem einfachen Grund: Zwei Clips können keine Aussage stützen, dass etwas systematisch ist. Die Untertitel für zwei weitere Clips liegen bereit; was fehlt, ist lizenziertes Audio, das zu ihnen passt. Sobald wir es haben, kann dieselbe Methode das Set auf vier erweitern.