← Alle Modellneuigkeiten

Edge0 veröffentlicht Audio8-TTS-Realistic: offene Gewichte für ein 0,6B-Sprachklonmodell mit 23 Sprachen, Apache 2.0 und knapp 49 % WER für Thai

Laut einem MarkTechPost-Bericht vom 29. Oktober 2026 hat Edge0 das TTS-Modell mit offenen Gewichten Audio8-TTS-Realistic veröffentlicht: 601 Mio. Parameter im Hauptmodell, 23 Sprachen, Gewichte und Code unter Apache 2.0, eine selbst gemeldete durchschnittliche Fehlerrate von 4,86 % über neun Sprachen in CV3 sowie 48,57 % WER für Thai; dazu kommt ein SGLang-Omni-Adapter.

Veröffentlicht Aktualisiert

Was sich geändert hat

Laut einem MarkTechPost-Bericht vom 29. Oktober 2026 hat Edge0 Audio8-TTS-Realistic veröffentlicht, die zweite 0,6B-Version der Audio8-TTS-Reihe; dem Bericht zufolge wurden Gewichte und Code unter der Lizenz Apache 2.0 veröffentlicht. Das Hauptmodell hat 601 Mio. Parameter (ohne Codec). Das Repository enthält Checkpoints, einen neuronalen Audio-Codec mit 44,1 kHz, Tokenizer, Prozessor und benutzerdefinierten Code; es unterstützt bis zu 2048 gepackte Text-/Audiopositionen, und die Inferenzschnittstelle bleibt mit der Vorgängerversion Audio8-TTS-Preview-0.6b kompatibel. Das Modell betreibt Zero-Shot-Klonen anhand einer Referenzaudioaufnahme und deren Transkript und kann auch ohne Referenzstimme direkt synthetisieren. Dem Bericht zufolge werden 23 Sprachen unterstützt, 12 mehr als bei der Vorgängerversion; genannt werden die neu hinzugekommenen Sprachen Arabisch, Finnisch, Hindi, Indonesisch, Malaiisch, Norwegisch, Portugiesisch, Russisch, Schwedisch, Thai, Türkisch und Vietnamesisch. Eine vollständige Sprachliste wurde im Bericht nicht veröffentlicht. Die Architektur ist ein dual-autoregressives Design nach Vorbild von Fish Audio S2 Pro: Der langsame Zweig basiert auf Qwen2.5 0.5B, hat 24 Schichten und eine Breite von 896, läuft mit etwa 21,5 Frames pro Sekunde und sagt pro Schritt ein Text-Token sowie das erste Audio-Codebook voraus; ein flacher, schneller Zweig mit 4 Schichten sagt parallel die übrigen 9 Codebooks voraus. Das Training erfolgt in drei Phasen: mehrsprachiges überwachtes Feintuning; GRPO mit WER-Gewicht 0,7 und SIM-Gewicht 0,3; anschließend GRPO, gesteuert durch einen gelernten Realismus-Bewerter. Der Bewerter hat etwa 3 Mio. Parameter auf einem eingefrorenen WavLM-large und eine Dauerstrafe beim 1,35-Fachen der Referenzdauer, um zu verhindern, dass die Bewertung durch langsameres Sprechen manipuliert wird. In der letzten Phase wurden nur chinesische und englische Prompts verwendet; dem Bericht zufolge sank die Fehlerrate bei 13 ressourcenärmeren Sprachen dennoch von 22,53 % auf 20,77 %, und SIM stieg von 0,637 auf 0,679. Alle Leistungszahlen stammen vom Anbieter selbst: Seed-TTS erreicht für Englisch und Chinesisch im Durchschnitt eine Fehlerrate von 1,25 % und SIM 0,704; CV3 über neun Sprachen im Durchschnitt 4,86 % und SIM 0,661; MiniMax über 24 Sprachen im Durchschnitt 5,89 % und SIM 0,754. Der im Bericht genannte Quervergleich auf CV3: VoxCPM2 5,35 %, CosyVoice3-1.5B 6,89 %, Qwen3-TTS-1.7B 7,73 %, das 4B-Modell Higgs TTS 3 berichtet 4,41 %; auf MiniMax erreicht Higgs TTS 3 2,74 %. Edge0 bezeichnet die Tabelle selbst als Referenzvergleich, da sich Evaluationsabläufe und Textnormalisierung unterscheiden. Die schwächste Stelle ist Thai mit 48,57 % WER auf CV3; außerdem erreicht Kantonesisch auf MiniMax 31,35 % CER. Der Bericht sagt nicht, ob das Modell Kantonesisch in der vollständigen Unterstützungsliste führt; die Modellversion und die Zuordnung des Evaluationsdatensatzes für diesen Wert müssen beim Anbieter geklärt werden. Für den Einsatz sind PyTorch 2.5+ und Transformers 4.57+ erforderlich, geladen mit trust_remote_code; das Repository enthält außerdem CLI-, Batch- und überwachte Feintuning-Skripte. Für den GPU-Dienst kann der SGLang-Omni-Adapter verwendet werden, der Paged Attention, dynamisches Batching und eine OpenAI-kompatible Sprachschnittstelle bietet.

Auswirkungen für Entwickler

Die erste Auswirkung ist die Kombination aus Größe und Lizenz. Die Größenordnung eines 0,6B-Hauptmodells plus Codec bedeutet, dass die Hürde für Inferenz auf einer einzelnen GPU und für Feintuning aller Parameter deutlich niedriger liegt als bei den im Bericht genannten 1,7B-, 2B- und sogar 4B-Konkurrenten; das berichtete Apache 2.0 steht im Kontrast zur Angabe „Forschung und nichtkommerzielle Nutzung“ für Higgs TTS 3 in der Tabelle. Verfügbare Gewichte sind jedoch nicht gleichbedeutend mit einer uneingeschränkten Lizenz: Das Repository bündelt auch Komponenten wie den Codec; vor dem Produktivbetrieb sollten Lizenzbedingungen und Herkunft der Trainingsdaten Punkt für Punkt geprüft werden. Letztere nennt der Bericht nicht. Die zweite Auswirkung betrifft die Verteilung der Fähigkeiten, nicht den Durchschnitt. Ein CV3-Durchschnitt von 4,86 % über neun Sprachen wirkt wettbewerbsfähig; 48,57 % WER für Thai zeigen, dass die sprachübergreifende Nutzbarkeit desselben Modells stark variiert. Wichtiger noch: Die vollständige Liste der 23 Sprachen wurde nicht veröffentlicht, sodass Entwickler dem Bericht nicht entnehmen können, ob die von ihnen benötigte Sprache abgedeckt ist. Kantonesisch ist ein typisches Beispiel: Der Bericht nennt den CER für Kantonesisch auf MiniMax, sagt aber nicht, ob es zu den 23 Sprachen gehört. Die dritte Auswirkung ist die Unsicherheit auf der Dienstseite. Der Adapter kann bereits an bestehende Sprach-Gateways angebunden werden, doch der Bericht stellt ausdrücklich fest, dass Durchsatz und Streaming noch nicht benchmarkt wurden; Kapazität und Latenz bis zum ersten Audiopaket müssen selbst gemessen werden. Eine Ausgabe mit 44,1 kHz hat pro Zeiteinheit mehr Abtastpunkte als eine 24-kHz-Lösung und verursacht höheren Speicher- und Bandbreitenaufwand (aus der Abtastrate abgeleitet, keine Schlussfolgerung des Berichts); für Geschäfte mit Langaudio-Archivierung ist das ein realer Kostenfaktor. Am ehesten geht man bei On-Device daneben: Die im Paper genannten 1,1 bis 1,2 GiB Spitzenarbeitsspeicher sind Zahlen für INT4 ONNX auf einer Apple-M2-CPU, und für Realistic gibt es derzeit keinen öffentlichen ONNX-Export; diese Zahl als Beleg für On-Device-Machbarkeit heranzuziehen, ist nicht haltbar.

Integration und Bewertung

Empfehlung eins (bedingte Analyse, keine Tatsache aus dem Bericht): nach Sprache gestaffelt integrieren statt das bestehende TTS komplett zu ersetzen. Auslöser dieser Einschätzung ist die im Bericht genannte Änderung, dass es 12 Sprachen mehr als bei der Vorgängerversion gibt (insgesamt 23) und die Inferenzschnittstelle zur Vorgängerversion kompatibel ist; der Migrationsaufwand liegt damit vor allem bei den Daten, nicht beim Code. Voraussetzung ist, dass für jede Zielsprache sauberes Referenzaudio und ein wörtliches Transkript vorliegen. Als Kriterien dienen messbare Werte: pro Sprache ein eigenes Testset mit mindestens 200 gemischten Beispielen aus Vorlesen und spontaner Sprache; CER für Chinesisch und WER für Englisch sollten mindestens das bestehende Online-Modell erreichen. Bei einer Sprache wie Thai, für die der Bericht WER nahe 49 % nennt, sollte man bei der Fallback-Engine bleiben, wenn der eigene Test weiter deutlich über der Schwelle liegt. Sprachen, deren Abdeckung der Bericht nicht bestätigt, nicht aufgrund des Durchschnitts freigeben. Empfehlung zwei: zuerst den Dienst-Stack selbst testen und dann entscheiden, ob der SGLang-Omni-Adapter oder direkte Transformers-Inferenz verwendet wird. Die Änderung ist, dass der Adapter eine OpenAI-kompatible Sprachschnittstelle und dynamisches Batching bietet, der Bericht aber ausdrücklich keine Benchmarks für Durchsatz und Streaming vorlegt. Für Streaming-Anwendungen wie Echtzeitdialog sollte zuerst geprüft werden, ob das Streaming-Verhalten des Adapters nutzbar ist; bei reiner Offline-Batch-Synthese lohnt es sich eher, dynamisches Batching vorrangig zu validieren. Kriterien sind p95-Latenz bis zum ersten Audiopaket, Echtzeitfaktor und erzeugte Audio-Minuten pro Stunde und GPU bei der Zielparallelität; alle drei auf der eigenen GPU messen und keine vom Anbieter nicht genannten Durchsatzwerte zitieren. Empfehlung drei: On-Device- oder reine CPU-Bereitstellung für diese Version vorerst nicht einplanen. Die Änderung ist, dass Realistic noch keinen öffentlichen ONNX-Export hat und die INT4-Speicherzahlen im Bericht aus der Paper-Umgebung stammen. Wenn es wirklich nötig ist, zuerst mit PyTorch auf dem Zielgerät Spitzenarbeitsspeicher und Echtzeitfaktor messen und erst nach Erreichen der Zielwerte über einen quantisierten Export sprechen. Zugleich die Klonfähigkeit als sensible Funktion behandeln: Einwilligung zur Aufnahme des Referenzaudios, Aufbewahrungsdauer und Aufrufaudit müssen vor dem Start festgelegt und mit messbaren Kriterien wie der Stichprobenabdeckung begrenzt werden.

Grenzen und offene Fragen

Alle Benchmarks stammen vom Anbieter selbst, und Edge0 bezeichnet die Vergleichstabelle selbst als Referenzvergleich; für Schwächen wie Thai und für den Vorsprung der 4B-Modelle gibt es noch keine unabhängige Reproduktion. Durchsatz, Streaming, Stabilität bei langen Texten und Verhalten bei hoher Parallelität sind nicht veröffentlicht; sie sind unbekannt, nicht als verfügbar bekannt. Herkunft der Trainingsdaten, Mechanismus zur Einwilligung der Sprecher und Missbrauchsschutz werden im Bericht nicht erwähnt. Der Bericht listet nur die 12 neu hinzugekommenen Sprachen; die vollständige Liste der 23 Sprachen wurde nicht veröffentlicht, daher lässt sich nicht aus dem Bericht ableiten, welche Sprachen (einschließlich Kantonesisch) abgedeckt sind. Der CER von 31,35 % für Kantonesisch stammt aus dem MiniMax-Evaluationsset mit 24 Sprachen; die Modellversion und die Zuordnung des Evaluationssets für diesen Wert müssen beim Anbieter geklärt werden. Diese Version erscheint derzeit nicht im Modellkatalog von KimiSeek, und im Katalog gibt es auch keine Audiomodelle zum Vergleich. Die im Bericht erwähnte OpenAI-kompatible Sprachschnittstelle stammt aus dem von Edge0 offengelegten SGLang-Omni-Adapter; außerdem gibt es einen kostenlosen Playground auf Hugging Face. Die Verfügbarkeit der zugehörigen API richtet sich nach den Angaben des Anbieters und des Adapters; diese Seite bietet den Modelldienst nicht an.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

Edge0 发布 Audio8-TTS-Realistic:0.6B 开源语音克隆 TTS 模型

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.