← Toutes les actualités

Edge0 publie Audio8-TTS-Realistic, modèle de clonage vocal à poids ouverts de 0,6 B : 23 langues, Apache 2.0, WER thaï proche de 49 %

Selon MarkTechPost, le 29 octobre 2026, Edge0 a publié Audio8-TTS-Realistic, un modèle TTS à poids ouverts : modèle principal de 601 M de paramètres, prise en charge de 23 langues, poids et code publiés sous Apache 2.0, taux d’erreur moyen autodéclaré de 4,86 % sur neuf langues de CV3, WER thaï de 48,57 %, avec un adaptateur SGLang Omni.

Publication Mise à jour

Ce qui change

Selon MarkTechPost, le 29 octobre 2026, Edge0 a publié Audio8-TTS-Realistic, deuxième version 0,6 B de la série Audio8 TTS ; le rapport indique que les poids et le code sont publiés sous Apache 2.0. Le modèle principal compte 601 M de paramètres (hors codec). Le dépôt empaquette le point de contrôle, un codec audio neuronal à 44,1 kHz, le tokenizer, le processeur et du code personnalisé ; il prend en charge jusqu’à 2 048 positions texte/audio empaquetées, et l’interface d’inférence reste identique à celle de la génération précédente, Audio8-TTS-Preview-0.6b. Il effectue un clonage zero-shot à partir d’un extrait audio de référence et de sa transcription, et peut aussi synthétiser directement sans timbre de référence. Le rapport indique 23 langues prises en charge, soit 12 de plus que la génération précédente, et cite les ajouts : arabe, finnois, hindi, indonésien, malais, norvégien, portugais, russe, suédois, thaï, turc et vietnamien ; la liste complète des langues n’est pas publiée. L’architecture est une conception auto-régressive double inspirée de Fish Audio S2 Pro : la branche lente repose sur Qwen2.5 0.5B, avec 24 couches et une largeur de 896, à environ 21,5 trames par seconde ; à chaque étape, elle prédit le token de texte et le premier codebook audio ; une branche rapide peu profonde de 4 couches prédit en parallèle les 9 autres codebooks. L’entraînement se déroule en trois étapes : un affinage supervisé multilingue ; un GRPO avec une pondération WER de 0,7 et SIM de 0,3 ; puis un GRPO guidé par un juge de réalisme appris. Le juge compte environ 3 M de paramètres au-dessus d’un WavLM-large gelé et applique une pénalité de durée de 1,35 fois la durée de référence, pour éviter de gonfler le score en ralentissant le débit. La dernière étape n’a utilisé que des invites en chinois et en anglais ; le rapport indique que, pour 13 langues moins dotées en ressources, le taux d’erreur est tout de même passé de 22,53 % à 20,77 % et le SIM de 0,637 à 0,679. Tous les chiffres de performance sont déclarés par le fabricant : sur Seed-TTS, le taux d’erreur moyen anglais-chinois est de 1,25 % et le SIM de 0,704 ; sur CV3, la moyenne sur neuf langues est de 4,86 % et le SIM de 0,661 ; sur MiniMax, la moyenne sur 24 langues est de 5,89 % et le SIM de 0,754. La comparaison donnée par le rapport indique, sur CV3, 5,35 % pour VoxCPM2, 6,89 % pour CosyVoice3-1.5B et 7,73 % pour Qwen3-TTS-1.7B ; Higgs TTS 3, de classe 4 B, est annoncé à 4,41 % ; sur MiniMax, Higgs TTS 3 est à 2,74 %. Edge0 qualifie lui-même ce tableau de comparaison indicative, au motif que les procédures d’évaluation et les méthodes de normalisation du texte diffèrent. Le point faible est le WER thaï de 48,57 % sur CV3 ; le cantonais affiche par ailleurs un CER de 31,35 % sur MiniMax, mais le rapport ne précise pas si le modèle inclut le cantonais dans la liste complète des langues prises en charge ; la version du modèle et l’ensemble d’évaluation correspondant à ce score doivent être confirmés auprès du fabricant. Côté déploiement, PyTorch 2.5+ et Transformers 4.57+ sont requis, avec chargement via trust_remote_code ; le dépôt fournit aussi une CLI, des scripts de traitement par lots et d’affinage supervisé ; pour le service GPU, un adaptateur SGLang Omni est disponible, avec attention paginée, traitement par lots dynamique et interface vocale compatible OpenAI.

Conséquences pour les développeurs

Premier niveau d’impact : la combinaison de la taille et de la licence. Avec un modèle principal de 0,6 B plus le codec, le seuil d’inférence sur une seule carte et d’affinage de tous les paramètres est nettement inférieur à celui des concurrents de 1,7 B, 2 B voire 4 B cités dans le rapport ; la licence Apache 2.0 rapportée contraste avec la mention « recherche et usage non commercial » de Higgs TTS 3 dans le tableau. Mais la disponibilité des poids ne signifie pas que la licence est sans contraintes : le dépôt empaquette aussi des composants comme le codec, et il faut vérifier point par point les clauses de licence et l’origine des données d’entraînement avant la mise en production, cette dernière n’étant pas précisée dans le rapport. Deuxième niveau d’impact : la répartition des capacités, plutôt que la moyenne. La moyenne de 4,86 % sur neuf langues de CV3 paraît compétitive, mais le WER thaï de 48,57 % montre que l’utilisabilité du même modèle varie fortement selon la langue ; plus important encore, la liste complète des 23 langues n’est pas publiée, et les développeurs ne peuvent pas déterminer à partir du rapport si la langue dont ils ont besoin est couverte. Le cantonais en est un exemple typique : le rapport donne un CER cantonais sur MiniMax sans préciser s’il fait partie de ces 23 langues. Troisième niveau d’impact : l’incertitude côté service. L’adaptateur peut déjà s’interfacer avec une passerelle vocale existante, mais le rapport précise que le débit et le streaming n’ont pas été évalués ; la capacité et la latence du premier paquet doivent être mesurées soi-même. Une sortie à 44,1 kHz compte plus d’échantillons par unité de temps qu’une solution à 24 kHz, ce qui augmente les coûts de stockage et de bande passante (déduction faite à partir de la fréquence d’échantillonnage, pas une conclusion du rapport) ; c’est un poste de coût concret pour les activités d’archivage d’audio long. Le piège le plus probable concerne l’exécution en périphérie : la mémoire de pointe de 1,1 à 1,2 GiB rapportée dans l’article correspond à des chiffres INT4 ONNX sur CPU Apple M2, alors qu’aucune exportation ONNX publique de Realistic n’est disponible actuellement ; utiliser ce chiffre comme preuve de faisabilité en périphérie n’est pas valable.

Intégration et évaluation

Recommandation 1 (analyse conditionnelle, pas un fait rapporté) : intégrer par déploiement progressif par langue, plutôt que remplacer l’ensemble du TTS existant. Le changement rapporté qui motive ce jugement est le nombre de langues, supérieur de 12 à la génération précédente (23 au total), et une interface d’inférence identique à celle de la génération précédente, ce qui fait peser le coût de migration principalement sur les données plutôt que sur le code. La condition préalable est de disposer, pour chaque langue cible, d’un audio de référence propre et d’une transcription mot à mot. Les critères sont mesurables : construire pour chaque langue un jeu de test de plus de 200 énoncés mêlant lecture et parole spontanée ; le CER chinois et le WER anglais doivent au moins égaler ceux de votre modèle actuellement en production ; pour une langue comme le thaï, dont le WER rapporté approche 49 %, si le WER reste nettement au-dessus du seuil sur votre propre jeu de test, continuez avec un moteur de secours. Ne validez pas une langue dont la couverture n’est pas confirmée par le rapport sur la base d’une moyenne. Recommandation 2 : testez d’abord votre pile de service, puis décidez entre l’adaptateur SGLang Omni et l’inférence directe avec Transformers. Le changement est que l’adaptateur fournit une interface vocale compatible OpenAI et un traitement par lots dynamique, mais le rapport indique explicitement que le débit et le streaming n’ont pas été évalués. Pour un service en streaming comme le dialogue en temps réel, vérifiez d’abord si le comportement de streaming de l’adaptateur est exploitable ; pour de la synthèse par lots hors ligne uniquement, le traitement par lots dynamique mérite d’être vérifié en priorité. Les critères sont la latence au p95 du premier paquet, le facteur temps réel et le nombre de minutes audio produites par carte et par heure à la concurrence visée ; mesurez ces trois éléments sur votre propre GPU, sans reprendre des chiffres de débit que le fabricant ne fournit pas. Recommandation 3 : ne planifiez pas encore cette version pour un déploiement en périphérie ou purement CPU. Le changement est que Realistic n’a pas encore d’exportation ONNX publique et que le chiffre de mémoire INT4 du rapport relève de l’environnement de l’article. Si c’est réellement nécessaire, mesurez d’abord avec PyTorch la mémoire de pointe et le facteur temps réel sur l’appareil cible, et n’envisagez une exportation quantifiée qu’ensuite. Traitez également la capacité de clonage comme une fonctionnalité sensible : l’autorisation de collecte de l’audio de référence, la durée de conservation et l’audit des appels doivent être définis avant la mise en production, et encadrés par des indicateurs mesurables comme le taux de couverture des contrôles par échantillonnage.

Limites et points à confirmer

Tous les benchmarks sont autodéclarés par le fabricant ; Edge0 qualifie lui-même son tableau comparatif de comparaison indicative ; les points faibles comme le thaï, ainsi que l’avance des modèles de classe 4 B, n’ont pas encore été reproduits par un tiers. Le débit, le streaming, la stabilité sur texte long et les performances à forte concurrence ne sont pas publiés : ce sont des inconnues, et non des capacités établies ; l’origine des données d’entraînement, le mécanisme de consentement des locuteurs et la protection contre les abus ne sont pas mentionnés dans le rapport. Le rapport ne liste que les 12 langues ajoutées ; la liste complète des 23 langues n’est pas publiée, il est donc impossible de déduire du rapport quelles langues (y compris le cantonais) sont couvertes ; le CER cantonais de 31,35 % provient du jeu d’évaluation MiniMax à 24 langues, et la version du modèle ainsi que l’appartenance du jeu d’évaluation correspondant à ce score doivent être vérifiées auprès du fabricant. Cette version n’apparaît pas actuellement dans le catalogue de modèles de KimiSeek, et le catalogue ne contient pas non plus de modèle audio permettant une comparaison. L’interface vocale compatible OpenAI mentionnée dans le rapport provient de l’adaptateur SGLang Omni open source d’Edge0 ; un Playground gratuit est également disponible sur Hugging Face ; la disponibilité des API concernées dépend des indications du fabricant et de l’adaptateur, et ce site ne propose pas de service pour ce modèle.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

Edge0 发布 Audio8-TTS-Realistic:0.6B 开源语音克隆 TTS 模型

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.