← Todas las noticias

Edge0 publica Audio8-TTS-Realistic, un modelo de clonación de voz de 0,6B con pesos abiertos: 23 idiomas, Apache 2.0 y un WER cercano al 49% en tailandés

Según MarkTechPost del 29 de octubre de 2026, Edge0 publicó el modelo TTS de pesos abiertos Audio8-TTS-Realistic: 601M de parámetros en el modelo principal, soporte para 23 idiomas, pesos y código publicados bajo Apache 2.0, una tasa de error media autodeclarada del 4,86% en las nueve lenguas de CV3, un WER del 48,57% en tailandés y un adaptador para SGLang Omni.

Publicado Actualizado

Qué ha cambiado

Según MarkTechPost del 29 de octubre de 2026, Edge0 publicó Audio8-TTS-Realistic, la segunda versión de 0,6B de la familia Audio8 TTS, y el reporte indica que los pesos y el código se publicaron bajo licencia Apache 2.0. El modelo principal tiene 601M de parámetros (sin contar el códec); el repositorio incluye el checkpoint, un códec de audio neuronal de 44,1 kHz, el tokenizador, el procesador y código personalizado, admite hasta 2048 posiciones empaquetadas de texto/audio y mantiene la misma interfaz de inferencia que la generación anterior, Audio8-TTS-Preview-0.6b. Realiza clonación zero-shot a partir de un audio de referencia y su transcripción, y también puede sintetizar directamente sin una voz de referencia. El reporte afirma que soporta 23 idiomas, 12 más que la generación anterior, y enumera los nuevos: árabe, finés, hindi, indonesio, malayo, noruego, portugués, ruso, sueco, tailandés, turco y vietnamita; la lista completa de idiomas no fue publicada en el reporte. La arquitectura es un diseño autorregresivo dual inspirado en Fish Audio S2 Pro: una rama lenta basada en Qwen2.5 0.5B, con 24 capas y ancho 896, a unas 21,5 tramas por segundo, que predice en cada paso el token de texto y el primer codebook de audio; una rama rápida superficial de 4 capas predice en paralelo los otros 9 codebooks. El entrenamiento tuvo tres etapas: ajuste fino supervisado multilingüe; GRPO con peso 0,7 para WER y 0,3 para SIM; y luego GRPO guiado por un evaluador de realismo aprendido. El evaluador tiene unos 3M de parámetros sobre un WavLM-large congelado e incluye una penalización de duración de 1,35 veces la referencia para evitar que se ganen puntos ralentizando el habla. La última etapa usó solo indicaciones en chino e inglés, y el reporte afirma que la tasa de error de 13 idiomas con pocos recursos bajó de todos modos del 22,53% al 20,77%, mientras que SIM subió de 0,637 a 0,679. Todas las cifras de rendimiento son autodeclaradas por el fabricante: tasa de error media de 1,25% y SIM de 0,704 en inglés y chino de Seed-TTS; 4,86% de media y SIM de 0,661 en las nueve lenguas de CV3; 5,89% de media y SIM de 0,754 en los 24 idiomas de MiniMax. La comparación horizontal que ofrece el reporte es: en CV3, VoxCPM2 5,35%, CosyVoice3-1.5B 6,89%, Qwen3-TTS-1.7B 7,73%, y Higgs TTS 3 de nivel 4B reporta 4,41%; en MiniMax, Higgs TTS 3 reporta 2,74%. Edge0 califica esa tabla como comparación referencial, argumentando diferencias en los procedimientos de evaluación y en la normalización de texto. El punto más débil es el WER de 48,57% en tailandés en CV3; además, el cantonés obtiene un CER de 31,35% en MiniMax, y el reporte no aclara si el modelo incluye el cantonés en su lista completa de soporte, por lo que la versión del modelo y la pertenencia del conjunto de evaluación correspondientes a esa puntuación deben confirmarse con el fabricante. En despliegue requiere PyTorch 2.5+ y Transformers 4.57+, con carga mediante trust_remote_code; el repositorio incluye además CLI, procesamiento por lotes y scripts de ajuste fino supervisado, y para servir en GPU hay un adaptador SGLang Omni que ofrece atención paginada, batching dinámico y una interfaz de voz compatible con OpenAI.

Impacto para desarrolladores

El primer impacto es la combinación de escala y licencia. El tamaño de un modelo principal de 0,6B más el códec implica un umbral de inferencia en una sola GPU y de ajuste fino de todos los parámetros claramente inferior al de rivales de 1,7B, 2B o incluso 4B citados en el reporte; el Apache 2.0 descrito contrasta con el uso "de investigación y no comercial" de Higgs TTS 3 en la tabla. Pero que los pesos estén disponibles no significa que la licencia no tenga restricciones: el repositorio también incluye componentes como el códec, y antes de ponerlo en producción conviene revisar cláusula por cláusula la licencia y el origen de los datos de entrenamiento, que el reporte no detalla. El segundo impacto está en la distribución de capacidades, no en la media. El 4,86% promedio en las nueve lenguas de CV3 parece competitivo, pero el WER de 48,57% en tailandés muestra que la utilidad del mismo modelo varía enormemente entre idiomas; más importante aún, no se publicó la lista completa de 23 idiomas, así que los desarrolladores no pueden saber a partir del reporte si su idioma está cubierto. El cantonés es el ejemplo típico: el reporte da un CER de cantonés en MiniMax, pero no dice si forma parte de esos 23 idiomas. El tercer impacto es la incertidumbre del lado del servicio. El adaptador ya puede conectarse a una pasarela de voz existente, pero el reporte señala explícitamente que no se han hecho pruebas de rendimiento ni de streaming, así que la capacidad y la latencia del primer paquete hay que medirlas por cuenta propia. La salida a 44,1 kHz tiene más muestras por unidad de tiempo que las soluciones a 24 kHz, con mayor coste de almacenamiento y ancho de banda (esto se deduce de la frecuencia de muestreo, no es una conclusión del reporte), lo que es un coste real para negocios de archivo de audio largo. El error más fácil de cometer está en el despliegue en dispositivo: el pico de memoria de 1,1 a 1,2 GiB que reporta el artículo corresponde a INT4 ONNX en una CPU Apple M2, y Realistic no tiene por ahora una exportación ONNX pública, así que tomar esa cifra como evidencia de viabilidad en dispositivo no se sostiene.

Integración y evaluación

Recomendación 1 (análisis condicional, no un hecho del reporte): integrar por idioma de forma gradual, en lugar de sustituir todo el TTS existente. El cambio reportado que motiva esta decisión es que hay 12 idiomas más que en la generación anterior (23 en total) y que la interfaz de inferencia es la misma, por lo que el coste de migración recae sobre todo en los datos y no en el código. La condición es disponer de audio de referencia limpio y transcripción literal para cada idioma objetivo. El criterio deben ser métricas medibles: crear por idioma un conjunto de prueba de más de 200 muestras que mezcle lectura y habla espontánea, y exigir que el CER en chino y el WER en inglés al menos igualen al modelo que ya tienes en producción; en idiomas como el tailandés, con un WER cercano al 49% en el reporte, si en tu propio conjunto sigue muy por encima del umbral, mantén el motor de respaldo. No apruebes idiomas cuya cobertura no confirma el reporte basándote en el promedio. Recomendación 2: probar primero tu propia pila de servicio y luego decidir entre el adaptador SGLang Omni y la inferencia directa con Transformers. El cambio es que el adaptador ofrece una interfaz de voz compatible con OpenAI y batching dinámico, pero el reporte indica claramente que no se han hecho pruebas de rendimiento ni de streaming. Para negocios de streaming como el diálogo en tiempo real, confirma primero si el comportamiento de streaming del adaptador es utilizable; si solo haces síntesis por lotes sin conexión, el batching dinámico merece validarse antes. El criterio es la latencia p95 del primer paquete, el factor de tiempo real y los minutos de audio producidos por GPU y hora con la concurrencia objetivo; mide los tres en tu propia GPU y no cites cifras de rendimiento que el fabricante no ha dado. Recomendación 3: no planifiques todavía esta versión para despliegue en dispositivo o solo CPU. El cambio es que Realistic aún no tiene una exportación ONNX pública y las cifras de memoria INT4 del reporte pertenecen al entorno del artículo. Si de verdad lo necesitas, mide primero con PyTorch el pico de memoria y el factor de tiempo real en el dispositivo objetivo y, solo si cumple, habla de exportar cuantizado. Al mismo tiempo, trata la capacidad de clonación como una función sensible: la autorización para recoger el audio de referencia, el periodo de retención y la auditoría de llamadas deben quedar definidos antes del lanzamiento, y conviene fijarlos con indicadores medibles como la cobertura del muestreo de control.

Límites y cuestiones pendientes

Todos los benchmarks son autodeclarados por el fabricante y Edge0 mismo califica su tabla comparativa como referencial; no hay reproducción independiente de los puntos débiles como el tailandés ni de la ventaja de los modelos de nivel 4B. El rendimiento, el streaming, la estabilidad con textos largos y el comportamiento bajo alta concurrencia no se han publicado, así que son desconocidos y no puede darlos por disponibles; el reporte no menciona el origen de los datos de entrenamiento, los mecanismos de consentimiento de los hablantes ni la protección contra abusos. El reporte solo enumera los 12 idiomas nuevos y no publica la lista completa de 23, por lo que no puede deducirse qué idiomas (incluido el cantonés) están cubiertos; el CER de 31,35% en cantonés proviene del conjunto de evaluación de 24 idiomas de MiniMax, y la versión del modelo y la pertenencia de ese conjunto deben verificarse con el fabricante. Esta versión no aparece actualmente en el catálogo de modelos de KimiSeek, y el catálogo no incluye modelos de audio con los que compararla. La interfaz de voz compatible con OpenAI mencionada proviene del adaptador SGLang Omni de código abierto de Edge0, y también hay un Playground gratuito en Hugging Face; la disponibilidad de la API depende de lo que indiquen el fabricante y el adaptador, y este sitio no ofrece el servicio de este modelo.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

Edge0 发布 Audio8-TTS-Realistic:0.6B 开源语音克隆 TTS 模型

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.