← Todas las noticias

NVIDIA acelera Ling-3.0-flash un 42,5% en un solo DGX Spark: tres optimizaciones y una trampa de retroceso silencioso

Según MarkTechPost del 3 de noviembre de 2026, NVIDIA usó un kernel MoE Humming MXFP4, un LM head FP8 y decodificación especulativa MTP integrada para elevar el rendimiento de decodificación en GSM8K de Ling-3.0-flash de 37,81 a 53,89 tokens/s en un solo DGX Spark; con FP8 y MTP activados a la vez, el borrador debe compartir el LM head, o se produce un retroceso silencioso.

Publicado Actualizado

Qué ha cambiado

Según MarkTechPost del 3 de noviembre de 2026, NVIDIA mostró en una entrada técnica tres métodos para acelerar la inferencia de mezcla de expertos en un solo DGX Spark, con Ling-3.0-flash de inclusionAI, de Ant Group, como modelo de prueba: 124B parámetros totales, 5,1B activados por token y contexto nativo de 256K. El entorno fue un DGX Spark (GB10, 128 GB de memoria unificada, 273 GB/s de ancho de banda), con tamaño de lote 1. Las tres optimizaciones son un kernel MoE Humming MXFP4, un LM head FP8 cuantizado en tiempo de carga y decodificación especulativa MTP que reutiliza las capas NEXTN integradas del modelo. En las 1.319 preguntas de GSM8K, el rendimiento de decodificación pasó de 37,81 a 53,89 tokens/s (+42,5%), la latencia media bajó de 15,21 a 11,49 segundos y la precisión fue 96,89% frente a 96,82%; NVIDIA afirma que ese cambio no es estadísticamente detectable.

Impacto para desarrolladores

El valor de esta noticia no está en la cifra de 42,5%, sino en que descompone el cuello de botella de ejecutar un MoE de 124B en un equipo de escritorio en dos clases que pueden tratarse por separado: cuántos bytes se mueven en cada paso y cuántos pasos hay que dar. Humming y el LM head FP8 pertenecen a la primera; MTP, a la segunda; no se solapan y pueden activarse de forma independiente, lo que corresponde justamente a tres decisiones distintas de integración. Para los usuarios de API, los precios de proveedores y plataformas de alojamiento citados a partir de rankings de terceros en el reporte sugieren un orden de magnitud de coste, pero son precios registrados alrededor del 3 de noviembre de 2026, y las páginas de precios de cada proveedor son la referencia actual. Para quienes despliegan por su cuenta, hay que tener en cuenta que la ganancia depende mucho de la forma de la carga: en la prueba sintética MTP aceptó 3,90 tokens por ronda en promedio y elevó el rendimiento un 185,1%, mientras que en GSM8K, con decodificación por muestreo y una mediana de respuesta de unos 310 tokens, la longitud aceptada cayó a 2,68 y la ganancia se redujo al 42,5%. Esto indica que el beneficio de la decodificación especulativa está ligado directamente a la repetición de la salida, la estrategia de decodificación y la longitud de secuencia; las solicitudes interactivas de respuestas cortas con muestreo de alta temperatura no alcanzan la magnitud de la prueba sintética. Además, los resultados de un solo equipo y tamaño de lote 1 no pueden extrapolarse directamente a servicio con múltiples concurrencias.

Integración y evaluación

Conviene validar en tres pasos, en lugar de aplicar la receta de una vez. Primero, confirmar si MTP está realmente activo: registrar la longitud aceptada por ronda en tus propias tareas de muestreo; si se acerca a 1,00, significa que el borrador lee los pesos FP8 como BF16 y el marco de trabajo ya retrocedió en silencio, y en ese caso el rendimiento será inferior a la línea base sin optimizar; solo si la longitud aceptada es claramente mayor que 1, comparar el tiempo por token de salida con la línea base sin optimizar y medir por separado una carga de respuestas cortas con muestreo. Segundo, al decidir si cambiar al kernel Humming compilado en tiempo de ejecución, considerar juntos el coste de compilación en arranque en frío y el rendimiento en estado estacionario: compilar cada kernel en segundos es una mejora frente a los 97 objetivos y decenas de minutos de FlashInfer CUTLASS, pero si el servicio necesita reinicios frecuentes o escalado elástico, el tiempo de compilación se convierte en un problema de disponibilidad; la ganancia (un +9,3% frente a la línea base en el reporte) también depende de si la forma de tus capas de expertos es igualmente estrecha. Tercero, decidir el ancho de bits de cuantización según la sensibilidad de cada tarea: comparar FP4 con FP8/BF16 en tu propio conjunto de evaluación de código y fijar de antemano un umbral de degradación aceptable, porque la tabla de cuantización del reporte muestra que SciCode baja de 41,24 a 38,43, una caída claramente mayor que la de GPQA-diamond, de 84,97 a 83,68.

Límites y cuestiones pendientes

Las cifras de rendimiento anteriores proceden del propio blog técnico de NVIDIA, difundido por MarkTechPost el 3 de noviembre de 2026, con condiciones limitadas a un solo DGX Spark, tamaño de lote 1 y un único conjunto de datos, GSM8K; no se conoce una reproducción por terceros; ni el 42,5% ni el 185,1% deben extrapolarse a múltiples concurrencias, otro hardware u otras tareas. Los resultados de referencia de Ling-3.0-flash son en su mayoría autodeclarados por inclusionAI o datos de rankings de Artificial Analysis, con criterios distintos (por ejemplo, Humanity's Last Exam: 22,7 autodeclarado frente a 23,7% independiente). El reporte afirma que la serie Ling 3.0 se publica con licencia MIT, pero que los pesos puedan descargarse no equivale a que la licencia cubra claramente tu uso; los derechos efectivos deben confirmarse punto por punto en la ficha del modelo y en el texto original de la licencia, y el checkpoint FP4 también debe verificarse por separado. Cabe señalar que esta versión no aparece actualmente en el catálogo de modelos en línea de KimiSeek y Ling-3.0-flash no está disponible en KimiSeek; la disponibilidad de API y los precios mencionados en el reporte se refieren al fabricante y a plataformas de terceros, no a este sitio.

Tres minutos hasta la primera llamada

Crea una cuenta y una clave de API. El coste de las llamadas se descuenta de tu saldo. 30 % de descuento en tu primera recarga. Recarga ¥500, paga ¥350, recibe ¥500 de saldo. Recarga ¥1000, paga ¥850, recibe ¥1000 de saldo La recarga mínima sigue siendo de ¥10, adecuada para pruebas.

Fuentes y proceso editorial

NVIDIA 展示在 DGX Spark 上加速 MoE 推理的 3 种方法,使 Ling-3.0-flash 吞吐量提升 42.5%

La IA ayudó con el análisis y la traducción de las fuentes citadas, seguidos de controles automáticos. Las recomendaciones no son resultados de pruebas. Consulta el catálogo actual para precios y disponibilidad.