← Alle Modellneuigkeiten

Nvidia beschleunigt Ling-3.0-flash auf einem einzelnen DGX Spark um 42,5 %: drei Optimierungen und eine stille Rückfallfalle

Laut einem Bericht von MarkTechPost vom 3. November 2026 steigert Nvidia mit Humming-MXFP4-MoE-Kernels, einem FP8-LM-Head und integrierter MTP-Spekulativdekodierung den GSM8K-Dekodierdurchsatz von Ling-3.0-flash auf einem einzelnen DGX Spark von 37,81 auf 53,89 Tokens/s; werden FP8 und MTP gemeinsam aktiviert, müssen sich die Entwürfe den LM-Head teilen, sonst kommt es zu einem stillen Rückfall.

Veröffentlicht Aktualisiert

Was sich geändert hat

Laut MarkTechPost vom 3. November 2026 zeigt Nvidia in einem technischen Blogbeitrag drei Methoden zur Beschleunigung von Mixture-of-Experts-Inferenz auf einem einzelnen DGX Spark. Getestet wurde Ling-3.0-flash von Ant Groups inclusionAI: 124 Mrd. Gesamtparameter, 5,1 Mrd. pro Token aktiviert, natives 256K-Kontextfenster. Die Umgebung ist ein DGX Spark (GB10, 128 GB vereinheitlichter Speicher, 273 GB/s Bandbreite) bei Batchgröße 1. Die drei Optimierungen sind Humming-MXFP4-MoE-Kernels, ein beim Laden quantisierter FP8-LM-Head und MTP-Spekulativdekodierung, die die im Modell eingebauten NEXTN-Schichten wiederverwendet. Über alle 1.319 GSM8K-Aufgaben stieg der Dekodierdurchsatz von 37,81 auf 53,89 Tokens/s (+42,5 %), die durchschnittliche Latenz sank von 15,21 auf 11,49 Sekunden, die Genauigkeit lag bei 96,89 gegenüber 96,82 Prozent; Nvidia bezeichnet diesen Unterschied als statistisch nicht nachweisbar.

Auswirkungen für Entwickler

Der Wert dieser Nachricht liegt nicht in der Zahl 42,5 %, sondern darin, dass sie den Engpass beim Betrieb eines 124B-MoE-Modells auf einem Desktop-Gerät in zwei getrennt behandelbare Größen zerlegt: wie viele Bytes pro Schritt bewegt werden und wie viele Schritte nötig sind. Humming und der FP8-LM-Head betreffen das Erste, MTP das Zweite; die drei überschneiden sich nicht und lassen sich unabhängig ein- und ausschalten, was drei unterschiedlichen Integrationsentscheidungen entspricht. Für API-Nutzer deuten die in dem Bericht zitierten Preise von Anbietern und Hosting-Plattformen aus einer Rangliste Dritter auf eine Kosten-Größenordnung hin; diese Preise wurden jedoch um den 3. November 2026 erfasst, aktuelle Grundlage sind die Preisseiten der jeweiligen Anbieter. Wer selbst betreibt, sollte beachten, dass der Nutzen stark vom Lastprofil abhängt: Im synthetischen Test akzeptierte MTP im Mittel 3,90 Tokens pro Runde und steigerte den Durchsatz um 185,1 %; bei GSM8K mit Sampling-Dekodierung und einer mittleren Antwortlänge von etwa 310 Tokens fiel die akzeptierte Länge auf 2,68 und der Gewinn schrumpfte auf 42,5 %. Der Nutzen von Spekulationsdekodierung hängt also direkt von der Wiederholungshäufigkeit der Ausgabe, der Dekodierstrategie und der Sequenzlänge ab; interaktive Anfragen mit kurzen Antworten und hoher Sampling-Temperatur erreichen nicht die Größenordnung des synthetischen Tests. Ergebnisse von einem einzelnen Gerät bei Batchgröße 1 lassen sich zudem nicht ohne Weiteres auf Dienste mit vielen gleichzeitigen Anfragen übertragen.

Integration und Bewertung

Empfohlen ist eine dreistufige Prüfung statt einer pauschalen Übernahme des Rezepts. Erstens: Prüfen, ob MTP tatsächlich aktiv ist. Auf den eigenen Stichprobenaufgaben die akzeptierte Länge pro Runde protokollieren; liegt sie nahe 1,00, hat der Entwurf die FP8-Gewichte als BF16 gelesen und das Framework ist still zurückgefallen; dann liegt der Durchsatz unter der nicht optimierten Basislinie. Nur wenn die akzeptierte Länge deutlich über 1 liegt, die Zeit pro ausgegebenem Token mit der nicht optimierten Basislinie vergleichen und zusätzlich eine gesampelte Last mit kurzen Antworten separat messen. Zweitens: Bei der Entscheidung für die zur Laufzeit kompilierten Humming-Kernels Kaltstart-Kompilierzeit und Durchsatz im eingeschwungenen Zustand gemeinsam betrachten. Sekunden pro Kernel sind gegenüber FlashInfer CUTLASS mit 97 Zielen und mehreren zehn Minuten eine Verbesserung; wenn der Dienst jedoch häufig neu startet oder elastisch skaliert, wird die Kompilierzeit zum Verfügbarkeitsproblem. Der Nutzen (im Bericht +9,3 % gegenüber der Basislinie) hängt zudem davon ab, ob die Formen der Expertenschichten bei Ihnen ähnlich schmal sind. Drittens: Die Quantisierungsbreite nach Aufgabenempfindlichkeit getrennt festlegen. FP4 und FP8/BF16 auf dem eigenen Code-Evaluierungsdatensatz auf Bestehensraten vergleichen und vorab einen akzeptablen Verschlechterungsschwellenwert festlegen, denn die im Bericht genannte Quantisierungstabelle zeigt SciCode von 41,24 auf 38,43, ein deutlich größerer Rückgang als bei GPQA-diamond von 84,97 auf 83,68.

Grenzen und offene Fragen

Die Leistungszahlen stammen aus Nvidias eigenem technischen Blogbeitrag, den MarkTechPost am 3. November 2026 wiedergab; die Testbedingungen sind auf einen einzelnen DGX Spark, Batchgröße 1 und den einen Datensatz GSM8K begrenzt, eine unabhängige Reproduktion ist nicht bekannt. Weder 42,5 % noch 185,1 % sollten auf viele gleichzeitige Anfragen, andere Hardware oder andere Aufgaben übertragen werden. Die Benchmark-Ergebnisse von Ling-3.0-flash sind überwiegend Selbstauskünfte von inclusionAI oder Daten der Artificial-Analysis-Rangliste mit unterschiedlichen Methoden (so etwa Humanity's Last Exam mit 22,7 laut eigenen Angaben und 23,7 % unabhängig). Der Bericht nennt für die Ling-3.0-Reihe eine Veröffentlichung unter MIT-Lizenz, doch herunterladbare Gewichte bedeuten nicht, dass die Lizenz Ihren Einsatzzweck eindeutig abdeckt; maßgeblich bleiben die Modellkarte und der Lizenztext, die Sie Punkt für Punkt prüfen sollten, einschließlich des FP4-Checkpoints. Anzumerken ist zudem, dass diese Version derzeit nicht im Online-Modellkatalog von KimiSeek erscheint; Ling-3.0-flash ist nicht bei KimiSeek verfügbar. Die im Bericht genannte API-Verfügbarkeit und Preisangabe beziehen sich auf Anbieter und Drittplattformen und nicht auf diese Website.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

NVIDIA 展示在 DGX Spark 上加速 MoE 推理的 3 种方法,使 Ling-3.0-flash 吞吐量提升 42.5%

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.