← すべてのニュース

NVIDIA、単一のDGX SparkでLing-3.0-flashを42.5%高速化:3つの最適化とサイレントフォールバックの罠

MarkTechPostが2026年11月3日に報じたところによると、NVIDIAはHumming MXFP4 MoEカーネル、FP8 LM head、内蔵MTP投機的デコードを用いて、単一のDGX Spark上でLing-3.0-flashのGSM8Kデコードスループットを37.81から53.89 tokens/sへ引き上げた。FP8とMTPを同時に有効にする場合、ドラフトはLM headを共有しなければならず、そうでなければサイレントフォールバックする。

公開 更新

主な変更

MarkTechPostが2026年11月3日に報じたところによると、NVIDIAは技術ブログで、単一のDGX Spark上でmixture-of-experts推論を高速化する3つの手法を示した。テストモデルはAnt GroupのinclusionAIによるLing-3.0-flashで、総パラメータ124B、トークンごとに5.1Bを活性化、ネイティブ256Kコンテキストを持つ。実行環境はDGX Spark 1台(GB10、128 GBユニファイドメモリ、273 GB/s帯域)で、バッチサイズは1。3つの最適化は、Humming MXFP4 MoEカーネル、ロード時に量子化するFP8 LM head、そしてモデル内蔵のNEXTN層を再利用したMTP投機的デコードである。GSM8Kの全1,319問において、デコードスループットは37.81から53.89 tokens/sへ(+42.5%)、平均レイテンシは15.21秒から11.49秒へ短縮し、精度は96.89%対96.82%だった。NVIDIAはこの差は統計的に検出できないと述べている。

開発者への影響

このニュースの価値は42.5%という数字そのものではなく、「デスクトップ級の機器で124B MoEを動かす」際のボトルネックを、個別に対処できる2種類に分解した点にある。1ステップで何バイト運ぶか、そして何ステップ必要か、である。HummingとFP8 LM headは前者に、MTPは後者に属し、三者は重ならず独立にオン・オフできる。これはそのまま3種類の導入判断に対応する。API利用者にとっては、報道が第三者のランキングに基づいて示したベンダーおよびホスティング事業者の価格はコストの目安になるが、それは2026年11月3日前後に記録された価格であり、現在の根拠は各事業者の料金ページである。自前でデプロイする人にとって注意すべきは、効果が負荷の形に強く依存することだ。合成テストではMTPが1ラウンドあたり平均3.90トークンを受け入れ、スループットが185.1%向上したが、サンプリングデコードを用い、回答の中央値が約310トークンのGSM8Kでは受理長が2.68に落ち、効果は42.5%まで縮小した。これは投機的デコードの効果が出力の反復度、デコード戦略、系列長に直結することを示す。短い回答や高温サンプリングの対話的リクエストでは、合成テストの水準は得られない。さらに、単一機器・バッチサイズ1の結果を多数同時接続のサービスへ直接外挿することはできない。

導入と評価の提案

レシピを一度に適用するのではなく、3段階で検証することを勧める。第一に、MTPが本当に効いているかを確認する。自分のサンプリング課題で1ラウンドあたりの受理長を記録し、1.00に近ければ、ドラフトがFP8の重みをBF16として読んでおり、フレームワークがサイレントにフォールバックしていることを意味する。この場合のスループットは未最適化のベースラインを下回る。受理長が明らかに1を超えてから、出力トークンあたりの時間と未最適化ベースラインとの差を比較し、サンプリングによる短い回答の負荷を別途1組測定する。第二に、実行時コンパイルのHummingカーネルに切り替えるか判断する際は、コールドスタートのコンパイル時間と定常状態のスループットを一緒に見る。カーネルあたり数秒のコンパイルは、FlashInfer CUTLASSが97個のターゲットを数十分かけてコンパイルするのと比べれば改善だが、サービスが頻繁に再起動したり柔軟にスケールしたりする場合、コンパイル時間は可用性の問題になる。効果(報道ではベースライン比+9.3%)は、自分のエキスパート層の形状が同様に細いかどうかにも依存する。第三に、量子化ビット幅はタスクの感度ごとに判断する。FP4とFP8/BF16を自前のコード評価セットで合格率として比較し、許容できる劣化のしきい値をあらかじめ決めておく。報道の量子化表ではSciCodeが41.24から38.43へ下がり、その下げ幅はGPQA-diamondの84.97から83.68より明らかに大きい。

制限と未確認事項

以上の性能数値はNVIDIA自身の技術ブログに由来し、MarkTechPostが2026年11月3日に伝えたもので、テスト条件は単一のDGX Spark、バッチサイズ1、データセットはGSM8Kのみに限定されており、第三者の再現は確認されていない。42.5%も185.1%も、多数同時接続、他のハードウェア、他のタスクへ外挿すべきではない。Ling-3.0-flashのベンチマーク成績はinclusionAIの自己申告かArtificial Analysisのランキングデータが多く、基準が一貫していない(例えばHumanity's Last Examは自己申告22.7、独立系23.7%)。報道はLing 3.0シリーズがMITライセンスで公開されたとしているが、重みがダウンロードできることは、ライセンスが自分の用途を明確にカバーすることを意味しない。実際の権利はモデルカードとライセンス原文に戻って項目ごとに確認すべきであり、FP4チェックポイントも別途確認する必要がある。なお、このバージョンは現時点でKimiSeekのオンラインモデルカタログに掲載されておらず、Ling-3.0-flashはKimiSeek上では提供されていない。報道で言及されたAPIの可用性と価格はベンダーおよび第三者プラットフォーム側のものであり、本サイトとは関係がない。

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

NVIDIA 展示在 DGX Spark 上加速 MoE 推理的 3 种方法,使 Ling-3.0-flash 吞吐量提升 42.5%

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。