← Todas as notícias

NVIDIA acelera o Ling-3.0-flash em 42,5% num único DGX Spark: três otimizações e uma armadilha de fallback silencioso

Segundo o MarkTechPost de 3 de novembro de 2026, a NVIDIA combinou um kernel MoE Humming MXFP4, um LM head FP8 e decodificação especulativa MTP nativa para elevar a vazão de decodificação no GSM8K do Ling-3.0-flash de 37,81 para 53,89 tokens/s numa única DGX Spark; com FP8 e MTP ativados juntos, o rascunho precisa compartilhar o LM head, caso contrário há um fallback silencioso.

Publicado Atualizado

O que mudou

Segundo o MarkTechPost de 3 de novembro de 2026, a NVIDIA apresentou num blog técnico três métodos para acelerar a inferência de mistura de especialistas numa única DGX Spark; o modelo testado foi o Ling-3.0-flash da inclusionAI, do Ant Group: 124B de parâmetros totais, 5,1B ativados por token e contexto nativo de 256K. O ambiente era uma DGX Spark (GB10, 128 GB de memória unificada, 273 GB/s de largura de banda), com batch size 1. As três otimizações são o kernel MoE Humming MXFP4, um LM head FP8 quantizado no carregamento e a decodificação especulativa MTP que reutiliza as camadas NEXTN nativas do modelo. Nas 1.319 questões do GSM8K, a vazão de decodificação subiu de 37,81 para 53,89 tokens/s (+42,5%), a latência média caiu de 15,21 s para 11,49 s e a acurácia ficou em 96,89% contra 96,82%, uma variação que a NVIDIA classifica como estatisticamente indetectável.

Impacto para desenvolvedores

O valor desta notícia não está no número de 42,5%, mas em separar o gargalo de "rodar um MoE de 124B num equipamento de desktop" em duas classes tratáveis de forma independente: quantos bytes são movidos a cada passo e quantos passos são necessários. Humming e o LM head FP8 pertencem à primeira classe; o MTP, à segunda. Os três não se sobrepõem e podem ser ligados ou desligados separadamente — o que corresponde a três decisões distintas de adoção. Para usuários de API, o relato cita preços de fornecedores e plataformas de hospedagem divulgados em rankings de terceiros, o que indica uma ordem de grandeza de custo, mas esses são preços registrados por volta de 3 de novembro de 2026, e as páginas de preços de cada fornecedor são a referência atual. Para quem faz implantação própria, é preciso notar que o ganho depende muito do formato da carga: em testes sintéticos o MTP aceitava em média 3,90 tokens por rodada, com ganho de vazão de 185,1%; no GSM8K, que usa decodificação por amostragem e respostas com mediana de cerca de 310 tokens, o comprimento aceito caiu para 2,68 e o ganho encolheu para 42,5%. Isso indica que o retorno da decodificação especulativa está diretamente ligado à repetitividade da saída, à estratégia de decodificação e ao comprimento da sequência; requisições interativas com respostas curtas e amostragem em temperatura alta não alcançam a ordem de grandeza dos testes sintéticos. Além disso, resultados de um único equipamento com batch size 1 não podem ser extrapolados diretamente para serviço com múltiplas requisições concorrentes.

Integração e avaliação

Recomenda-se validar em três etapas, em vez de aplicar a receita de uma vez. Primeiro, confirme se o MTP está realmente ativo: registre o comprimento aceito por rodada nas suas próprias tarefas amostradas; se estiver próximo de 1,00, o rascunho está lendo os pesos FP8 como BF16 e o framework já fez fallback silencioso, e nesse caso a vazão ficará abaixo da linha de base sem otimização. Só quando o comprimento aceito for claramente maior que 1 vale comparar o tempo por token de saída com a linha de base não otimizada, testando separadamente uma carga de respostas curtas com amostragem. Segundo, ao decidir se troca para o kernel Humming compilado em tempo de execução, avalie o custo de compilação na inicialização a frio junto com a vazão em regime estável: alguns segundos por kernel é uma melhora frente aos 97 alvos e dezenas de minutos do FlashInfer CUTLASS, mas se o serviço reinicia com frequência ou escala elasticamente, o tempo de compilação vira um problema de disponibilidade; o ganho (de +9,3% sobre a linha de base no relato) também depende de o formato das suas camadas de especialistas ser igualmente estreito. Terceiro, decida a largura de quantização conforme a sensibilidade de cada tarefa: compare FP4 com FP8/BF16 na sua própria suíte de avaliação de código e defina previamente um limite aceitável de degradação, porque a tabela de quantização do relato mostra SciCode caindo de 41,24 para 38,43, uma queda bem maior que a de GPQA-diamond, de 84,97 para 83,68.

Limites e pontos a confirmar

Os números de desempenho acima vêm do próprio blog técnico da NVIDIA, repercutido pelo MarkTechPost em 3 de novembro de 2026, com condições restritas a uma única DGX Spark, batch size 1 e um só conjunto de dados, o GSM8K, sem reprodução independente conhecida; nem 42,5% nem 185,1% devem ser extrapolados para múltiplas requisições concorrentes, outro hardware ou outras tarefas. Os resultados de benchmark do Ling-3.0-flash são em grande parte auto-relatados pela inclusionAI ou provenientes do ranking da Artificial Analysis, com critérios distintos (por exemplo, Humanity's Last Exam com 22,7 auto-relatado e 23,7% de forma independente). O relato afirma que a série Ling 3.0 é publicada sob licença MIT, mas pesos disponíveis para download não significam que a licença cubra explicitamente o seu uso; os direitos efetivos devem ser confirmados item por item no model card e no texto da licença, e o checkpoint FP4 merece verificação separada. Cabe notar que esta versão não aparece no catálogo online de modelos do KimiSeek, ou seja, o Ling-3.0-flash não está disponível no KimiSeek; a disponibilidade via API e os preços citados na reportagem referem-se ao lado do fabricante e de plataformas de terceiros, sem relação com este site.

Três minutos até a primeira chamada

Crie uma conta e uma chave de API. O custo das chamadas é descontado do seu saldo. 30% de desconto na primeira recarga. Recarregue ¥500, pague ¥350, receba ¥500 de saldo. Recarregue ¥1000, pague ¥850, receba ¥1000 de saldo A recarga mínima continua sendo ¥10, adequada para testes.

Fontes e processo editorial

NVIDIA 展示在 DGX Spark 上加速 MoE 推理的 3 种方法,使 Ling-3.0-flash 吞吐量提升 42.5%

A IA auxiliou a análise e a tradução das fontes citadas, seguidas de verificações automáticas. Recomendações não são resultados de testes. Consulte o catálogo atual para preços e disponibilidade.