← Todas as notícias

NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS

Segundo um blog de desenvolvedores da NVIDIA de 6 de novembro de 2026, o TensorRT LLM VisualGen apresenta uma configuração de implantação do FLUX 3 Image Klein: em uma única B200, texto para imagem em 2048×2048 chega a 3,46x e imagem para imagem a 4,45x em relação à inferência BF16 não compilada, ao custo de desvios de qualidade de imagem causados por NVFP4, cache e atenção esparsa.

Publicado Atualizado
Capa da notícia original — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Capa da notícia originalNotícia original ↗

O que mudou

Um blog de desenvolvedores da NVIDIA publicou, em 6 de novembro de 2026, um tutorial de implantação sobre como configurar o FLUX 3 Image Klein, da Black Forest Labs, no runtime VisualGen do TensorRT LLM. Segundo o texto, o modelo usa o Qwen3-VL-4B-Instruct para o condicionamento de texto, um Transformer de difusão para refinar os latentes da imagem e um autoencoder para decodificar e, no caso de imagem para imagem, codificar a imagem de referência; oferece checkpoints Base e destilado, e o VisualGen já suportava as variantes BF16, FP8 e NVFP4 no lançamento. O artigo traz a imagem de contêiner, configurações YAML, um script de inferência offline e a forma de expor um endpoint compatível com OpenAI em /v1/images/generations usando trtllm-serve. As condições de teste relatadas são uma única B200 em 2048×2048; a versão Base usa 50 passos de desruído e CFG 3,5, enquanto a destilada usa 16 passos sem CFG. Em relação à inferência BF16 não compilada, as otimizações combinadas reduzem o texto para imagem de 22,36 s para 6,46 s (3,46x) e o imagem para imagem de 54,64 s para 12,28 s (4,45x); em uma única RTX PRO 6000 Blackwell Server Edition, o texto relata 1,73–3,25x. A tabela de latência do artigo mostra que o desruído responde por 96,8% do tempo total do Base em texto para imagem e 84,0% do destilado, e por 97,8% e 89,0% em imagem para imagem, o que explica por que o artigo concentra as otimizações no Transformer de difusão.

Impacto para desenvolvedores

Para quem integra o modelo, o ponto central do tutorial é que velocidade e qualidade de imagem formam um conjunto de compromissos configurável. Para equipes que pretendem colocar o FLUX 3 Image Klein em ferramentas de design ou editores de imagem, a mudança mais direta é o aumento das opções de stack de inferência: o mesmo checkpoint pode rodar em BF16, FP8 ou NVFP4 e ainda combinar atenção quantizada, atenção esparsa, cache entre passos e paralelismo em múltiplas GPUs. É preciso separar: o artigo fornece desvios de LPIPS para atenção quantizada, atenção esparsa e Cache-DiT, mas não relata dados de mudança de qualidade para o nível de precisão FP8 nem para o paralelismo multi-GPU; a conta de qualidade só pode ser feita para os itens com dados, e não se deve presumir que todas as otimizações perdem fidelidade de forma equivalente. Ou seja, o orçamento de desempenho e o de qualidade precisam ser definidos juntos, e não se deve subir primeiro na configuração mais rápida para depois corrigir a qualidade. Em segundo lugar, a distribuição de gargalos relatada define a ordem das otimizações: nos tempos de pipeline em uma única B200, o desruído domina o tempo, enquanto codificação de texto, decodificação e pós-processamento somam apenas algumas centenas de milissegundos; otimizar o processamento de prompt ou a tokenização rende muito menos do que mexer na precisão e na atenção do Transformer de difusão. Em terceiro lugar, o endpoint compatível com OpenAI aproxima o custo de integração ao de uma API de imagem comum, mas esse endpoint é fornecido pelo runtime do TensorRT LLM, e implantação, memória de GPU e operação continuam sendo responsabilidade da própria equipe, o que não é a mesma coisa que um serviço gerenciado. Em quarto lugar, o upscaling de prompt não entra na latência relatada; se o fluxo do produto depende do upscaler da BFL, o tempo de ponta a ponta precisa ser medido novamente.

Integração e avaliação

A seguir, recomendações condicionais baseadas no que o artigo relata, não conclusões já verificadas. Recomendação 1: escolha o nível de precisão pela tolerância ao desvio de LPIPS, não pelo modelo da GPU. O artigo relata que o NVFP4 chega a 1,62x (texto para imagem) e 1,58x (imagem para imagem) sobre o BF16 em Blackwell, mas no exemplo a saída dessa etapa NVFP4 já apresenta desvio de LPIPS de 0,044 em relação ao BF16. Se a carga de trabalho é gerar rascunhos em lote para seleção humana, pode-se adotar NVFP4 por padrão e usar como critério de aceitação a proporção de imagens rejeitadas por cada 100; se a saída vai direto para entrega ao cliente ou precisa manter consistência de estilo com material existente, comece com BF16 como linha de base e ative as otimizações uma a uma, registrando o LPIPS e o resultado da revisão humana em cada etapa. A premissa é que o hardware seja uma GPU de datacenter Blackwell, foco explícito do artigo, ou a RTX PRO 6000 Blackwell Server Edition; os números não se aplicam a outro hardware. Recomendação 2: ativar ou não o cache depende de usar a versão Base ou a destilada. Com limiar 0,24, o artigo relata que o Cache-DiT quase reduz pela metade a latência de texto para imagem do NVFP4 Base (1,97x em 1024×1024 e 1,94x em 2048×2048), mas apenas 1,26x e 1,20x para a versão destilada de 16 passos, com LPIPS de 0,038, 0,036, 0,033 e 0,022, respectivamente. A condição é concreta: com a versão Base e buscando pré-visualização interativa, o ganho é grande; se a versão destilada já leva uma imagem a poucos segundos, o ganho relativo é pequeno e ainda há desvio de qualidade adicional. O critério mensurável é a taxa de aceitação no mesmo lote de prompts não ficar abaixo de uma proporção acordada em relação à versão sem cache e verificar se a latência P95 por imagem realmente cai, não apenas a média. Recomendação 3: múltiplas GPUs só compensam em cenários com alta proporção de desruído. O artigo distribui os ramos positivo e negativo do Base em grupos de GPU diferentes e depois fatia a sequência com Ulysses; de 1 para 8 GPUs em um DGX B200, a latência mediana de texto para imagem em 2048×2048 cai de 14,90 s para 3,00 s, com o desruído em si acelerando 6,01x; a versão destilada vai de 2,73 s para 1,08 s, mas o próprio artigo observa que cerca de metade do tempo da versão destilada em oito GPUs não está no estágio de desruído, o que limita o ganho de ponta a ponta. O critério mensurável é medir, no próprio conjunto de prompts, o fator de latência P95 de ponta a ponta para o mesmo lote de requisições: se o ganho de ponta a ponta de 1 para 8 GPUs for bem menor que o ganho de desruído relatado, a proporção das etapas fora do desruído já é alta e adicionar GPUs não compensa; pode-se primeiro validar em resolução menor se os CUDA Graphs cobrem a sobrecarga de lançamento de kernels antes de decidir expandir. Dois detalhes de configuração que costumam causar erro devem ser alinhados antes da integração: o VC-Attention exige que o contêiner defina TLLM_FMHA_LIBS=+prims_ts, caso contrário os kernels correspondentes não ficam disponíveis; o disabled_until_timestep do Sol-Attention especifica o nível de ruído, não o número de passos; segundo o artigo, 0,96 corresponde, com o agendador empacotado, aos 12 primeiros passos densos do Base de 50 passos e aos 4 primeiros passos da versão destilada de 16 passos, e para 16 passos densos é preciso definir 0,94; configurar errado altera diretamente o equilíbrio entre qualidade e velocidade.

Limites e pontos a confirmar

Primeiro, os limites de disponibilidade: o FLUX 3 Image Klein e seus checkpoints Base e destilado não estão no catálogo de modelos do KimiSeek, sem entrada com correspondência exata; o endpoint de imagem compatível com OpenAI e o modo de serviço via trtllm-serve mencionados no artigo são fornecidos pelo runtime do TensorRT LLM no lado do fabricante, e sua disponibilidade, versão e ciclo de vida não têm relação com a lista de modelos do KimiSeek; antes da integração, vale consultar o texto original e os anúncios do fabricante. Segundo, os fatores de aceleração e os números de LPIPS do artigo vêm de vários experimentos com condições diferentes e não podem ser aplicados com o mesmo conjunto de premissas. A latência de pipeline em uma única GPU da Tabela 1 é explicitamente uma B200, 2048×2048, NVFP4 com atenção VANILLA e torch.compile, com média de 10 requisições após dois aquecimentos; esse critério estatístico vale apenas para essa tabela; os 3,46x de ponta a ponta (texto para imagem) e 4,45x (imagem para imagem) também são resultados de uma única B200 em 2048×2048, enquanto os 1,73–3,25x na RTX PRO 6000 Blackwell Server Edition pertencem a outra plataforma. Os dados multi-GPU vêm de um DGX B200 expandido de 1 para 8 GPUs e relatam a latência mediana de texto para imagem em 2048×2048; os 2,25x e 2,16x dos CUDA Graphs são um experimento independente com oito B200, 1024×1024 e atenção VANILLA. A seção de cache relata resultados em 1024×1024 e 2048×2048, e a fonte não repete o critério estatístico e a configuração de hardware para cada experimento. Portanto, ao trocar hardware, resolução, número de GPUs ou forma de concorrência, esses números podem não se sustentar. Terceiro, os experimentos usam seed 0 por padrão, os prompts foram resumidos e a latência relatada não inclui upscaling de prompt; o LPIPS mede apenas a similaridade perceptual com a linha de base correspondente, não equivale à aderência à instrução de edição, à taxa de acerto de renderização de texto ou a critérios de aceitação de produto, e o próprio conjunto de tarefas ainda precisa ser avaliado separadamente. Quarto, a tag do contêiner no artigo inclui nome de branch e número de versão de desenvolvimento; antes do uso em produção, é preciso confirmar a estabilidade da imagem e das versões de kernel. Por fim, o tutorial trata apenas de configuração de inferência e não aborda os termos da licença dos pesos; os checkpoints estão disponíveis no Hugging Face, mas se podem ser usados comercialmente ou redistribuídos depende do model card e do texto da licença, e pesos abertos não equivalem a licença open source.

Ilustrações da notícia original

Ilustração da notícia original 1 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 1Notícia original ↗
Ilustração da notícia original 2 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 2Notícia original ↗
Ilustração da notícia original 3 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 3Notícia original ↗
Ilustração da notícia original 4 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 4Notícia original ↗
Ilustração da notícia original 5 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 5Notícia original ↗
Ilustração da notícia original 6 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 6Notícia original ↗
Ilustração da notícia original 7 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 7Notícia original ↗
Ilustração da notícia original 8 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 8Notícia original ↗
Ilustração da notícia original 9 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 9Notícia original ↗
Ilustração da notícia original 10 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 10Notícia original ↗
Ilustração da notícia original 11 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 11Notícia original ↗
Ilustração da notícia original 12 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 12Notícia original ↗
Ilustração da notícia original 13 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 13Notícia original ↗
Ilustração da notícia original 14 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 14Notícia original ↗
Ilustração da notícia original 15 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 15Notícia original ↗
Ilustração da notícia original 16 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 16Notícia original ↗
Ilustração da notícia original 17 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 17Notícia original ↗
Ilustração da notícia original 18 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 18Notícia original ↗
Ilustração da notícia original 19 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 19Notícia original ↗
Ilustração da notícia original 20 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 20Notícia original ↗
Ilustração da notícia original 21 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 21Notícia original ↗
Ilustração da notícia original 22 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 22Notícia original ↗
Ilustração da notícia original 23 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 23Notícia original ↗
Ilustração da notícia original 24 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 24Notícia original ↗
Ilustração da notícia original 25 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 25Notícia original ↗
Ilustração da notícia original 26 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 26Notícia original ↗
Ilustração da notícia original 27 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 27Notícia original ↗
Ilustração da notícia original 28 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 28Notícia original ↗
Ilustração da notícia original 29 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 29Notícia original ↗
Ilustração da notícia original 30 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 30Notícia original ↗
Ilustração da notícia original 31 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 31Notícia original ↗
Ilustração da notícia original 32 — NVIDIA TensorRT LLM VisualGen acelera o FLUX 3 Image Klein: 3,46x em texto para imagem e 4,45x em imagem para imagem em uma GPU, com cache e atenção esparsa ao custo de LPIPS
Ilustração da notícia original 32Notícia original ↗

Três minutos até a primeira chamada

Crie uma conta e uma chave de API. O custo das chamadas é descontado do seu saldo. 30% de desconto na primeira recarga. Recarregue ¥500, pague ¥350, receba ¥500 de saldo. Recarregue ¥1000, pague ¥850, receba ¥1000 de saldo A recarga mínima continua sendo ¥10, adequada para testes.

Fontes e processo editorial

在 NVIDIA Blackwell GPU 上使用 FLUX 3 Image Klein 加速图像生成

A IA auxiliou a análise e a tradução das fontes citadas, seguidas de verificações automáticas. Recomendações não são resultados de testes. Consulte o catálogo atual para preços e disponibilidade.