vLLM Semantic Router lança d3-ultra: modelo de decisão multimodal de 27B responde a todas as perguntas numa única leitura
Segundo o MarkTechPost, em 26 de outubro de 2026, a equipe do vLLM Semantic Router lançou sob licença Apache-2.0 o d3-ultra, um modelo de decisão multimodal de 27B que não gera texto: numa única leitura da entrada, devolve probabilidades como resposta a cada pergunta, abrangendo roteamento, classificação, caixas visuais e inspeção de vídeo.
O que mudou
Segundo o MarkTechPost, em 26 de outubro de 2026, a equipe do vLLM Semantic Router lançou o d3-ultra, um modelo denso de decisão multimodal com 26,09B de parâmetros (incluindo um codificador visual de 0,46B), com pesos abertos sob licença Apache-2.0, pertencente à família Decision 3.0 (de 0,6B a 27B). Diferentemente dos modelos generativos, o d3-ultra não produz texto: o chamador envia um estado (texto ou JSON, acrescido de imagem ou vídeo) e um conjunto de perguntas tipadas — Choice, Yes/No, Score, Box, Track — e o modelo lê a entrada uma única vez, devolvendo uma probabilidade para cada resposta candidata de cada pergunta. A reportagem afirma que a configuração indica um backbone na arquitetura Qwen3.5, com 64 camadas (48 de atenção linear mais 16 de atenção plena); o cartão do modelo não nomeia o checkpoint base, enquanto a receita do vLLM diz que o d3 da mesma família foi treinado a partir do Qwen3.8-27B, de modo que a origem do próprio d3-ultra permanece incerta. Cada pergunta tem contexto de 131.072 tokens, e requisições longas demais falham diretamente com max_length_exceeded em vez de serem truncadas silenciosamente; o tipo Box sempre retorna uma caixa e uma confiança, e uma confiança próxima de 0 é tratada como ausência do alvo. As vias de implantação citadas na reportagem incluem: Transformers (requer transformers==5.17.0) com kernel opcional flash-linear-attention, o comando vllm-sr serve incorporado no PR #5449 em 25 de outubro de 2026, uma interface gerenciada que o cartão do modelo diz oferecer chave gratuita, e uma demonstração oficial no Hugging Face Space. Em desempenho, a equipe comparou o modelo com GLiDE V1.2, d1-ultra, d3-turbo, d3 e Jev 1.14 em dois conjuntos de teste privados próprios: no SR-Text, com 10.411 requisições e 73.495 perguntas (acurácia corrigida por oportunidade), o d3-ultra obteve 87,2 e ficou em primeiro, acima dos 85,1 do GLiDE V1.2 e dos 83,1 do d3-turbo da mesma família; apenas no domínio "arte e gosto humano" o d3-ultra marcou 89,6 contra 90,8 do d1-ultra, diferença que a reportagem classifica como dentro da margem de erro. O SR-Box cobre 5.678 perguntas de caixa em 4.984 imagens, com IoU 0,5 como critério de acerto: o d3-ultra obteve 58,2% em 10 domínios e 54,6% em 9 domínios, abaixo dos 60,0% e 59,6% do d3-turbo; a equipe afirma que o d3-turbo é mais forte em imagens naturais e que o d3-ultra lidera em gráficos. Quanto à latência, a reportagem diz que, numa única placa AMD Instinct MI325X com pesos BF16 via AutoModel, uma foto com uma pergunta levou 304 ms e com 255 perguntas levou 2,16 s, cerca de 7,3 ms por pergunta adicional em média; ainda não há versão quantizada oficial listada. Todos os números de benchmark são resultados auto-relatados pela equipe em conjuntos de teste privados, e os índices públicos mostram "submetido, ainda não listado".
Impacto para desenvolvedores
O formato deste modelo afeta mais a forma de integração do que o desempenho em cada tarefa isolada. Interfaces generativas convencionais cobram por token de saída e dimensionam capacidade por concorrência, ao passo que a estrutura de custo e latência do d3-ultra é "uma passagem para frente por entrada, com incremento mais plano quanto mais perguntas" — os 7,3 ms por pergunta relatados indicam que, ao agrupar vários julgamentos numa mesma chamada, o custo principal se concentra nessa leitura única. Para equipes que já usam um roteador semântico para encaminhar requisições, isso abre um caminho alternativo: em vez de pedir a um LLM genérico que produza JSON e depois analisá-lo, decisões como "qual modelo deve atender esta requisição", "em qual fila esta ocorrência se enquadra" ou "este conteúdo viola regras" passam a ser tomadas como probabilidades sobre perguntas tipadas controladas, e a saída já é um valor de probabilidade estruturado, eliminando uma camada de risco de falha de análise. O preço é a flexibilidade: o modelo não gera livremente, os tipos de pergunta e as opções precisam ser definidos de antemão, e tarefas fora desses tipos não podem ser realizadas com ele. Quanto à licença, é preciso distinguir: a reportagem diz que os pesos são abertos sob Apache-2.0, o que é uma cláusula de licença e não apenas a possibilidade de baixar os pesos; em princípio isso favorece uso comercial e redistribuição, mas o uso real deve conferir o cartão do modelo e o arquivo de licença no repositório, e não se deve inferir direitos de licença da mera disponibilidade dos pesos. Na implantação, 26,09B de parâmetros densos em BF16 exigem memória de GPU considerável; o teste relatado foi feito apenas numa única AMD MI325X e não há versão quantizada oficial, então equipes que queiram auto-hospedar em dispositivos com menos memória carecem hoje de um caminho oficial. Os dois principais conjuntos de dados de capacidade apontam em direções opostas — liderança ampla em julgamentos textuais na mesma família, mas atrás do d3-turbo em caixas visuais —, o que mostra que a escolha não pode ser feita por "maior e mais novo é melhor", mas por carga de trabalho. A origem do backbone segue como lacuna de informação: a configuração indica arquitetura Qwen3.5, a receita só diz que o d3 da mesma família parte do Qwen3.8-27B, e o cartão do modelo não nomeia o checkpoint base do d3-ultra, o que afeta julgamentos sobre origem dos dados de treino, herança de licença e espaço para ajuste fino posterior. Todos os benchmarks são auto-relatados pela equipe em conjuntos privados, e os índices públicos ainda não listam o modelo; até que haja reprodução por terceiros, os valores 87,2 e 58,2% devem ser tratados como declarações do fabricante.
Integração e avaliação
A seguir, análises condicionais e recomendações baseadas na reportagem, não fatos já verificados. Primeiro, se a equipe usa um LLM generativo para roteamento ou classificação de requisições, comece por um "controle com a mesma entrada": pegue um lote de requisições reais dos logs de roteamento atuais, rode-as com o esquema de prompt atual e com o formato de perguntas Choice ou Yes/No do d3-ultra, usando o mesmo conjunto de respostas anotadas manualmente como referência, e compare acurácia e latência ponta a ponta. A condição para isso é que as categorias de decisão sejam limitadas e enumeráveis e que as respostas possam ser escritas como opções fixas; se o julgamento costuma exigir explicação livre ou raciocínio em várias etapas, a substituição não é adequada. As métricas testáveis são a acurácia no mesmo conjunto anotado e a latência ponta a ponta P95; só considere a troca se o d3-ultra não ficar abaixo da solução atual e a latência total for menor. Segundo, se a carga for predominantemente de localização visual, não adote o d3-ultra por padrão só porque ele lidera no SR-Text. A reportagem diz que o d3-turbo é mais forte em caixas em imagens naturais e que o d3-ultra lidera em gráficos; por isso, estratifique pelos seus próprios tipos de imagem (fotos naturais e gráficos separadamente), meça a acurácia de cada modelo com IoU 0,5 e conte à parte a proporção de falsos negativos em que "a confiança retornada é próxima de 0 mas o alvo existe de fato"; depois decida qual usar conforme a proporção de cada tipo de imagem. Só quando gráficos tiverem peso alto a vantagem de localização do d3-ultra tende a se concretizar. Terceiro, antes de auto-hospedar, faça a conta de memória e vazão: estime a memória necessária para 26,09B densos em BF16, junto com o codificador visual e o cache KV; meça no hardware alvo se uma única requisição com 255 perguntas chega perto da ordem de 2,16 s relatada; e use os "304 ms por pergunta única" como custo inicial de leitura para a linha de base de capacidade. Se a memória for insuficiente e ainda não houver versão quantizada oficial, marque esse caminho como inviável por ora, em vez de quantizar por conta própria e presumir que a qualidade se mantém. Quarto, ao desenhar as perguntas, trate o limite rígido de 131.072 tokens como restrição: documentos longos ou vídeos com muitos quadros precisam ser divididos em blocos, e erros max_length_exceeded devem ter instrumentação própria, para não confundir falha de requisição com baixa confiança. Quinto, o cartão do modelo diz haver uma interface gerenciada com chave gratuita, mas a reportagem não informa cota, estabilidade nem termos de dados; verifique os termos do serviço antes de usar em produção.
Limites e pontos a confirmar
As acurácias da reportagem são todas resultados auto-relatados pela equipe em conjuntos de teste privados, sem reprodução por terceiros, e os índices públicos estão marcados como "submetido, ainda não listado". Os dados de latência são de outra natureza: a reportagem diz que foram medidos numa única AMD Instinct MI325X com AutoModel e pesos BF16, não num benchmark privado, e o desempenho em outros hardwares e pilhas de inferência é desconhecido; a reportagem também não publica latências comparativas com outros modelos no mesmo hardware. A reportagem não esclarece se a construção das amostras dos dois conjuntos privados favorece os tipos de tarefa em que esta família se destaca. Há lacuna sobre a origem do backbone: a configuração indica arquitetura Qwen3.5, a receita só diz que o d3 da mesma família parte do Qwen3.8-27B, e o cartão do modelo não nomeia o checkpoint base do d3-ultra; portanto, a afirmação de backbone da série Qwen não pode ser tratada como fato confirmado. Os testes de implantação se limitam a uma única AMD Instinct MI325X com pesos BF16, e ainda não há versão quantizada oficial. Os termos da chave gratuita da interface gerenciada, seus limites e disponibilidade não são abordados na reportagem, e tais arranjos podem mudar a qualquer momento. Até esta verificação de catálogo (27 de outubro de 2026), o d3-ultra não aparece no catálogo de modelos disponíveis do KimiSeek; a disponibilidade de API descrita refere-se à interface própria do fabricante e não tem relação com este site. Leitores interessados em modelos disponíveis e cobrança devem consultar a página de preços do site.