vLLM Semantic Router publie d3-ultra, un modèle décisionnel multimodal 27B qui répond à toutes les questions en une seule lecture
Selon MarkTechPost, le 26 octobre 2026, l'équipe vLLM Semantic Router a publié sous licence Apache-2.0 d3-ultra, un modèle décisionnel multimodal de 27B qui ne génère pas de texte : une seule lecture de l'entrée renvoie une probabilité pour chaque réponse à chaque question, couvrant le routage, la classification, la sélection visuelle de zones et l'inspection vidéo.
Ce qui change
Selon MarkTechPost, le 26 octobre 2026, l'équipe vLLM Semantic Router a publié d3-ultra, un modèle décisionnel multimodal dense de 26,09B de paramètres (dont un encodeur visuel de 0,46B), dont les poids sont ouverts sous licence Apache-2.0 ; il appartient à la famille Decision 3.0 (de 0,6B à 27B). Contrairement aux modèles génératifs, d3-ultra ne produit pas de texte : l'appelant soumet un état (texte ou JSON, avec éventuellement une image ou une vidéo) et un ensemble de questions typées — Choice, Yes/No, Score, Box, Track — et le modèle, après une seule lecture de l'entrée, renvoie une probabilité pour chaque réponse candidate à chaque question. La configuration indiquerait un squelette d'architecture Qwen3.5 à 64 couches (48 couches d'attention linéaire et 16 couches d'attention complète) ; la fiche du modèle ne nomme pas le point de contrôle de base, tandis que la recette vLLM indique que le modèle frère d3 est entraîné à partir de Qwen3.8-27B, si bien que l'origine exacte du socle de d3-ultra reste incertaine. Le contexte est de 131 072 tokens par question ; les requêtes trop longues échouent directement avec max_length_exceeded au lieu d'être tronquées silencieusement ; le type Box renvoie toujours un cadre et un niveau de confiance, une confiance proche de 0 étant interprétée comme l'absence d'objet. Les voies de déploiement citées sont : Transformers (avec transformers==5.17.0) et un noyau flash-linear-attention optionnel, la commande vllm-sr serve intégrée via la PR #5449 le 25 octobre 2026, une interface hébergée annoncée dans la fiche du modèle comme offrant une clé gratuite, et une démo officielle sur un Space Hugging Face. Côté performances, l'équipe a comparé le modèle à GLiDE V1.2, d1-ultra, d3-turbo, d3 et Jev 1.14 sur deux jeux de test privés internes : SR-Text compte 10 411 requêtes et 73 495 questions (exactitude corrigée des occasions), d3-ultra obtient 87,2 et se classe premier, devant GLiDE V1.2 (85,1) et le frère d3-turbo (83,1) ; ce n'est que dans le domaine « art et goût humain » que d3-ultra obtient 89,6 contre 90,8 pour d1-ultra, un écart décrit comme dans la marge d'erreur. SR-Box couvre 5 678 questions de sélection de zones sur 4 984 images, avec un IoU de 0,5 comme seuil de réussite : d3-ultra obtient 58,2 % sur 10 domaines et 54,6 % sur 9 domaines, en dessous des 60,0 % et 59,6 % de d3-turbo ; l'équipe indique que d3-turbo est plus fort sur les images naturelles et que d3-ultra mène sur les graphiques. Pour la latence, le rapport indique des tests sur un seul AMD Instinct MI325X avec AutoModel et des poids BF16 : une requête à une seule question sur une photo unique prend 304 ms, 255 questions prennent 2,16 s, soit environ 7,3 ms par question supplémentaire en moyenne ; aucune version quantifiée officielle n'est encore listée. Tous les chiffres de référence sont des résultats auto-déclarés par l'équipe sur des jeux de test privés, et l'indice public affiche « soumis, pas encore classé ».
Conséquences pour les développeurs
La forme de ce modèle pèse davantage sur l'intégration que sur une capacité particulière. Les interfaces génératives classiques facturent à la sortie de tokens et dimensionnent la capacité selon la concurrence, alors que la structure de coût et de latence de d3-ultra est « un seul passage avant pour chaque entrée, avec un surcoût qui s'aplatit à mesure que les questions s'ajoutent » : les 7,3 ms par question rapportés indiquent que, lorsqu'on regroupe plusieurs jugements dans un même appel, l'essentiel du coût se concentre sur cette unique lecture. Pour les équipes qui utilisent déjà un routeur sémantique pour répartir les requêtes, cela offre une voie alternative : remplacer le fait de demander à un LLM générique de produire du JSON puis de l'analyser, pour des jugements du type « quel modèle doit traiter cette requête », « dans quelle file va ce ticket » ou « ce contenu est-il contraire aux règles », par des probabilités obtenues sur des questions typées et contrôlées ; la sortie est nativement structurée en probabilités, ce qui réduit le risque d'échec d'analyse. Le prix à payer est la flexibilité : le modèle ne génère pas librement, les types de questions et les options doivent être conçus à l'avance, et les tâches hors de ces types ne peuvent pas être traitées. Sur la licence, il faut distinguer : les poids sont ouverts sous Apache-2.0 selon le rapport, ce qui est une clause de licence et non une simple possibilité de télécharger les poids ; en principe cela favorise l'usage commercial et la redistribution, mais il convient de vérifier la fiche du modèle et le fichier de licence du dépôt, sans déduire de droits de licence de la seule disponibilité des poids. Pour le déploiement, 26,09B de paramètres denses en BF16 exigent une mémoire GPU considérable ; les tests rapportés n'ont été réalisés que sur un seul AMD MI325X et aucune version quantifiée officielle n'existe, si bien que les équipes souhaitant auto-héberger sur des appareils à mémoire plus limitée manquent actuellement de voie officielle. Les deux capacités clés vont dans des directions opposées — avance nette sur les jugements textuels face aux modèles frères, mais retard sur la sélection visuelle de zones face à d3-turbo — ce qui montre qu'on ne peut pas choisir selon le principe « plus gros et plus récent, donc meilleur » : il faut arbitrer selon la charge de travail. L'origine du socle reste une lacune d'information : la configuration indique une architecture Qwen3.5, la recette ne précise que le frère d3 est basé sur Qwen3.8-27B, et la fiche du modèle ne nomme pas le point de contrôle de base de d3-ultra, ce qui affecte le jugement sur la provenance des données d'entraînement, l'héritage de licence et les possibilités de réglage fin ultérieur. Toutes les références sont auto-déclarées sur des jeux de test privés de l'équipe, l'indice public n'est pas encore classé, et avant toute reproduction par un tiers, 87,2 et 58,2 % doivent être considérés comme des chiffres déclarés par le fournisseur.
Intégration et évaluation
Ce qui suit relève d'une analyse conditionnelle fondée sur le rapport, et non de faits vérifiés. Premièrement, si votre équipe utilise un LLM génératif pour le routage ou la classification des requêtes, commencez par une « comparaison à entrée identique » : prenez un lot de requêtes réelles dans les journaux de routage existants, exécutez-les avec la solution de prompt actuelle puis avec la forme de questions Choice ou Yes/No de d3-ultra, en prenant les mêmes réponses annotées manuellement comme référence, et comparez l'exactitude et la latence de bout en bout. La condition de déclenchement est que les catégories de décision soient limitées et énumérables et que les réponses puissent s'écrire en options fixes ; si le jugement exige souvent une explication libre ou un raisonnement en plusieurs étapes, le remplacement n'est pas adapté. Les indicateurs à mesurer sont l'exactitude sur le même jeu annoté et la latence de bout en bout au P95 ; n'envisagez le passage que si d3-ultra n'est pas inférieur à la solution actuelle et que la latence totale est plus faible. Deuxièmement, si la charge est surtout de la localisation visuelle, ne vous fiez pas au seul avance de SR-Text pour adopter d3-ultra par défaut. Le rapport indique que d3-turbo est plus fort sur la sélection de zones dans les images naturelles et que d3-ultra mène sur les graphiques ; il est donc conseillé de stratifier selon vos propres types d'images (photos naturelles et graphiques séparément), de mesurer l'exactitude des deux modèles avec un IoU de 0,5, de compter à part la proportion de cas « confiance proche de 0 alors que l'objet existe réellement », puis de choisir selon le poids de chaque type d'image ; l'avantage de d3-ultra sur la localisation ne pourra se concrétiser que si les graphiques représentent une part importante. Troisièmement, avant l'auto-hébergement, faites un calcul de mémoire et de débit : estimez la mémoire GPU nécessaire à 26,09B denses en BF16 avec l'encodeur visuel et le cache KV, mesurez sur le matériel cible si une requête unique répondant à 255 questions s'approche du niveau de 2,16 s rapporté, et traitez les 304 ms d'une requête à une seule question comme le coût de la première lecture servant de base de capacité ; si la mémoire est insuffisante et qu'aucune version quantifiée officielle n'existe, marquez cette voie comme non viable pour l'instant, plutôt que de quantifier vous-même en supposant une qualité inchangée. Quatrièmement, lors de la conception des questions, traitez la limite stricte de 131 072 tokens comme une contrainte : les documents longs ou les vidéos à nombreuses images doivent être découpés, et les erreurs max_length_exceeded doivent être surveillées séparément pour éviter de confondre un échec de requête avec une faible confiance. Cinquièmement, la fiche du modèle mentionne une interface hébergée avec clé gratuite, mais le rapport ne précise ni les quotas, ni la stabilité, ni les conditions de données ; vérifiez vous-même les conditions de service avant un usage en production.
Limites et points à confirmer
Les exactitudes rapportées sont toutes des résultats auto-déclarés par l'équipe sur des jeux de test privés, sans reproduction par un tiers, et l'indice public est marqué « soumis, pas encore classé ». Les données de latence relèvent d'une autre catégorie : le rapport indique qu'elles ont été mesurées sur un seul AMD Instinct MI325X avec AutoModel et des poids BF16, et non sur une référence privée ; les performances sur d'autres matériels et piles d'inférence restent inconnues, et le rapport ne publie pas de latences comparatives avec d'autres modèles sur le même matériel. Le rapport ne précise pas si la construction des échantillons des deux jeux de test privés privilégie les types de tâches où cette famille excelle. L'origine du socle présente une lacune : la configuration indique une architecture Qwen3.5, la recette ne précise que le frère d3 est basé sur Qwen3.8-27B, et la fiche du modèle ne nomme pas le point de contrôle de base de d3-ultra ; on ne peut donc pas tenir l'affirmation d'un squelette de la famille Qwen pour un fait confirmé. Les tests de déploiement se limitent à un seul AMD Instinct MI325X et à des poids BF16, sans version quantifiée officielle. Les conditions de la clé gratuite de l'interface hébergée, ses limites et sa disponibilité ne sont pas abordées dans le rapport, et de tels arrangements peuvent changer à tout moment. À la date de cette vérification du catalogue (27 octobre 2026), d3-ultra n'apparaît pas dans le catalogue des modèles disponibles de KimiSeek ; la disponibilité d'API décrite renvoie à l'interface propre au fournisseur et ne concerne pas ce site. Les lecteurs intéressés par les modèles disponibles et la facturation doivent se référer à la page tarifaire du site.