Baseten publie joey-1, un modèle de décision 2B à sortie probabiliste, poids sous MIT
Selon un article de MarkTechPost du 29 octobre 2026, Base Labs, l'équipe de recherche de Baseten, publie joey-1, un modèle de décision de 2B paramètres : une seule passe avant renvoie des probabilités calibrées pour chaque option plutôt que du texte libre ; les poids sont publiés sous licence MIT et l'interface hébergée accepte jusqu'à 16 384 tokens. Le rapport indique un score de 63,30 sur le split public de Jev et une latence P50 de 20 millisecondes.
Ce qui change
Selon un article de MarkTechPost du 29 octobre 2026, l'équipe de recherche Base Labs de Baseten publie joey-1 : un modèle de décision de 2B paramètres qui ne génère pas de texte libre, mais reçoit un état textuel ou image et un ensemble de questions typées, puis renvoie en une seule passe avant la probabilité de chaque option pour chaque question. Les poids sont publiés sur Hugging Face sous licence MIT, selon le rapport, et le modèle est aussi proposé via les Baseten Model APIs, avec un chemin d'appel /v1/systemone, ainsi que sur OpenRouter ; l'article indique un prix API de 0,01 dollar par million de tokens d'entrée, les sorties et les entrées mises en cache étant à 0 dollar. Il s'agit du tarif à la date de l'article ; la page tarifaire du fournisseur fait foi pour la facturation réelle. joey-1 prend en charge trois types de questions : choice sélectionne une option parmi celles fournies ; yes/no, dont le champ s'appelle noul dans l'API, renvoie la probabilité de « yes » ; score renvoie un niveau ordonné, le plus bas en premier. Le rapport indique qu'il est issu d'un fine-tuning intégral de Qwen3.5-2B, que l'encodeur visuel est gelé, que les couches d'attention complète utilisent un masque bidirectionnel en blocs et que toutes les questions partagent un même préremplissage de préfixe, si bien que le coût marginal de l'ajout de questions est faible. Sur les Model APIs, la séquence maximale est de 16 384 tokens ; un déploiement dédié pourrait atteindre 262k, selon le rapport. L'auto-hébergement nécessite un GPU CUDA et une image PyTorch 2.8 / CUDA 12.8 ; le rapport ne précise pas les besoins en mémoire vidéo et ne liste pas de version quantifiée officielle. La fiche du modèle donne comme détails d'entraînement 6,21 millions d'échantillons de décision, une entropie croisée plus un terme de calibration de Brier, et l'entraînement d'une option « je ne sais pas ». joey-1 est le troisième membre de cette série : Baseten avait publié la semaine précédente mammoth-1 (27B) et elephant-1 (9B). Les trois partagent les données d'entraînement et la même interface ; selon le rapport, le basculement ne demande qu'une ligne de modification. Tous les chiffres de benchmark sont autodéclarés par Baseten : sur le split public de Jev Decision Index 0.4, joey-1 obtient 63,30 et se classe 37e sur 230 modèles ; Baseten affirme qu'il s'agit du meilleur score pour un modèle de moins de 4B. Dans la même famille, elephant-1 obtient 72,24, Clef de Cloudflare 61,71 et Jev 1.14 60,70. Sur l'Artificial Analysis Decision Index reproduit par Baseten, joey-1 obtient 62,9 et mammoth-1 65,9. Pour la latence, Baseten rapporte une latence bout en bout P50 de 20 millisecondes pour des requêtes de 2 000 tokens en moyenne, contre 49 millisecondes pour elephant-1 ; le billet de blog affirme en outre une vitesse 5 fois supérieure à celle de modèles de décision comparables, sans nommer les modèles concernés.
Conséquences pour les développeurs
Cette publication modifie la nature des erreurs et la structure des coûts, plus qu'elle ne change le classement d'un nouveau modèle généraliste. Par le passé, pour de la classification à haute fréquence, on demandait souvent à un LLM généraliste de produire du JSON que l'application analysait ensuite ; les modes d'échec étaient les erreurs de format et les étiquettes hallucinées. Un modèle comme joey-1 limite l'espace de sortie aux options fournies : les échecs d'analyse disparaissent en grande partie, et le risque restant devient l'imprécision du jugement probabiliste lui-même ainsi qu'un réglage incorrect des seuils. Le coût est tout aussi clair : les connaissances générales d'un modèle de décision de 2B sont plus faibles que celles des modèles plus grands de la même famille ; le rapport indique lui-même qu'il est en retrait par rapport à elephant-1 dans chaque domaine. Il convient donc à un routage de première ligne, pas à remplacer des étapes qui exigent des connaissances du monde ou une génération ouverte. Le véritable usage des probabilités calibrées est la stratification. Étant donné que chaque option porte une probabilité et qu'une option d'abstention a été entraînée, il est techniquement possible de faire remonter les échantillons à faible confiance vers le 9B, le 27B ou un humain, et de concentrer les appels coûteux sur les cas difficiles ; le fait que les trois modèles partagent la même interface signifie que le coût de modification de la chaîne de montée en gamme porte principalement sur les seuils et l'évaluation, non sur une réécriture du code. Mais cela implique aussi que l'intégrateur doit ajouter deux éléments qu'il pouvait auparavant éviter : un jeu de validation étiqueté et une politique de seuils fondée sur le coût. Sans ces deux éléments, les avantages de prix et de latence ne se traduiront pas en qualité de décision dans votre propre contexte. Un autre facteur facile à négliger est le contexte. L'interface hébergée tronque à 16 384 tokens ; les 262k ne concernent que le déploiement dédié. Cela détermine si des entrées longues, du type tickets ou journaux, peuvent emprunter la voie hébergée. L'auto-hébergement ne nécessite qu'un GPU CUDA, mais la mémoire vidéo n'est pas précisée et il n'existe pas de version quantifiée officielle ; la longueur de séquence réellement possible doit être vérifiée par vous-même.
Intégration et évaluation
L'analyse suivante est conditionnelle et ne constitue pas un fait rapporté. Si votre système en production repose sur « classification par prompt plus analyse JSON », il est conseillé de déployer d'abord une chaîne miroir en parallèle plutôt que de remplacer directement. La condition est que l'ensemble des étiquettes soit énumérable et que vous disposiez de données historiques annotées ou de relectures humaines pour constituer un jeu de validation. Commencez par la catégorie de requêtes la plus volumineuse, dont le coût d'une erreur est faible et dont les étiquettes sont fermées. Le critère est de calculer, sur votre propre jeu de validation, le F1 macro et l'exactitude selon un seuil de confiance acceptable pour le métier, tout en vérifiant si le taux d'échec d'analyse tombe à zéro et si la proportion d'échantillons abstentionnés reste dans les limites du volume que l'humain peut traiter ; si l'exactitude n'est pas supérieure à celle de votre baseline par prompt ou si le taux d'abstention est trop élevé, la conclusion devrait être de ne pas basculer. Si le coût d'une erreur dépasse nettement celui d'un appel de montée en gamme, il est conseillé d'utiliser la probabilité comme interrupteur de routage. La méthode consiste à fixer un seuil, à faire remonter les échantillons inférieurs à ce seuil vers elephant-1, mammoth-1 ou un humain, et à plafonner le volume de montée en gamme. Le critère est de balayer différents seuils et de rechercher le point où le coût total — coût des appels de décision, coût des montées en gamme et coût des erreurs restantes — est minimal ; tracez aussi une courbe de fiabilité pour vérifier si les échantillons auxquels le modèle attribue 0,8 ont un taux de réussite réel proche de 0,8. Le terme de calibration de Brier mentionné dans le rapport a été ajusté sur la distribution d'entraînement du modèle ; savoir s'il reste calibré après transfert dans votre domaine ne peut être testé que par vous-même, et cette étape ne peut pas être omise. Si la longueur des entrées dépasse souvent 16k ou si les données ne peuvent pas sortir du réseau, définissez d'abord la forme de déploiement avant de parler de performance du modèle. Les 16 384 tokens de l'interface hébergée, les 262k du déploiement dédié et, pour l'auto-hébergement, un seul GPU avec l'image spécifiée constituent trois voies différentes. Le critère est de mesurer le débit et la latence p99 sur le matériel cible, puis de les comparer à la latence actuelle de votre propre chaîne ; ne citez pas directement les 20 millisecondes annoncées côté plateforme du fournisseur, car ce chiffre mesure leur environnement bout en bout.
Limites et points à confirmer
Les chiffres de benchmark et de latence de cet article sont tous autodéclarés par Baseten et manquent de reproduction indépendante. Jev Decision Index est un classement communautaire sur Hugging Face, mais les scores des différents acteurs sur ce classement sont eux aussi cités d'après la fiche de modèle de Baseten ; la comparaison entre 20 et 49 millisecondes se limite à un même protocole de mesure interne à la plateforme, et l'affirmation du billet de blog d'une vitesse « 5 fois supérieure » ne nomme pas les modèles comparés. MIT est la licence indiquée sur la page des poids ; cela ne constitue pas une explication complète des droits dérivés sur le modèle de base ni de l'origine des données d'entraînement. Avant tout usage commercial, vérifiez vous-même la licence et les indications sur les données dans le dépôt. joey-1 ne figure actuellement pas dans le catalogue de modèles de KimiSeek ; la disponibilité API et le prix mentionnés dans le rapport concernent l'offre côté Baseten et OpenRouter. Pour vérifier les modèles disponibles et la facturation sur cette plateforme, consultez la page tarifaire du site.