AREX-2 de BAAI : affinage de la réflexion longue sur une base 27B, des scores à lire selon des périmètres distincts et des poids publiés sans licence précisée
Selon Machine Heart, l'équipe de recherche AREX a entraîné AREX-2 sur une base Qwen3.8-27B, avec des scores rapportés de 81,8 sur MLE-bench Lite, 70,7 sur Frontier-CS, 84,0 sur BrowseComp et 52,6 sur HLE, accompagnés d'un article et d'une collection de poids sur Hugging Face ; l'article ne précise ni licence, ni longueur de contexte, ni API hébergée.
Ce qui change
Machine Heart rapporte que l'équipe de recherche AREX, composée de chercheurs de l'Institut de recherche BAAI, de l'Université des sciences et technologies de Chine, de l'Université Renmin de Chine et d'autres institutions, a publié AREX-2, entraîné sur la base Qwen3.8-27B avec des données de « réflexion longue » construites autour de scénarios d'apprentissage automatique et de programmation algorithmique. Les chiffres rapportés et leurs périmètres de comparaison respectifs sont les suivants : MLE-bench Lite à 81,8, au-dessus de tous les modèles de comparaison listés dans ce rapport (y compris des modèles frontières à code fermé, dont GPT-5.6 Sol et Kimi-K3, tous deux à 72,7) ; Frontier-CS à 70,7, en tête de tous les modèles à poids ouverts du tableau ayant rapporté un score sur cette épreuve ; BrowseComp à 84,0 et HLE à 52,6, présentés comme les meilleurs scores parmi les modèles de 40B paramètres ou moins. Le rapport indique aussi que BrowseComp à 84,0 dépasse Kimi-K2.6 (1T, 83,2) et DeepSeek-V4-Pro (1,6T, 83,4). Côté entraînement, l'article décrit un agent enseignant qui construit d'abord de manière autonome les tâches, les mécanismes de notation et les environnements d'exécution, puis boucle sous budget de temps et de tours entre « soumettre une proposition, obtenir un retour, réfléchir et améliorer », en conservant intégralement les traces de raisonnement, d'échec et d'ajustement ; l'évaluation en recherche approfondie réutilise les données d'AREX v1, avec pour seul ajout des traces de réflexion longue, afin de tester le transfert inter-domaines. L'article fournit en fin de texte des liens vers l'article arXiv, la page du projet GitHub et la collection de poids Hugging Face, mais ne précise ni le type de licence, ni les conditions d'usage commercial, ni la longueur de contexte, ni le coût d'inférence, ni aucune API hébergée.
Conséquences pour les développeurs
Pour les développeurs, cela signifie concrètement qu'il s'agit plutôt d'un candidat à poids ouverts téléchargeable que d'un service d'API directement appelable. Le rapport ne donne que l'adresse de la collection de poids, sans mention d'hébergement par un fournisseur, de limites de débit ni de prix : l'intégration exige un déploiement propre ou l'attente d'un hébergement tiers, et il faut évaluer soi-même la mémoire GPU, le débit et le coût d'inférence. Le périmètre des benchmarks doit aussi être compris séparément : l'avance sur MLE-bench Lite vaut par rapport à tous les modèles de comparaison listés dans le rapport, celle sur Frontier-CS seulement parmi les modèles à poids ouverts ayant rapporté un score sur cette épreuve, et le « meilleur » de BrowseComp et HLE se limite aux modèles de 40B paramètres ou moins — ces trois constats ne se combinent pas en une victoire globale toutes échelles confondues. La direction des capacités pointe vers des tâches à nombreux tours avec retour vérifiable (expériences d'apprentissage automatique, problèmes algorithmiques), capacités susceptibles de se transférer à des scénarios d'ingénierie dotés de tests ou d'indicateurs de retour, comme la correction de code ou le réglage de pipelines de données ; dans une génération ouverte sans retour objectif ou face à des besoins flous, la « réflexion » peut n'être qu'une rotation à vide sur plusieurs tours, tout en consommant tokens et temps. En outre, tous les scores sont auto-déclarés par l'équipe, sans reproduction indépendante par un tiers dans le rapport ; les points de comparaison incluent à la fois des modèles frontières à code fermé et des modèles d'échelles de paramètres séparées de plusieurs ordres de grandeur. La présence de liens vers les poids indique une accessibilité relativement élevée, mais disposer des poids ne signifie pas bénéficier d'une licence open source : il faut vérifier la carte du modèle et le texte de la licence avant tout usage commercial.
Intégration et évaluation
Ce qui suit relève de recommandations et d'analyses conditionnelles, non de faits rapportés. Premièrement, si votre charge de travail dispose de signaux de retour jugeables automatiquement (tests unitaires, seuils d'indicateurs, jeux d'évaluation cachés), commencez par une validation en auto-déploiement à petite échelle : choisissez une version quantifiée tenant dans votre mémoire GPU existante, branchez le retour de chaque tour dans la boucle de l'agent, et prenez pour indicateur la pente du taux de réussite en fonction du nombre de tours sous un budget de tours fixe ; si la pente s'aplatit entre 3 et 5 tours, la réflexion longue apporte peu à votre tâche et mieux vaut une approche plus directe. Cela suppose que la licence autorise votre usage et que vous puissiez assumer le coût d'exploitation d'une pile d'inférence auto-hébergée. Deuxièmement, si vous privilégiez les scores sur des tâches de recherche documentaire du type BrowseComp, le point de décision doit être le plafond de tours de recherche et de réflexion, non un score ponctuel : sur un jeu interne de questions-réponses avec recherche, fixez le même moteur de recherche et le même ensemble d'outils, comparez le taux de réussite par coût unitaire de tâche entre des configurations à plafond de 2 tours et à plafond de 8 tours ; si le gain de réussite est inférieur à la hausse du coût d'inférence, revenez à un faible nombre de tours. Troisièmement, si votre scénario est une génération ouverte sans retour objectif ou dépend fortement d'une API en ligne stable à faible latence, ne remplacez pas votre modèle actuel sur la seule foi du rapport : comparez d'abord sur le même lot d'échantillons internes avec votre modèle en place, en enregistrant les tokens et le temps consommés par chaque tour de réflexion, et jugez au taux de réussite par coût unitaire de tâche ; quelle que soit la voie choisie, examinez d'abord dans l'article les paramètres d'évaluation, le budget de tours et le mécanisme de notation, plutôt que de lire uniquement des chiffres ponctuels.
Limites et points à confirmer
Le rapport ne divulgue ni la licence ni les conditions commerciales d'AREX-2, et ne précise ni longueur de contexte, ni coût d'inférence, ni aucune API hébergée ; les quatre scores sont auto-déclarés par l'équipe, sans reproduction par un tiers, et leurs périmètres de comparaison diffèrent (respectivement tous les modèles de comparaison listés dans le rapport, les modèles à poids ouverts ayant rapporté un score sur l'épreuve, et les modèles de 40B paramètres ou moins), sans possibilité de les fusionner en une seule conclusion. Les données d'entraînement et les détails d'évaluation doivent être vérifiés dans l'article. À noter également : AREX-2 n'a actuellement aucune correspondance exacte dans le catalogue de modèles de KimiSeek ; le site ne liste que sa base Qwen3.8 27B, qui est une version différente et ne peut être assimilée ; le rapport ne mentionne aucune disponibilité API pour ce modèle, et toute information à ce sujet doit se fonder sur les indications de l'émetteur.