Z.ai publie GLM-Legal : 19,17 % de réussite complète sur Harvey LAB, API sur demande et aucun poids public
Selon MarkTechPost, le 13 octobre 2026, Z.ai a publié GLM-Legal, un modèle spécialisé dans le domaine juridique, construit sur GLM-5.3-Flash, avec un taux de réussite complète de 19,17 % sur Harvey LAB, soit environ trois fois celui de la base (6,67 %), et un coût de test unique de 0,15 dollar chez Vals AI ; l'accès se limite actuellement à une API sur demande, sans prix ni poids publiés.
Ce qui change
Selon MarkTechPost, le 13 octobre 2026, Z.ai a publié GLM-Legal, un modèle spécialisé dans les scénarios juridiques, ciblant la revue de contrats, l'analyse de preuves et la recherche de conformité. Le modèle est construit sur GLM-5.3-Flash ; la source indique que la base est un MoE de 320B de paramètres totaux et 18B de paramètres actifs, avec un contexte de 1 million de tokens et une sortie maximale de 128K, combinant attention sparse et attention linéaire, et capable de lire texte, images, vidéos et fichiers. L'entraînement se déroule en deux phases : un entraînement intermédiaire sur un corpus juridique étendu, puis un post-entraînement par apprentissage par renforcement dans des dizaines de milliers d'environnements de tâches juridiques ; la source mentionne aussi une coévolution du framework d'exécution et du modèle durant le post-entraînement. Concernant l'évaluation, Harvey LAB est un benchmark open source comprenant 1250 tâches couvrant 24 domaines de pratique, notées par plus de 75 000 critères rédigés par des experts ; une tâche n'est considérée comme réussie que si tous les critères sont validés. Vals AI exécute le jeu de validation avec deux juges LLM, Internet désactivé. Le rapport indique un taux de réussite complète de 19,17 % pour GLM-Legal, classé 7e sur 79 modèles, contre 6,67 % pour la base ; le taux de réussite par critère est de 92,5 %. Le même classement affiche Kimi K3 à 12,92 %, Claude Fable 5 à 11,25 % et GPT-6 Astra à 5,42 %, mais le graphique de publication ne liste pas les 6 modèles mieux classés, le premier étant à 25,42 %. Sur LegalBench, GLM-Legal obtient 86,23 %, derrière Claude Fable 5 à 88,56 % ; sur Legal Research Bench, il obtient 41,83 %, en dessous des 45,19 % de la base. L'accès se fait uniquement via l'API hébergée de Z.ai et sur demande ; à la date du rapport, aucun prix n'était publié et aucun dépôt correspondant n'existait sur Hugging Face ; le modèle de base peut être déployé soi-même via vLLM ou SGLang, avec des poids FP8 ouverts.
Conséquences pour les développeurs
Pour les équipes de legal tech et les services juridiques d'entreprise, la valeur de cette information ne réside pas dans le classement lui-même, mais dans le fait qu'un modèle vertical, à coût de test unique relativement faible, porte le taux de réussite des tâches juridiques agentiques à trois fois celui de la base, ce qui suggère que le post-entraînement de domaine plus RL sur des tâches longues et outillées peut apporter davantage que l'amélioration des capacités générales. Mais le jugement opérationnel doit être décomposé. Premièrement, GLM-Legal n'a actuellement aucun poids public et n'est accessible que via une API hébergée sur demande, ce qui revient à confier en partie au fournisseur le flux de données, l'audit et la responsabilité de conformité ; pour un cabinet traitant des documents confidentiels de clients, c'est une contrainte préalable et non un détail. Les poids ouverts mentionnés par la source désignent les poids FP8 de la base GLM-5.3-Flash et ne signifient pas que GLM-Legal lui-même est open source : disponibilité des poids et licence sont deux choses distinctes, et on ne peut pas déduire de l'ouverture de la base que le modèle dérivé est auto-déployable. Deuxièmement, l'avantage de coût selon la source doit être interprété avec prudence : 0,15 dollar est un coût par test calculé par Vals AI sur la base de 0,075 dollar par million de tokens en entrée et 0,25 dollar en sortie, pour une longueur de tâche donnée ; ce n'est pas le tarif API annoncé par le fournisseur, et le prix de GLM-Legal n'est toujours pas publié, donc tout modèle de coût fondé sur ce chiffre reste hypothétique. Troisièmement, l'amélioration des capacités n'est pas uniforme : +12,5 points sur Harvey LAB, mais -3,36 points sur Legal Research Bench par rapport à la base, ce qui suggère que le modèle est orienté vers les tâches multi-étapes avec appels d'outils, et que le gain sur la recherche et l'étude juridiques ouvertes peut être négatif. Quatrièmement, chaque tâche Harvey LAB prend en moyenne 1 heure 12 minutes, plus lentement que la plupart des modèles du même tableau, ce qui rend le compromis entre scénarios interactifs et scénarios batch hors ligne très différent. En outre, la source indique que Z.ai prévoit d'intégrer GLM-Legal à son application d'agent de bureau AutoClaw, sans calendrier ; ces éléments relèvent du reportage et n'ont pas été vérifiés indépendamment par KimiSeek.
Intégration et évaluation
Ce qui suit est un jugement recommandatoire, pas un fait vérifié. Décision 1 : choisir la base pour le prototype ou attendre l'accès à GLM-Legal. Selon le rapport, la base GLM-5.3-Flash est déjà disponible avec des poids ouverts, tandis que GLM-Legal est uniquement sur demande ; donc si un projet doit démarrer immédiatement ou doit traiter localement des documents sensibles, construire le processus sur la base est plus réaliste. Si les tâches se concentrent sur la comparaison de contrats multi-étapes ou la structuration de chaînes de preuves nécessitant des appels d'outils, et que l'hébergement des données par le fournisseur est acceptable, alors une demande d'accès se justifie. Les conditions préalables sont l'octroi de l'accès et l'autorisation de traiter des documents clients réels. Le critère d'évaluation peut être : sur 50 à 100 échantillons historiques de revue de contrats, comparer le taux de réussite complète en une passe de la base et de GLM-Legal après accès, et exiger une amélioration explicable par rapport à la base, sinon ne pas migrer. Décision 2 : intégrer la latence dans la pondération du choix, pas seulement le taux de réussite. La source indique une moyenne de 1 heure 12 minutes par tâche pour GLM-Legal, nettement plus longue que les autres modèles du tableau ; les produits d'assistance juridique en interaction temps réel et les pipelines de due diligence en traitement nocturne devraient donc faire des choix différents. Si la latence est inacceptable pour l'interaction, poursuivre avec la base ou un modèle général plus rapide en front-office et placer le modèle haute précision dans une file asynchrone est une option conditionnelle. Les conditions préalables sont que la tâche puisse être asynchrone et que l'utilisateur accepte un retour en heures ; le critère d'évaluation peut être de mesurer, en concurrence réelle, si la latence P95 de bout en bout et le coût par tâche restent dans le budget. Décision 3 : ne pas figer le choix sur un seul classement. Le rapport donne simultanément une forte hausse sur Harvey LAB et une baisse sous la base sur Legal Research Bench, deux résultats de sens opposé ; avant l'intégration, il faut donc découper le jeu d'évaluation selon sa propre distribution métier, mesurer séparément les taux de réussite des tâches de recherche-étude et d'exécution de processus, et enregistrer le taux par critère plutôt que le seul taux par tâche. Le critère d'évaluation peut être : le sens de l'écart par rapport à la base sur les deux types de tâches doit correspondre au poids métier réel ; si la recherche-étude est majoritaire, il ne faut pas changer de modèle sur le seul chiffre Harvey LAB. Enfin, le prix n'étant pas publié, tout calcul de coût doit d'abord confirmer la grille tarifaire auprès du fournisseur et être recalculé selon sa propre distribution de tokens, plutôt que de reprendre un coût par test tiers.
Limites et points à confirmer
Tous les scores de benchmark, coûts et durées de ce rapport proviennent des résultats d'exécution de Vals AI cités par la source, arrêtés au 12 octobre 2026 ; KimiSeek ne les a pas reproduits indépendamment. La version GLM-Legal n'est actuellement pas au catalogue de modèles KimiSeek ; la disponibilité de l'API, le mode de demande et l'état du prix mentionnés concernent le fournisseur Z.ai, pas ce site. Z.ai n'a pas publié le prix API de GLM-Legal, donc le coût par test de la source ne peut pas servir de référence de facturation réelle. La base GLM-5.3-Flash dispose d'une entrée homonyme glm-5.3-flash dans le catalogue KimiSeek, mais il s'agit d'un modèle différent de GLM-Legal ; on ne peut donc pas en déduire que GLM-Legal est disponible ou auto-déployable. La source ne publie pas la taille de paramètres propre à GLM-Legal ni les chiffres précis du PLawBench chinois ; l'affirmation de Z.ai selon laquelle LegalBench et PLawBench sont au même niveau manque de valeurs vérifiables. La liste des modèles mieux classés dans le classement Harvey est omise du graphique de publication ; ce rapport ne fait que la reproduire telle quelle. L'obtention de l'accès API, le calendrier de lancement d'AutoClaw et les conditions de licence réelles ne sont pas déterminés et dépendront des précisions ultérieures du fournisseur.