← Toutes les actualités

BriLLM-MetaPred : un modèle de langage dérivé d'une théorie mathématique de l'AGI, 13,2 M de paramètres au niveau d'un GPT de même taille

BriLLM-MetaPred, déposé sur arXiv par l'équipe de Zhao Hai de l'université Jiao Tong de Shanghai, serait la première instance fonctionnelle de modélisation linguistique de la primitive MetaPred ; avec environ 13,2 M de paramètres, il égalerait une base GPT de même taille, et la validation irait jusqu'à 1,5 B ; les poids et la licence ne sont pas précisés, et il n'existe pas d'API.

Publication Mise à jour

Ce qui change

Selon un article du média spécialisé Machine Heart, l'équipe de Zhao Hai de l'Institut d'intelligence artificielle générale de l'université Jiao Tong de Shanghai a déposé l'article BriLLM-MetaPred sur arXiv. L'article affirme qu'il s'agit de la première instance fonctionnelle en modélisation linguistique de MetaPred, une primitive d'apprentissage automatique dérivée de leur théorie mathématique de l'AGI. D'après l'article, MetaPred supprime la séparation entre représentation et prédiction : un unique état dynamique en évolution continue porte à la fois la représentation après écriture du contexte et lit directement le token suivant ; une auto-mesure continue associée utilise les points fixes comme signal d'auto-supervision endogène. L'implémentation décrit BriLLM-MetaPred comme un pont reliant cette primitive au support nœuds-flux de signaux SiFu de BriLLM, formant un modèle de langage nœuds-états : la projection des tokens est écrite dans des lignes d'interface fixes, un opérateur récurrent fait évoluer l'ensemble du tenseur, et la distribution est lue depuis une ligne de sortie désignée et un pool auxiliaire. Le principal résultat empirique rapporté est le suivant : avec environ 13,2 M de paramètres, les performances de prédiction seraient comparables à une base GPT de même taille, ce que l'article présente comme une preuve préliminaire de faisabilité technique ; par rapport à la génération précédente BriLLM, qui nécessitait environ dix fois la taille de GPT-1 pour être à peine comparable, cette version atteindrait le même effet avec environ un dixième de la taille, la plus grande taille validée atteignant 1,5 B, du même ordre que GPT-2.

Conséquences pour les développeurs

Pour les développeurs, l'intérêt de cette nouvelle ne réside pas dans une interface utilisable, mais dans la testabilité de l'hypothèse de paradigme. Les déploiements Transformer dominants reposent sur l'attention, le cache KV et une passe avant à nombre de couches fixe ; si représentation et prédiction fusionnent dans un tenseur évoluant de façon récurrente, l'inférence ne serait plus « une passe avant plus cache KV », mais une itération jusqu'à une certaine cohérence ou un plafond de pas, ce qui changerait latence, mémoire et stratégies de batching. Le mécanisme d'entraînement à exécution continue décrit conserverait l'état des nœuds et des paramètres rapides entre segments de séquence, ce qui pointerait vers un socle où entraînement et inférence ne sont pas séparés ; si cela se vérifie, le modèle de coût des contextes longs ou du streaming changerait. Mais il s'agit là de descriptions structurelles issues de l'article et du reportage, sans reproduction par un tiers ni données de débit ou de latence. Autre point : la comparabilité. Être comparable à une base GPT de même taille à 13,2 M de paramètres montre seulement que la primitive fonctionne à petite échelle, pas qu'elle conserve le même rapport d'efficacité à 1,5 B ou au-delà ; le reportage ne donne pas non plus les noms des benchmarks, les jeux de données ni les protocoles d'évaluation, ce qui empêche toute comparaison transversale.

Intégration et évaluation

Première recommandation : déterminer d'abord si une reproduction vaut l'investissement. Si vos travaux portent sur l'inférence longue de modèles récurrents ou de type espace d'états, vous pouvez inscrire BriLLM-MetaPred comme objet d'expérience de référence ; à condition d'obtenir l'article et le code des auteurs, et de retenir comme indicateur mesurable l'écart de perplexité de validation avec une base GPT de même taille, à tokenizer et nombre de tokens d'entraînement identiques ; si l'écart ne se réduit pas, inutile de poursuivre. Deuxième recommandation : si l'entraînement à exécution continue vous intéresse, évaluez séparément, à mémoire fixe, la longueur maximale traitable et la latence par token entre « état conservé par segments » et « passe avant sur toute la séquence » ; cette voie n'est attractive que si votre charge est du traitement de flux de longs documents et que le gain de conservation d'état dépasse le surcoût dû aux pas d'itération, avec comme critère le temps réel par millier de tokens et le pic de mémoire sur le même matériel. Troisième recommandation : rester prudent sur la taille 1,5 B ; vérifiez d'abord si l'article fournit une comparaison à cette échelle avec une base de niveau GPT-2 de même taille et le nom des jeux d'évaluation ; s'il n'y a qu'une comparaison à 13,2 M, considérez-le comme une preuve de faisabilité de la primitive, non comme un candidat pouvant remplacer les modèles existants. Tout ceci relève d'une analyse conditionnelle fondée sur le reportage, pas de conclusions de performance vérifiées.

Limites et points à confirmer

Cette version n'est pas listée dans le catalogue de modèles en temps réel de KimiSeek, et le reportage ne mentionne aucune API de fournisseur ; il n'existe donc pas d'interface disponible « déjà en ligne sur une plateforme ». Le reportage ne précise pas si les poids sont publics ni sous quelle licence ; disponibilité des poids n'équivaut pas à autorisation de licence, les deux doivent être vérifiés séparément. Les noms de benchmarks, jeux de données, nombre de tokens d'entraînement et scripts d'évaluation ne sont pas précisés dans le reportage, et « comparable à une base GPT de même taille » manque de protocole vérifiable. L'affirmation selon laquelle 1,5 B est la plus grande taille validée n'est accompagnée d'aucun chiffre comparatif à cette taille. La prétendue isomorphie avec le principe d'énergie libre et le codage prédictif relève de l'argumentation des auteurs, non d'une validation indépendante. Les résultats à 13,2 M ne peuvent être extrapolés à des charges de production.

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

从数学理论「解」出语言模型——AGI 理论核心原语的首次工程验证:BriLLM-MetaPred

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.