Aleph Alpha publie Kolibri, modèle à poids ouverts : 78 milliards de paramètres totaux, 3 milliards activés, 21,3 % de données d'entraînement en allemand
Selon The Decoder, le 5 octobre 2026, Aleph Alpha a publié Kolibri, un modèle MoE bilingue allemand-anglais de 78 milliards de paramètres totaux avec environ 3 milliards de paramètres activés par token, dont les données d'entraînement sont à 21,3 % en allemand ; les poids sont ouverts sur Hugging Face sous licence Apache 2.0, avec un contexte allant jusqu'à 1 million de tokens.
Ce qui change
Selon The Decoder, le 5 octobre 2026, la société allemande Aleph Alpha a publié Kolibri, un modèle de langue bilingue allemand-anglais. Le modèle utilise une architecture à mélange d'experts (mixture-of-experts), avec un total de 78 milliards de paramètres dont seulement environ 3 milliards sont activés par token, et une fenêtre de contexte allant jusqu'à 1 million de tokens. L'allemand représenterait 21,3 % des données d'entraînement, s'appuyant sur un pipeline de données allemandes spécialement construit par l'entreprise pour ce projet ; des modèles chinois auraient aussi été utilisés dans les données d'entraînement synthétiques (le rapport ne précise pas lesquels). Aleph Alpha affirme que Kolibri obtient 71 % sur les benchmarks en allemand, tout en décodant plus rapidement que des modèles comparables cités dans le rapport, tels que GPT OSS A5B, Qwen 3.6 A3B et Gemma 4 A4B, et qu'il se situe sur la frontière de Pareto entre qualité et coût d'exploitation en allemand comme en anglais. D'après le rapport technique, le modèle a été entraîné en Allemagne et en Finlande sur 768 GPU B200, son développement prend en compte la loi européenne sur l'IA, et il est positionné pour l'administration publique, l'aviation et l'industrie. Les poids sont ouverts sur Hugging Face sous licence Apache 2.0. Il faut distinguer l'ouverture des poids (open weights) de l'open source : le rapport mentionne explicitement la licence Apache 2.0, mais l'application réelle des clauses de licence doit être vérifiée dans la fiche du modèle et le texte de la licence.
Conséquences pour les développeurs
L'impact direct pour les développeurs se concentre sur trois points. Premièrement, une structure MoE d'environ 3 milliards de paramètres activés pour 78 milliards au total signifie que le calcul à l'inférence est plus proche de celui d'un petit modèle tandis que l'occupation de mémoire est plus proche de celle d'un grand modèle ; la structure de coût de déploiement diffère donc de celle d'un modèle dense de taille équivalente, et les détails d'implémentation de la quantification et du routage des experts influencent significativement le débit. Deuxièmement, la fenêtre de contexte de 1 million de tokens est une affirmation de capacité longue contexte, mais le rapport ne fournit pas de données sur la précision de récupération, la latence et la mémoire dans ce régime ; les scénarios de longs documents nécessitent une vérification propre, sans transposer directement les conclusions des benchmarks en contexte court. Troisièmement, la part de 21,3 % de données allemandes et le pipeline dédié suggèrent que la performance attendue sur les tâches en allemand est supérieure à celle de la plupart des modèles à poids ouverts majoritairement anglais, mais le score de 71 % sur les benchmarks allemands est une auto-évaluation du fournisseur, sans indication du nom des benchmarks, de leur version ni du caractère zero-shot ; la comparaison transversale appelle donc la prudence. Par ailleurs, Apache 2.0 est une licence permissive, information importante pour les équipes souhaitant un usage commercial ou un auto-hébergement, mais elle ne couvre pas la conformité des données d'entraînement : la responsabilité de conformité liée à la loi européenne sur l'IA incombe au déployeur. Le rapport mentionne l'utilisation de modèles chinois pour générer des données synthétiques ; c'est un fait divulgué, qui ne doit pas être interprété comme une filiation technique entre Kolibri et un modèle chinois.
Intégration et évaluation
Voici des analyses suggestives fondées sur le contenu du rapport, et non des faits vérifiés. Première décision, le choix du modèle : si la charge de travail est majoritairement en allemand et nécessite un auto-hébergement, Kolibri peut être un candidat ; si elle est majoritairement en chinois ou en anglais, l'avantage de son pipeline allemand ne justifie pas ce choix. La condition d'évaluation à préparer est la construction d'un ensemble de tâches en allemand et en anglais couvrant le secteur cible, avec comme critère quantitatif la comparaison de la précision sur les tâches allemandes et de la latence de bout en bout pour mille tokens sur le même matériel et la même configuration de quantification, plutôt que le seul score ponctuel de 71 % cité dans le rapport. Deuxième décision, l'arbitrage contexte-coût : le rapport annonce jusqu'à 1 million de tokens, mais sans données de performance à cette longueur ; il est conseillé d'établir d'abord une base à 8K-32K puis de tester progressivement jusqu'à la longueur cible, avec comme critère la décroissance significative ou non du rappel d'informations clés avec la longueur, et l'acceptabilité de la latence du premier token. Troisième décision, la voie licence-conformité : bien que les poids soient ouverts sous Apache 2.0, le positionnement vise des secteurs réglementés comme l'administration publique et l'aviation ; le déployeur doit vérifier les formulations de la fiche du modèle sur la redistribution, les produits de fine-tuning et la répartition des responsabilités, avec comme critère la capacité d'une revue juridique à trouver dans le texte de la licence et la fiche du modèle des clauses explicites couvrant son propre cas d'usage.
Limites et points à confirmer
Il faut d'abord préciser : à la date de cette vérification du catalogue, la version Kolibri n'apparaît pas dans le catalogue de modèles en temps réel de KimiSeek ; la distribution des poids et toute disponibilité d'API mentionnées dans le rapport renvoient à Aleph Alpha et à sa page Hugging Face, sans lien avec KimiSeek. Ensuite, les affirmations sur la frontière de Pareto, la vitesse de décodage supérieure à des modèles comparables et le score de 71 % aux benchmarks allemands proviennent d'Aleph Alpha lui-même ; cet article les rapporte sans les vérifier indépendamment, et le rapport ne précise ni le nom des benchmarks, ni la méthode d'évaluation, ni le caractère zero-shot, ni la configuration des concurrents. Troisièmement, les versions précises et les dates de publication des modèles de comparaison cités (GPT OSS A5B, Qwen 3.6 A3B, Gemma 4 A4B) ne relèvent pas de cette vérification, et leur comparabilité ne peut être confirmée. Quatrièmement, Apache 2.0 concerne la licence de distribution des poids et du code, sans validation de conformité sur la provenance des données d'entraînement ; le détail de l'usage de modèles chinois pour les données synthétiques ne précise ni les modèles concernés ni la méthode de génération. Cinquièmement, l'échelle d'entraînement de 768 GPU B200 et le positionnement bilingue allemand-anglais sont des descriptions du fournisseur ; le coût de reproduction, le volume de données nécessaires au fine-tuning et la performance réelle dans des langues autres que l'allemand restent inconnus.
Illustrations de l’article original
