Six modèles en une seule publication
L’Institute of Foundation Models, le laboratoire d’Abou Dabi fondé par MBZUAI en mai 2025, a publié K2 Horizon le 3 septembre : six modèles de 0,9, 3,7, 7 et 32 milliards de paramètres en version dense, plus deux modèles épars à mélange d’experts, l’un de 36 milliards avec environ 4 milliards de paramètres actifs, l’autre de 375 milliards avec environ 23 milliards actifs.
IFM attribue une fonction à chaque taille plutôt que de les traiter comme un même modèle réduit. Le plus petit vise le matériel embarqué, les tailles intermédiaires les agents sur appareil et l’hébergement local, et le modèle de 375 milliards les charges de raisonnement et d’agents plus lourdes. Selon leurs fiches, les modèles disposent d’une fenêtre de contexte de 524 288 jetons, et IFM indique que chacun a été préentraîné sur environ 20 000 milliards de jetons.
Les poids et le code sont sous Apache 2.0. Les jeux de données conservent leurs propres licences, dont ODC-BY lorsque la redistribution le permet.
L’affirmation qui change la donne
Beaucoup de laboratoires publient des poids. L’argument d’IFM est que les poids seuls ne sont pas de l’open source.
« L’open source, c’est bien plus que des poids ouverts », a déclaré Eric Xing, fondateur d’IFM. « La science fonctionne quand d’autres peuvent voir les données, suivre la méthode, reproduire le résultat et l’améliorer. »
La publication doit inclure le code d’entraînement, les configurations, les points de contrôle intermédiaires, des journaux détaillés, les résultats d’évaluation et les données d’entraînement elles-mêmes, remplacées par des recettes de construction lorsqu’un jeu ne peut être redistribué. Hector Liu, qui dirige le laboratoire d’IFM dans la Silicon Valley, en a résumé l’ampleur : « Plutôt que de publier un seul modèle, nous publions une flotte entière. »
C’est un engagement nettement plus fort que les publications de poids ouverts auxquelles le secteur s’est habitué, et c’est la partie qu’il faut vérifier plutôt que répéter.
Ce qui a réellement été livré le premier jour
L’ouverture est échelonnée. Après examen des fiches de modèles, CellCog rapporte que les modèles de 3,7 et 7 milliards sont arrivés avec l’ensemble complet — poids, données et recettes, code et points de contrôle intermédiaires — tandis que le modèle phare de 375 milliards et le modèle épars de 36 milliards n’ont été publiés qu’avec leurs poids, leurs fiches indiquant que les points de contrôle, les données et le code d’entraînement seront publiés. Celui de 32 milliards est présenté comme un point de contrôle de première étape, la version finale restant à venir.
Les modèles que la plupart des chercheurs voudraient reproduire sont donc, pour l’instant, ceux dont le moins de matériel est publié. Ce n’est pas une promesse rompue, c’est une promesse encore non tenue, et la différence ne comptera que si le reste arrive.
Performances et disponibilité
IFM affirme que les trois plus petits modèles établissent l’état de l’art dans leurs catégories de taille. Ces chiffres sont ceux du laboratoire ; l’évaluation indépendante n’a pas encore suivi, et aucune mesure fournie par un éditeur ne doit être lue comme un résultat établi.
Les poids sont sur Hugging Face — la plateforme que Nvidia s’est engagée la même semaine à racheter pour 12,93 milliards de dollars — et fonctionnent avec vLLM, SGLang et Ollama. L’accès par API passe par Compass, Cerebras, AWS et Nebius.
Ce qu’il faut surveiller
Deux points diront si K2 Horizon est bien ce qu’il annonce. D’abord, si les données et le code d’entraînement des modèles de 375 et 36 milliards sont publiés, et selon quel calendrier. Ensuite, si des évaluations indépendantes reproduisent les affirmations par catégorie de taille. Tant que les deux manquent, il s’agit d’une très grande publication de poids ouverts assortie d’une promesse de science ouverte.
