Les poids sont sortis

Reflection a publié les poids de Beam sur Hugging Face sous licence Apache 2.0 le 16 octobre, onze jours après avoir annoncé le modèle sans eux. La publication comprend aussi le tokeniseur, une implémentation de référence, une fiche de modèle avec les résultats définitifs et un rapport technique de sécurité distinct. Les poids arrivent en BF16, FP8 et NVFP4, accompagnés d’un modèle brouillon pour le décodage spéculatif.

Beam est un modèle épars à mélange d’experts, avec 501 milliards de paramètres au total et 23 milliards actifs. Apache 2.0 autorise l’usage commercial, la modification et la redistribution sous réserve de ses exigences de mention, ce qui le place à l’extrémité permissive du spectre des poids ouverts, et non sous les licences sur mesure que portent plusieurs sorties concurrentes.

Ce qu’il faut pour le faire tourner

Les trois précisions existent parce qu’elles visent des matériels différents. La publication d’Amazon, parue le même jour, indique que Beam est disponible via SageMaker JumpStart dans les régions de Virginie du Nord et de l’Ohio, et recommande des instances ml.p5.48xlarge à H100, ou ml.p5e et ml.p5en à H200, pour le FP8, et des instances ml.p6-b200.48xlarge à B200 pour le NVFP4. Le BF16 exige une configuration multinœud en raison de son empreinte mémoire. AWS reprend le chiffre de Reflection d’une longueur de contexte effective d’un million de jetons, et le lui attribue.

Des conteneurs empilés dans un port
Les poids existent en trois précisions, chacune visant un matériel différent. Photographie d'archive illustrative. Wolfgang Weiser · pexels · Pexels License

Hors du nuage, Reflection évoque l’hébergement en propre et des points d’accès partenaires, avec un déploiement sur site et en réseau isolé via Dell et HPE. C’est la configuration que réclament les acheteurs d’entreprise et publics, et ce qu’un modèle accessible seulement par API ne peut offrir à aucun prix.

La facture d’entraînement

Les chiffres les plus frappants de la publication ne concernent pas le modèle mais ce qu’il a coûté à fabriquer. Reflection dit avoir fait tourner environ 1,3 milliard de bacs à sable, entre apprentissage par renforcement, évaluation et ablations. La dernière exécution d’apprentissage par renforcement a culminé à 883 006 processeurs virtuels répartis sur 23 grappes chez Google Cloud et AWS.

Les résultats, et ce qui manque

La publication de disponibilité ne contient pas de tableau de résultats et renvoie à la fiche de modèle. Chacun de ses chiffres est celui de Reflection, produit par Reflection. L’argument de l’entreprise depuis l’annonce du 5 octobre porte sur l’efficacité en inférence plutôt que sur la capacité maximale : elle affirmait alors que Beam égalait GLM 5.2 avec un quart du calcul d’inférence.

Un tableau blanc couvert de pense-bêtes de couleur
Reflection annonce des recettes d'autodistillation dans les prochains jours. Photographie d'archive illustrative. cottonbro studio · pexels · Pexels License

Ce que la publication propose à la place, ce sont des anecdotes. Une pagode construite par un utilisateur a consommé 12 600 jetons et 117 secondes. Une implémentation de Snake a été achevée en 2 minutes 19,7 secondes contre 4 minutes 56,4 secondes pour une exécution de comparaison. Ce sont des démonstrations, non des mesures, et Reflection les présente comme telles.

Le prix n’apparaît nulle part dans la publication. La plateforme est décrite comme gratuite pour commencer pendant la bêta publique, ce qui laisse ouverte la question du coût d’un usage via Reflection plutôt que chez soi.

Ce qu’il faut suivre

Reflection annonce des recettes d’autodistillation, censées relever l’efficacité en jetons sur les tâches propres à chaque utilisateur, « dans les prochains jours ». L’épreuve la plus lourde sera de voir des évaluateurs indépendants refaire les chiffres de la fiche maintenant que n’importe qui peut télécharger les poids et essayer, ce qui est après tout l’intérêt de les publier.