Quatre semaines, une trentaine de modèles
Anthropic a publié jeudi des travaux dans lesquels Claude, à l’intérieur du dispositif Claude Science de l’entreprise, a réécrit plus de 30 modèles d’apprentissage profond ouverts utilisés en biologie afin qu’ils tournent plus vite. L’entreprise affirme que l’accélération moyenne sur les modèles de prédiction de structures et de conception a été d’environ quatre fois, et que deux salariés sans expérience préalable de l’optimisation d’inférence ont encadré le travail en un peu moins de quatre semaines.
Le résultat tient en 36 paquets optimisés répartis en six familles : 14 pour le repliement conjoint et la prédiction de structures, sept pour la génomique, six pour la génération de structures, et trois chacun pour le repliement inverse, l’hallucination et les modèles de langage protéique.
Ce qui a accéléré, et de combien
Anthropic décrit trois modes. Un mode exact, qui produit des sorties identiques, tourne environ 1,6 fois plus vite. Un mode rapide, sur 13 modèles, environ 4,1 fois. Un mode à faible mémoire, environ 3,4 fois. Dessous se trouve un jeu de noyaux GPU maison, baptisé FlashPairformer, qui selon l’entreprise dépasse les implémentations cuEquivariance de Nvidia : 2,7 à 2,9 fois plus rapide sur l’attention triangulaire, 1,7 à 3,2 fois sur la multiplication triangulaire.
Chacun de ces chiffres est une mesure d’Anthropic, prise sur des GPU H100 de Nvidia. Aucun groupe extérieur ne les a reproduits.
De plus grosses molécules sur un seul nœud
Le vrai changement porte sur la mémoire. Le mode à faible mémoire permet à un seul nœud GPU de Nvidia de prédire des systèmes biomoléculaires de plus de 10 000 jetons — acides aminés, nucléotides et atomes de petites molécules et d’ions — et Anthropic dit avoir fait tourner l’inférence sur des systèmes dépassant 70 000. Elle rapporte avoir replié le complexe I mitochondrial humain, le complexe chaperon TRiC, des protéasomes et des ribosomes bactériens.
Elle décrit aussi une campagne de conception de protéines atteignant des scores de liaison comparables à des travaux antérieurs avec environ deux ordres de grandeur d’heures GPU en moins, pour quelque 150 dollars de coût combiné. Anthropic précise que ces conceptions n’ont jamais été testées en laboratoire et que les scores sont calculés.
Ce qui n’a pas marché
Le compte rendu note aussi les échecs. Les prédictions de grandes capsides virales se sont effondrées en une boule compacte, avec des scores de précision très faibles, a relevé Unite.AI. Le dépôt est publié comme une version de référence que l’entreprise dit ne pas vouloir maintenir.
Un concours pour trancher à la paillasse
Anthropic a ouvert le code optimisé et organise avec Adaptyv Bio un concours de conception de protéines sur cinq problèmes à la limite des capacités actuelles, dont la réactivité croisée entre espèces, la sensibilité au pH, la spécificité peptide-CMH et des cibles de récepteurs couplés aux protéines G. La dotation atteint un million de dollars en crédits Claude et 250 000 dollars en crédits de calcul Modal, avec synthèse d’ADN par Twist Bioscience et validation en laboratoire pour plus de 5 000 conceptions. Unite.AI fait état de plafonds par équipe de 50 000 dollars pour les universitaires et 25 000 pour l’industrie.
Ce qu’il faut surveiller
Les candidatures ferment le 24 septembre et les résultats sont attendus le 15 décembre. C’est cette seconde date qui compte. Tant que les conceptions ne reviennent pas d’une paillasse, toute l’affirmation repose sur des scores qu’un ordinateur s’est attribués.
