Fire uger, godt tredive modeller
Anthropic offentliggjorde torsdag et arbejde, hvor Claude inde i virksomhedens Claude Science-opsætning skrev mere end 30 åbne dyb læringsmodeller brugt i biologi om, så de kører hurtigere. Virksomheden siger, at den gennemsnitlige hastighedsforøgelse i modeller til strukturforudsigelse og design var omkring fire gange, og at to ansatte uden tidligere erfaring med inferensoptimering stod for arbejdet på knap fire uger.
Resultatet er 36 optimerede pakker i seks familier: 14 til samfoldning og strukturforudsigelse, syv til genomik, seks til strukturgenerering og tre hver til omvendt foldning, hallucination og proteinsprogmodeller.
Hvad der blev hurtigere, og hvor meget
Anthropic beskriver tre tilstande. En eksakt tilstand, der giver identiske resultater, kører omkring 1,6 gange hurtigere. En hurtig tilstand over 13 modeller kører omkring 4,1 gange hurtigere. En hukommelsesnøjsom tilstand kører omkring 3,4 gange hurtigere. Nedenunder ligger et eget sæt GPU-kerner, som virksomheden kalder FlashPairformer, og som efter dens eget udsagn slår Nvidias egne cuEquivariance-implementeringer: 2,7 til 2,9 gange hurtigere på triangelattention og 1,7 til 3,2 gange hurtigere på triangelmultiplikation.
Hvert af de tal er Anthropics egen måling, taget på Nvidias H100-grafikprocessorer. Ingen udefrakommende gruppe har gentaget dem.
Større molekyler på en enkelt node
Den praktiske ændring er hukommelse. Den nøjsomme tilstand lader en enkelt Nvidia-GPU-node forudsige biomolekylære systemer på mere end 10.000 tokens — aminosyrer, nukleotider og atomerne i små molekyler og ioner — og Anthropic siger, at den kørte inferens på systemer over 70.000. Virksomheden oplyser, at den foldede menneskeligt mitokondrielt kompleks I, chaperonkomplekset TRiC, proteasomer og bakterielle ribosomer.
Den beskriver også en proteindesignkampagne, der nåede sammenlignelige bindingsscorer med tidligere arbejde på cirka to tierpotenser færre GPU-timer, til omkring 150 dollar i samlet GPU- og tokenomkostning. Anthropic siger ligeud, at designene aldrig blev testet i et laboratorium, og at scorerne er beregnede.
Det, der ikke virkede
Gennemgangen noterer også fejlene. Forudsigelser af store viruskapsider kollapsede til en kompakt kugle med meget lave nøjagtighedsscorer, bemærkede Unite.AI. Kodearkivet udgives som en referenceudgivelse, virksomheden siger, den ikke vil vedligeholde.
En konkurrence, der skal afgøre det ved en laboratoriebænk
Anthropic har åbnet den optimerede kode og holder sammen med Adaptyv Bio en konkurrence i proteindesign om fem problemer på grænsen af, hvad der kan lade sig gøre i dag, blandt dem krydsreaktivitet mellem arter, pH-følsomhed, peptid-MHC-specificitet og mål blandt G-proteinkoblede receptorer. Puljen er op til en million dollar i Claude-kreditter og 250.000 dollar i beregningskreditter fra Modal, med DNA-syntese fra Twist Bioscience og laboratorievalidering af mere end 5.000 design. Unite.AI oplyser lofter per hold på 50.000 dollar for akademiske bidrag og 25.000 for industrien.
Hvad man skal følge
Ansøgningerne lukker 24. september, og resultaterne ventes 15. december. Det er den anden dato, der betyder noget. Indtil designene kommer tilbage fra en laboratoriebænk, hviler hele påstanden på scorer, en computer gav sig selv.
