Quatro semanas, trinta e tal modelos
A Anthropic publicou na quinta-feira um trabalho em que o Claude, dentro do ambiente Claude Science da empresa, reescreveu mais de 30 modelos abertos de aprendizagem profunda usados em biologia para que corram mais depressa. A empresa diz que a aceleração média nos modelos de previsão de estruturas e de desenho foi de cerca de quatro vezes, e que dois funcionários sem experiência prévia em otimização de inferência acompanharam o trabalho durante pouco menos de quatro semanas.
O resultado são 36 pacotes otimizados em seis famílias: 14 de dobragem conjunta e previsão de estruturas, sete de genómica, seis de geração de estruturas e três de cada uma de dobragem inversa, alucinação e modelos de linguagem de proteínas.
O que ficou mais rápido, e quanto
A Anthropic descreve três modos. Um modo exato, que produz resultados idênticos, corre cerca de 1,6 vezes mais depressa. Um modo rápido, em 13 modelos, cerca de 4,1 vezes. Um modo de pouca memória, cerca de 3,4 vezes. Por baixo está um conjunto próprio de núcleos de GPU a que a empresa chama FlashPairformer e que, segundo diz, bate as implementações cuEquivariance da própria Nvidia: 2,7 a 2,9 vezes mais rápido na atenção triangular e 1,7 a 3,2 vezes na multiplicação triangular.
Cada um desses números é uma medição da própria Anthropic, feita em GPU H100 da Nvidia. Nenhum grupo externo as reproduziu.
Moléculas maiores num único nó
A mudança prática é a memória. O modo de pouca memória permite que um só nó de GPU da Nvidia preveja sistemas biomoleculares com mais de 10.000 tokens — aminoácidos, nucleótidos e os átomos de moléculas pequenas e iões — e a Anthropic diz ter corrido inferência em sistemas acima de 70.000. Afirma ter dobrado o complexo I mitocondrial humano, o complexo chaperone TRiC, proteassomas e ribossomas bacterianos.
Descreve também uma campanha de desenho de proteínas que atingiu pontuações de ligação comparáveis a trabalhos anteriores com cerca de duas ordens de grandeza menos horas de GPU, a um custo combinado de aproximadamente 150 dólares. A Anthropic diz claramente que esses desenhos nunca foram testados em laboratório e que as pontuações são computacionais.
O que não resultou
O relato regista também as falhas. As previsões de grandes cápsides virais colapsaram numa bola compacta, com pontuações de precisão muito baixas, assinalou a Unite.AI. O repositório é publicado como uma versão de referência que a empresa diz não ir manter.
Um concurso para decidir à bancada
A Anthropic abriu o código otimizado e organiza com a Adaptyv Bio um concurso de desenho de proteínas sobre cinco problemas no limite da capacidade atual, entre eles a reatividade cruzada entre espécies, a sensibilidade ao pH, a especificidade péptido-MHC e alvos de recetores acoplados a proteínas G. A dotação chega a um milhão de dólares em créditos Claude e 250.000 em créditos de computação da Modal, com síntese de ADN da Twist Bioscience e validação laboratorial para mais de 5.000 desenhos. A Unite.AI refere tetos por equipa de 50.000 dólares para académicos e 25.000 para a indústria.
O que observar
As candidaturas fecham a 24 de setembro e os resultados chegam a 15 de dezembro. É a segunda data que conta. Até que os desenhos voltem de uma bancada, toda a afirmação assenta em pontuações que um computador se deu a si próprio.
