En simulator utan simulering i sig
Nvidia har släppt Cosmos3-H-Dreams, en modell som genererar kirurgisk video i realtid som svar på instrumentreglage. Man rör gripdonen och bilden av operationsfältet ändras därefter.
Det ovanliga är vad som saknas. En vanlig kirurgisimulator är en fysikmotor: vävnaden modelleras, verktygen kolliderar med den och en renderare ritar resultatet. Cosmos3-H-Dreams har inget av det. Den är en generativ videomodell som tränats på inspelningar av verkliga operationer och förutsäger nästa bildrutor utifrån de nuvarande och kirurgens inmatningar.
Träningsdata är kliniska inspelningar av kolecystektomi — borttagande av gallblåsan — gjorda på CMR Surgicals robotplattform Versius. Handlingsrymden har 28 dimensioner som täcker pose- och gripdata för båda armarna, energireglage samt styrspakars axlar och knappar, synkroniserade med video i 10 Hz.
Vad som publicerades
Två kontrollpunkter släpptes den 20 oktober: en elev med fyra steg och en med två. Tvåstegsmodellen tränades separat och togs inte fram genom att skära ned fyrstegsmodellens samplingssteg, en detalj som visar att den kortare modellen är en verklig träningskörning och inte en kvalitetseftergift i efterhand.
Grunden är Cosmos3-H-Embodied-Nano, en modell med 16 miljarder parametrar förtränad på Open-H-Embodiment. Videon är 832 gånger 480. Läraren tränades på sekvenser om 24 bildrutor och utökades sedan till 72, vilket är 7,2 sekunder i 10 Hz. Nvidia uppger att den körs interaktivt på ett enda RTX PRO 6000-grafikkort, med en strömmande körmiljö kallad FlashDreams och en anpassad minnesmodul som konsoliderar nyckel- och värdecachen under långa körningar.
Vid sidan av kontrollpunkterna publicerade Nvidia kod och exempel på GitHub samt ett recept för finjustering av läraren och destillering, så att ett sjukhus eller en utrustningstillverkare kan anpassa systemet till sina egna inspelningar.
Förbehållet står i inlägget
Nvidia beskriver den som en forskningssimulator och anger att den inte är ett validerat system för patientvård. Den meningen gör verkligt arbete. En modell som producerar trovärdig kirurgisk video utifrån en videopriori med 16 miljarder parametrar garanterar inte att vävnaden beter sig som vävnad gör, bara att bildrutorna ser ut som de bildrutor den tränats på.
Varifrån den kommer och vad som inte sägs
Föregångaren, Cosmos-H-Dreams, byggdes på Cosmos-Predict2.5 och riktade in sig på suturering på bordsnivå i forskningsplattformen dVRK. Att gå från en forskningsrigg med sutureringsövningar till kliniska inspelningar av en kommersiell kirurgirobot som utför ett verkligt ingrepp är det steg det här släppet utgör.
Två saker inlägget inte ger: antalet parametrar i de destillerade kontrollpunkterna själva, och de bildfrekvenser och fördröjningar som faktiskt uppnås vid körning. För en modell vars anspråk är att den är interaktiv är den andra utelämningen den att trycka på. Kontrollpunkten ligger på Hugging Face som nvidia/Cosmos3-H-Dreams, märkt bild till video, och licensvillkoren står på modellkortet och inte i tillkännagivandet.
