Un simulador sin simulación dentro
Nvidia ha publicado Cosmos3-H-Dreams, un modelo que genera vídeo quirúrgico en tiempo real en respuesta a los mandos de los instrumentos. Se mueven las pinzas y la imagen del campo operatorio cambia en consecuencia.
Lo insólito es lo que falta. Un simulador quirúrgico convencional es un motor de física: se modela el tejido, las herramientas chocan con él y un renderizador dibuja el resultado. Cosmos3-H-Dreams no tiene nada de eso. Es un modelo generativo de vídeo entrenado con grabaciones de operaciones reales que predice los fotogramas siguientes a partir de los actuales y de las entradas del cirujano.
Los datos de entrenamiento son grabaciones clínicas de colecistectomía —extirpación de vesícula— registradas en la plataforma robótica Versius de CMR Surgical. El espacio de acciones tiene 28 dimensiones que cubren pose y datos de pinza de ambos brazos, controles de energía y ejes y botones del mando, alineados con el vídeo a 10 Hz.
Qué se publicó
El 20 de octubre salieron dos puntos de control: un alumno de cuatro pasos y otro de dos. El de dos pasos se entrenó por separado y no se obtuvo recortando los pasos de muestreo del de cuatro, un detalle que indica que el modelo más corto es un entrenamiento real y no una concesión de calidad aplicada después.
La base es Cosmos3-H-Embodied-Nano, un modelo de 16.000 millones de parámetros preentrenado con Open-H-Embodiment. El vídeo es de 832 por 480. El profesor se entrenó con secuencias de 24 fotogramas y luego se extendió a 72, que son 7,2 segundos a 10 Hz. Nvidia dice que funciona de forma interactiva en una sola GPU RTX PRO 6000, con un entorno de ejecución en flujo llamado FlashDreams y un módulo de memoria adaptado que consolida la caché de claves y valores en despliegues largos.
Junto a los puntos de control, Nvidia publicó código y ejemplos en GitHub y una receta de ajuste fino del profesor y destilación, para que un hospital o un fabricante de dispositivos pueda adaptar el sistema a sus propias grabaciones.
La advertencia está en la publicación
Nvidia lo describe como un simulador de investigación y afirma que no es un sistema validado para la atención al paciente. Esa frase hace un trabajo real. Un modelo que produce vídeo quirúrgico verosímil a partir de un previo de vídeo de 16.000 millones de parámetros no garantiza que el tejido se comporte como se comporta el tejido, solo que los fotogramas se parecen a aquellos con los que se entrenó.
De dónde viene y qué no se dice
El predecesor, Cosmos-H-Dreams, se construyó sobre Cosmos-Predict2.5 y se dirigía a la sutura sobre mesa en la plataforma de investigación dVRK. Pasar de un banco de pruebas haciendo ejercicios de sutura a grabaciones clínicas de un robot quirúrgico comercial realizando un procedimiento real es el salto que representa este lanzamiento.
Dos cosas que la publicación no da: el número de parámetros de los propios puntos de control destilados y las tasas de fotogramas y latencias realmente alcanzadas en ejecución. Para un modelo cuya afirmación es que es interactivo, la segunda omisión es la que conviene apretar. El punto de control está en Hugging Face como nvidia/Cosmos3-H-Dreams, etiquetado como imagen a vídeo, y los términos de licencia están en la ficha del modelo y no en el anuncio.
