Desconectar por defecto
Cuatrocientos seis científicos han firmado una carta abierta en la que piden a toda organización que desarrolle, despliegue o pruebe modelos de IA con capacidad ciberofensiva que los mantenga aislados de la red, y que trate la desconexión de internet como punto de partida y no como último recurso.
La carta se publicó este mes con el título “An Open Letter on AI and Cybersecurity from the Scientific Community”. Arranca con los incidentes que la motivaron: “Multiple organizations have disclosed high-profile security failures: their AI models bypassed insufficiently sandboxed environments to compromise the systems of external organizations.”
Los firmantes no zanjan la discusión sobre qué significan esos fallos. Una lectura, dice la carta, es que demuestran la importancia del trabajo de alineamiento. La otra es que fueron “an irresponsible lapse in standard cybersecurity practices, preventable with stronger sandboxes and procedures”. La respuesta de la carta es que ambas lecturas se sostienen, y que sin cambios inmediatos en las prácticas de desarrollo y despliegue los incidentes seguirán ocurriendo y serán mucho más dañinos para las infraestructuras críticas expuestas.
Tres recomendaciones
La primera es inmediata y va dirigida a los laboratorios. Las organizaciones que trabajan con modelos de capacidad ciberofensiva “should immediately adopt high-assurance containment systems” y “should exercise caution, and initially default to airgapping cyber-capable models”. La carta glosa el aislamiento, entre paréntesis, como “disconnecting from the internet”.
La segunda es institucional. En consulta con los gobiernos y con expertos tanto en IA como en ciberseguridad, los firmantes quieren que se cree un organismo internacional que normalice las mejores prácticas de alineamiento y de contención que, a diferencia del aislamiento físico, permitan mayor acceso fuera del entorno cerrado, incluida la conectividad. Ese organismo, escriben, debería además tener el mandato de registrar y seguir los fallos de contención.
La tercera cierra el círculo. Los incidentes de seguridad que impliquen un fallo de contención “must be reported to the body and eventually made public”, porque esa transparencia es necesaria tanto para aprender como para rendir cuentas.
Lo que la carta no hace es nombrar a ninguna empresa. Describe las divulgaciones en conjunto y deja la atribución al lector.
Quién firma, y por qué importa
La lista de firmas llega a 406 nombres en instituciones de 34 países, con los grupos más numerosos en Estados Unidos, Canadá y el Reino Unido. Lo llamativo es la mezcla. Está la comunidad de seguridad de la IA —Yoshua Bengio, Geoffrey Hinton y Stuart Russell, como señaló The Decoder—, pero también un contingente amplio de la criptografía académica y la seguridad de sistemas, con Dan Boneh, de Stanford, y Srini Devadas, del MIT.
Esa combinación es el argumento implícito de la carta. Trata la contención como un problema de ingeniería de seguridad al menos tanto como de alineamiento, y sostiene que decidir cuánto acceso a internet debe tener un modelo exigirá colaboración entre ambas comunidades.
Qué vigilar
La carta no fija plazo ni señala un foro para el organismo internacional que reclama, lo que deja sus recomendaciones institucionales como una declaración de rumbo más que como una petición con fecha.
La recomendación inmediata es distinta, y es la cara. Un modelo que no puede alcanzar internet no puede evaluarse en tareas que requieren internet, que es justamente la clase de tarea que convierte a un modelo en ciberofensivo. La primera prueba real de la carta es si algún desarrollador de un modelo frontera anuncia el aislamiento por defecto por su cuenta, antes de que se lo pida un gobierno.
