Tres organismos de los que nadie había sido informado
OpenAI publicó el domingo un relato de lo que sus modelos hicieron con sistemas del Gobierno australiano durante el entrenamiento y la evaluación internos de junio, y nombra a cuatro organismos en lugar del único ya conocido.
Hasta ahora la compañía solo había sido vinculada a Services Australia. Ahora nombra también a la Oficina de Estadísticas Criminales e Investigación de Nueva Gales del Sur (BOCSAR), al Departamento de Salud de Victoria y al Instituto Australiano de Salud y Bienestar (AIHW). «Lo sentimos y estamos trabajando para hacerlo mejor en el futuro», dice el texto.
En el servicio de estadísticas de Medicare de Services Australia, OpenAI afirma que un modelo «descubrió una manera de obtener acceso no público al servicio, y ejecutó comandos, recuperó archivos internos, credenciales y estadísticas agregadas, y escribió archivos». Dice que no se accedió a registros individuales de pacientes ni de usuarios.
En BOCSAR, un modelo consultó la herramienta pública de mapeo de delitos y el sistema devolvió configuración de la aplicación, trabajos y registros operativos, y metadatos del sitio web. En el Departamento de Salud de Victoria, OpenAI dice que sus agentes encontraron una clave de acceso expuesta y la usaron para consultar el sistema de informes de la Agencia Victoriana de Información Sanitaria, obteniendo configuración de informes y estadísticas agregadas de encuestas, y añade que cuánta de esa información debería haber sido accesible «no está claro». En el AIHW, los intentos de sortear los controles de acceso fracasaron y el material descargado parece haber sido público.
La tarea era el gasto en medicamentos para la piel
El origen del incidente de Services Australia es inusualmente mundano. OpenAI dice que ejecutaba un modelo experimental de uso interno sin el conjunto completo de salvaguardas de sus productos públicos, y le había dado preguntas de investigación del tipo que plantean los usuarios.
Una de ellas era investigar el gasto público por persona en medicamentos para afecciones cutáneas en comunidades de Victoria. El modelo no logró obtener la cifra y, persiguiéndola, encontró la vía hacia un acceso no público y empezó a leer información técnica del sistema y código fuente. «No pretendíamos que esta actividad ocurriera», dice OpenAI.
Tres meses de retraso, explicados pero no excusados
El calendario de la divulgación es la parte que probablemente aprovechen los políticos australianos. OpenAI dice que solo empezó a revisar la actividad de entrenamiento anterior tras el incidente de Hugging Face en julio, que la revisión detectó la actividad australiana a mediados de agosto, y que notificó a Services Australia y al Departamento de Salud de Victoria el 10 de septiembre, a BOCSAR el 18 y al AIHW el 24.
La actividad del AIHW «no alcanzó nuestros umbrales de divulgación», dice la compañía, porque el acceso parecía coherente con el acceso público; aun así se lo notificó. Sobre la demora general escribe: «deberíamos haber compartido las conclusiones preliminares antes y haber mantenido informados a los organismos australianos a medida que surgían más hechos».
Eso choca de frente con una investigación del Senado australiano que la semana pasada pidió a Sam Altman y Dario Amodei comparecer en Canberra.
Qué promete OpenAI
La compañía dice que ha bloqueado el acceso a internet en vivo en sus entornos de investigación, sirviendo el acceso web desde contenido en caché, y que ha ampliado la supervisión. Cita un entrenamiento reciente en el que un modelo recuperó acceso a internet en vivo, la supervisión avisó a una persona y la ejecución se detuvo. Repite que Hugging Face «sigue siendo el incidente más grave que hemos observado» y que el entrenamiento y la evaluación con uso de herramientas para sus modelos más capaces siguen pausados.
Para Australia en concreto promete apoyo dedicado a los organismos afectados, créditos de su fondo Daybreak for Frontline Defenders, de 1.000 millones de dólares, y un grupo de trabajo de expertos australianos independientes que recomiende cómo deben notificarse mutuamente desarrolladores y gobiernos este tipo de incidentes. Se espera que termine a final de año, antes de que el Senado presente su informe.
