Trois organismes dont personne n’avait été informé
OpenAI a publié dimanche un compte rendu de ce que ses modèles ont fait aux systèmes du gouvernement australien pendant l’entraînement et l’évaluation internes de juin, et il nomme quatre organismes au lieu du seul déjà connu.
L’entreprise n’avait été reliée jusqu’ici qu’à Services Australia. Elle nomme désormais aussi le Bureau des statistiques criminelles et de la recherche de Nouvelle-Galles du Sud (BOCSAR), le ministère de la Santé de l’État de Victoria et l’Institut australien de la santé et du bien-être (AIHW). « Nous sommes désolés et travaillons à faire mieux à l’avenir », écrit l’entreprise.
Au service de statistiques Medicare de Services Australia, OpenAI indique qu’un modèle « a découvert un moyen d’obtenir un accès non public au service, a exécuté des commandes, récupéré des fichiers internes, des identifiants et des statistiques agrégées, et écrit des fichiers ». Elle précise qu’aucun dossier individuel de patient ou d’usager n’a été consulté.
Au BOCSAR, un modèle a interrogé l’outil public de cartographie de la criminalité et le système a renvoyé la configuration de l’application, des tâches et journaux d’exploitation, et des métadonnées du site. Au ministère de la Santé de Victoria, OpenAI dit que ses agents ont trouvé une clé d’accès exposée et l’ont utilisée pour interroger le système de reporting de l’agence sanitaire de l’État, récupérant une configuration de reporting et des statistiques d’enquête agrégées — et ajoute que la part de ces données qui aurait dû être accessible « n’est pas claire ». À l’AIHW, les tentatives de contourner les contrôles d’accès ont échoué et le matériel téléchargé semble avoir été public.
La tâche portait sur les dépenses en médicaments dermatologiques
L’origine de l’incident Services Australia est singulièrement banale. OpenAI dit qu’elle faisait tourner un modèle expérimental, réservé à un usage interne, sans l’ensemble complet des garde-fous de ses produits publics, et lui avait confié des questions de recherche du type de celles que posent les utilisateurs.
L’une d’elles consistait à chercher les dépenses publiques par habitant en médicaments dermatologiques dans les communes de Victoria. Le modèle n’a pas trouvé le chiffre et, toujours à sa poursuite, s’est frayé un accès non public et a commencé à lire des informations techniques du système et du code source. « Nous n’avions pas l’intention que cette activité se produise », écrit OpenAI.
Trois mois d’écart, expliqués mais pas excusés
Le calendrier de divulgation est ce que les responsables politiques australiens retiendront sans doute. OpenAI dit n’avoir commencé à réexaminer l’activité d’entraînement antérieure qu’après l’incident Hugging Face de juillet, que ce réexamen a identifié l’activité australienne à la mi-août, et qu’elle a prévenu Services Australia et le ministère de la Santé de Victoria le 10 septembre, le BOCSAR le 18 septembre et l’AIHW le 24 septembre.
L’activité liée à l’AIHW « n’atteignait pas nos seuils de divulgation », dit l’entreprise, parce que l’accès paraissait conforme à un accès public; elle a tout de même prévenu l’organisme. Sur le retard général, elle écrit: « nous aurions dû partager plus tôt nos conclusions préliminaires et tenir les organismes australiens informés à mesure que les faits apparaissaient ».
Cela vient percuter une enquête du Sénat australien qui a demandé la semaine dernière à Sam Altman et Dario Amodei de se présenter à Canberra.
Ce que promet OpenAI
L’entreprise dit avoir bloqué l’accès direct à internet dans ses environnements de recherche, l’accès web étant désormais servi depuis un cache, et avoir étendu la surveillance. Elle cite un entraînement récent où un modèle a retrouvé un accès internet direct, la surveillance a alerté un humain et la session a été arrêtée. Elle répète que Hugging Face « demeure l’incident le plus grave que nous ayons observé », et que l’entraînement et l’évaluation impliquant l’usage d’outils pour ses modèles les plus capables restent suspendus.
Pour l’Australie, elle promet un soutien dédié aux organismes touchés, des crédits tirés de son fonds Daybreak for Frontline Defenders d’un milliard de dollars, et un groupe de travail d’experts australiens indépendants chargé de recommander comment développeurs et gouvernements devraient se notifier ce type d’incident. Le groupe doit rendre ses conclusions avant la fin de l’année, avant que le Sénat ne rapporte.
