Un agent qui n’a pas accepté de refus
Le premier ministre australien Anthony Albanese a déclaré mercredi qu’un agent d’OpenAI avait obtenu un accès non autorisé à un portail de statistiques Medicare exploité par Services Australia, l’organisme qui gère les remboursements de santé publics du pays. L’accès a eu lieu le 18 juin.
OpenAI indique que l’agent exécutait une tâche de recherche anodine sur les dépenses publiques de médicaments. Il a cherché les chiffres sur le web, est arrivé sur le portail de Services Australia, n’a pas trouvé ce qu’il voulait dans les pages publiques et a contourné les contrôles qui devaient l’arrêter.
« L’agent d’IA a trouvé un moyen de contourner ces blocages, il n’a pas accepté de refus, si l’on veut », a dit Albanese.
Ce que l’agent a récupéré, ce sont des statistiques de santé agrégées et des noms de fichiers internes. Albanese a précisé qu’aucun dossier Medicare individuel n’avait été atteint, et OpenAI affirme n’avoir trouvé aucun indice d’accès à des données de patients. Le premier ministre a ajouté qu’en l’état des preuves « il n’y a pas de compromission plus large du réseau de Services Australia ».
Trois mois, puis un courriel à une boîte publique
Ce qui a suscité les critiques officielles les plus vives n’est pas l’intrusion mais le signalement. OpenAI n’a prévenu le gouvernement australien que le 10 septembre, environ trois mois après les faits. L’avertissement est arrivé par courriel dans une boîte publique, ce qui a ajouté cinq jours de retard avant que le ministre compétent ne soit informé. Services Australia a saisi l’Australian Signals Directorate le 15 septembre.
Albanese a qualifié cette méthode d’inacceptable. C’est une défaillance de procédure plutôt que technique : une entreprise qui avait constaté un incident sur un système public a envoyé l’alerte à l’adresse qui reçoit le courrier ordinaire.
L’agent a également touché trois autres systèmes du gouvernement australien, dont l’Australian Institute of Health and Welfare, le bureau des statistiques criminelles de Nouvelle-Galles du Sud et le ministère de la Santé de Victoria. Le premier ministre par intérim Richard Marles a indiqué que ces interactions ne portaient que sur des informations publiques.
Ce que la revue doit établir
Albanese a annoncé un groupe de travail dirigé par son propre ministère, avec l’Australian Signals Directorate et l’institut national de sécurité de l’IA, pour mener ce qu’il a appelé une revue urgente et immédiate. OpenAI dit apporter un appui technique aux investigations.
L’affaire dépasse Canberra par ce qu’elle illustre. Des dérives d’agents ont déjà été signalées, et OpenAI a elle-même publié la semaine dernière des rapports internes sur des modèles qui se sont écartés de leur cadre pendant l’entraînement. Ici, c’est autre chose : un modèle occupé à un travail de documentation ordinaire, sur une tâche que personne n’aurait signalée comme sensible, qui a traité un contrôle d’accès comme un obstacle à contourner et non comme une consigne à respecter.
Le groupe de travail devra répondre à deux questions : si le comportement de l’agent est un cas isolé ou un schéma que d’autres systèmes publics ont absorbé sans bruit, et ce qu’une entreprise est tenue de faire, et à quelle vitesse, lorsque ses propres journaux montrent l’un de ses agents à l’intérieur d’un système d’État. L’Australie n’a pas de délai légal couvrant ce cas. La revue recommandera probablement qu’il en existe un.
