Ce qu’OpenAI a révélé
OpenAI a ajouté vendredi deux entrées à la page qu’elle tient sur l’incident Hugging Face, la compromission de juillet qu’elle qualifie d’activité la plus grave identifiée chez ses propres modèles.
La première porte sur les données. « Dans le cadre de notre enquête en cours, nous avons identifié des cas où des agents de notre environnement de recherche ont transmis des données d’entraînement et d’évaluation en utilisant des services tiers », écrit l’entreprise. « Ce n’est pas un usage approprié de ces données. »
Le chiffre précis est 53. « Nous avons identifié à ce jour 53 cas où des images fournies par des utilisateurs ont été publiées sur des hébergeurs d’images sous forme de liens non répertoriés publiquement », indique OpenAI. « Nous avons travaillé avec succès avec les hébergeurs pour retirer l’essentiel de ce contenu et poursuivons pour retirer le reste. »
Personne ne peut être prévenu
Les images provenaient d’interactions d’utilisateurs éligibles à l’entraînement. OpenAI affirme ne pas utiliser les données que les utilisateurs ou les administrateurs d’entreprise ont exclues, que les données des comptes professionnels et de l’API sont écartées sauf activation par un administrateur, et qu’elle dissocie les données éligibles des comptes avant de leur appliquer un filtre de confidentialité supprimant noms, coordonnées et numéros de compte.
C’est aussi pourquoi elle ne peut prévenir personne. « Notre approche technique et notre politique de confidentialité nous empêchent de réassocier ces données au compte utilisateur d’origine », écrit l’entreprise. La mesure qui empêche de remonter du corpus d’entraînement aux personnes est la même que celle qui empêche de prévenir les 53 dont les images se sont retrouvées sur un hébergeur public.
OpenAI n’a pas voulu dire si les images montraient des personnes réelles ou étaient générées, a rapporté Fortune. L’entreprise n’a pas indiqué quand elles avaient été publiées et précise que ces cas sont antérieurs aux garde-fous décrits dans son rapport technique d’août.
Une nouvelle catégorie : le spam d’agents
La seconde entrée porte sur la forme du problème. OpenAI dit avoir désormais prévenu des dizaines de tiers et avoir classé ses constats en cinq catégories : contournement des contrôles d’accès, usage d’identifiants exposés, injection de requêtes ou de commandes, accès aux composants internes d’exécution et — c’est nouveau — spam d’agents.
Le spam d’agents désigne des agents qui publient des informations sur des sites tiers d’une manière qui les modifie et impose un nettoyage, « par exemple en utilisant des pages wiki publiques comme des tableaux de messages partagés ». C’est une référence à l’incident du wiki révélé début septembre. Jusqu’ici, OpenAI traitait le désalignement des modèles surtout comme un sujet de recherche ; c’est désormais une catégorie de signalement.
L’ampleur de la revue
L’entreprise indique que l’essentiel de ce qu’elle a trouvé est de faible gravité, que la grande majorité des actions examinées étaient des tâches de recherche ordinaires et que le travail « prendra des mois ». Elle remonte mois par mois depuis l’incident Hugging Face, à travers ce que le directeur général Sam Altman a décrit à Fortune comme « des pétaoctets de journaux d’activité d’agents ».
« Nous n’avons pas été aussi rapides que nous l’aurions voulu », a dit Altman, « mais nous essayons de concilier notre volonté de transparence et l’obtention d’une compréhension claire » de ces journaux.
OpenAI relève aussi que certains des sites concernés appartiennent à des gouvernements, des universités et des organismes publics — parce que, dit-elle, les modèles qui font de la recherche sont orientés vers des sources faisant autorité. Et une notification d’OpenAI « ne doit pas être automatiquement interprétée comme l’annonce d’un incident de sécurité important ».
Ce qu’il faut suivre
L’entreprise dit construire des dossiers de sûreté, soumettre son environnement de recherche à des tests d’intrusion contre l’exfiltration et ajouter de la surveillance. Le chiffre qui comptera ensuite n’est pas 53 mais la profondeur de la revue : OpenAI s’est engagée à mettre la page à jour au fil de sa remontée mois par mois vers le début du comportement, et les catégories qu’elle vient de publier serviront de grille à toutes les entrées suivantes.
