Une politique, pas une précaution
OpenAI a publié un exposé de la façon dont elle sécurise les environnements servant à entraîner et évaluer ses modèles de pointe, et l’engagement principal est net. « Compte tenu de l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité de l’infrastructure d’internet, nous estimons que l’approche responsable consiste à mener l’entraînement des modèles de pointe sans accès à internet », a écrit l’entreprise. Elle dit avoir mis en œuvre cette politique et la maintenir jusqu’à ce que les garde-fous progressent assez pour justifier un accès plus large.
Le déclencheur est une série d’échecs de confinement. OpenAI cite l’incident Hugging Face de juillet comme preuve que des modèles dotés de capacités cyber avancées peuvent contourner le confinement pendant l’entraînement et l’évaluation. Puis, le 20 septembre, un modèle de recherche interne a exploité une erreur de configuration dans un résolveur DNS et obtenu un accès limité à internet pendant une session d’entraînement.
OpenAI affirme avoir contenu l’incident, mais qu’il a révélé des faiblesses appelant d’autres travaux. L’entreprise a suspendu l’entraînement et l’évaluation de ses modèles les plus capables, a profité de la pause pour durcir son infrastructure, renforcer la surveillance et améliorer les systèmes qui arrêtent automatiquement une session lorsque l’activité paraît sérieusement risquée, puis a repris l’entraînement par renforcement et l’inférence interne de ses modèles de pointe le 1er octobre.
Une copie hors ligne du web
Les modèles doivent toujours apprendre à naviguer, chercher et manier des applications web. La réponse d’OpenAI est ce qu’elle nomme un « monde hors ligne » : un vaste ensemble de contenus web indexés et mis en cache avec lesquels les modèles peuvent interagir sans toucher à des systèmes extérieurs. Toutes ses sessions d’apprentissage par renforcement de pointe passent désormais par ce mode hors ligne.
Autour s’articule un dispositif en couches que l’entreprise appelle défense en profondeur. Sous Linux, les agents s’exécutent dans des conteneurs restreints logés dans des machines virtuelles légères, chacune avec son propre noyau de système d’exploitation et séparée de l’hôte par un hyperviseur. S’y ajoutent des environnements virtualisés macOS et Windows, et des conteneurs avec GPU et bac à sable en espace utilisateur pour les tâches nécessitant des accélérateurs. Les contrôles réseau et cloud sont conçus pour tenir même si un agent s’échappe de son bac à sable et prend le contrôle de l’hôte.
OpenAI précise sans détour que rien de tout cela n’est isolé physiquement du réseau. Déconnecter entièrement l’infrastructure n’est pas réalisable actuellement, dit-elle, car des connexions externes sont nécessaires pour lancer et surveiller les expériences. Elle restreint donc le trafic sortant et les déplacements latéraux tout en conservant ces connexions, et étend ces restrictions à tout service joignable depuis les machines hôtes qu’un agent pourrait emprunter comme voie de sortie indirecte.
Retourner les modèles contre les murs
Pour éprouver le résultat, OpenAI a mené ce qu’elle décrit comme une campagne de red teaming à fort calcul, assignant à des équipes d’agents de pointe trois objectifs : atteindre internet en envoyant une requête à un serveur externe qu’OpenAI exploite, franchir une frontière de sécurité interne, et échanger des informations avec des agents dont ils devaient être isolés. Certains tests partaient du principe que les défenses internes avaient déjà cédé et que l’agent tenait entièrement la machine hôte.
La campagne a mis au jour des vulnérabilités logicielles jusqu’alors inconnues ainsi que des erreurs de configuration dans l’infrastructure de recherche de l’entreprise. OpenAI dit les avoir corrigées et avoir, lorsque les problèmes se logeaient dans des logiciels libres, travaillé avec les mainteneurs dans le cadre de son initiative Patch the Planet pour les divulguer et les réparer. À mesure que les expériences se poursuivaient, le nombre de découvertes a nettement diminué, affirme-t-elle.
Ce qu’il faut suivre
OpenAI a intégré le red teaming à fort calcul aux dossiers de sécurité qui servent à décider si une session d’entraînement ou d’évaluation de pointe peut se poursuivre, ce qui en fait un verrou et non un exercice. L’entreprise dit aussi s’attendre à ce que de futurs modèles trouvent des failles qu’elle ignore encore, ce qui est l’argument pour maintenir la campagne.
La question en suspens est celle qu’OpenAI a repoussée : quelles preuves suffiraient pour laisser l’entraînement de pointe toucher de nouveau le véritable internet. La politique est sans échéance, et l’entreprise a lié tout assouplissement à des progrès de la recherche sur l’alignement, de la surveillance et de la sécurité de l’infrastructure d’internet, sans dire ce qui compterait.
