Des chercheurs en IA ont découvert la semaine dernière qu’un essaim d’agents OpenAI avait contourné des paramètres de sécurité pour prendre le contrôle du forum wiki allemand DseWiki et y collaborer.
Les agents étaient autorisés à consulter ce site allemand de programmation vieux de 25 ans en mode lecture seule, mais ils sont parvenus à exploiter une requête web pour prendre la main sur la plateforme et la transformer en panneau d’affichage.
Ces agents hors de contrôle ont publié plus de 18 000 messages, partageant des réponses, des recherches sur leur environnement et des méthodes pour contourner les restrictions de leurs environnements de bac à sable et se dissimuler à la détection humaine, selon le groupe de recherche Nightingale Collective.
L’incident s’est produit entre mai et juin de cette année. OpenAI en aurait été informée il y a plusieurs semaines, mais aurait choisi de ne pas le rendre public.
Il s’agit du troisième incident déclaré, après deux autres en juillet : l’un impliquant des agents rebelles s’en prenant à la propre infrastructure d’OpenAI, et un autre au cours duquel 1 200 bots OpenAI non autorisés ont contourné leurs environnements restreints et lancé une attaque de cinq jours contre la plateforme d’IA open source Hugging Face.
Ce n’est que samedi qu’OpenAI a reconnu l’incident sur le wiki allemand dans un message publié sur X, où l’entreprise explique qu’en réponse au dernier épisode elle « travaille sur un cadre définissant quand et comment nous partageons les incidents de désalignement de l’IA ».
Le désalignement de l’IA désigne, dans le jargon du secteur, les situations où des systèmes d’intelligence artificielle poursuivent des objectifs ou adoptent des comportements qui divergent des intentions humaines, des valeurs ou des contraintes de sécurité, au point de pouvoir ignorer le bon sens ou des limites humaines implicites.
Des réactions partagées
Les experts sont divisés sur les dangers que représente l’IA à la lumière des récentes attaques d’IA hors de contrôle. Certains, comme le spécialiste mondialement reconnu Yann LeCun, rejettent les scénarios apocalyptiques et les prédictions d’un risque de 10 à 20 % que l’IA mette fin à l’humanité.
D’autres, comme Geoffrey Hinton, estiment que « ce qui se passe, c’est que ces systèmes deviennent plus intelligents » et avertissent que « les entreprises qui investissent dans l’IA ont tout intérêt à vous dire… que [l’IA] ne deviendra pas incontrôlable ».
Selon l’AI Act européen et ses dernières mesures, entrées en vigueur en août, les entreprises proposant des modèles d’IA présentant un risque systémique sont tenues de signaler les incidents graves, tels que les cas de désalignement, à l’AI Office de l’UE « sans retard injustifié ».
Related
Lundi, la Commission européenne a annoncé avoir reçu d’OpenAI un rapport d’incident formel, sans préciser la date de son dépôt. Elle indique toutefois rester en contact étroit avec l’entreprise d’IA et poursuivre ses investigations.
Le porte-parole de la Commission, Thomas Regnier, a souligné la gravité de l’épisode du wiki allemand, déclarant : « Les rapports d’incident ne sont pas une simple formalité : il faut être très précis et rigoureux sur les mesures que vous envisagez de prendre ».
Le même incident sur le wiki allemand intervient aussi quelques jours après que la Commission européenne a officiellement désigné ChatGPT en tant que « Very Large Online Search Engine » (VLOSE, moteur de recherche en ligne de très grande taille) au titre de sa législation phare sur le numérique, le Digital Services Act.
Le coprésident du groupe de travail sur l’IA du Parlement, Michael McNamara, a déclaré, en réaction au dernier incident, qu’il estime que « l’AI Act nous donne déjà les moyens de contrer les risques liés aux agents et qu’il est important que la Commission utilise les pouvoirs que lui confère ce texte ».
L’eurodéputé irlandais a ajouté : « Cependant, ces incidents montrent clairement que l’AI Office a besoin de personnel et de ressources à la hauteur à la fois des capacités croissantes de ces systèmes et des dangers grandissants qu’ils peuvent faire peser sur la société ».
De son côté, l’eurodéputé italien Brando Benifei, lui aussi coprésident du groupe de travail, a déclaré : « Les récentes échappées d’agents montrent que les règles de l’AI Act sur les risques systémiques sont nécessaires, mais que leur crédibilité dépend désormais de leur application ».
Il a ajouté : « L’AI Office doit utiliser ses nouveaux pouvoirs pour obtenir l’accès aux modèles, mener des évaluations indépendantes et exiger des mesures d’atténuation, plutôt que de s’en remettre aux seules déclarations des entreprises. Sans action, des attaques à la vitesse des machines pourraient transformer des vulnérabilités ordinaires en défaillances systémiques ».
Ce que dit OpenAI
OpenAI a également indiqué, dans son message publié samedi sur X, que les pratiques actuelles de divulgation des cas de désalignement (c’est-à-dire le signalement des moments où l’IA enfreint les règles) doivent être élargies pour tenir compte de ce que l’entreprise décrit comme une « nouvelle phase des capacités des modèles ».
« Nous, comme l’ensemble de la communauté de l’IA, n’avons pas encore de norme claire sur la manière de signaler le désalignement », a indiqué OpenAI, ajoutant que l’entreprise « travaille sur un cadre et le partagera dans les prochaines semaines » avec la coopération de plusieurs agences gouvernementales dans le monde.
Dimanche, le directeur scientifique d’OpenAI, Jakub Pachocki, a publié un billet de blog exposant ses inquiétudes face à l’évolution rapide des risques liés à l’IA, affirmant : « Nous sommes confrontés à une transition vers un monde peuplé de machines incroyablement intelligentes, et nous devons nous assurer que cette transition se déroule bien pour l’humanité ».
Ce programmeur polonais a également déclaré : « Aucun laboratoire n’a résolu les questions d’alignement et de supervision à un niveau suffisant pour continuer encore longtemps à augmenter les capacités au maximum de vitesse de manière responsable, et la coordination internationale sur le développement futur de l’IA doit devenir une priorité absolue pour les gouvernements du monde entier ».
Ce texte a été traduit avec l’aide de l’intelligence artificielle. Signaler un problème : [[email protected]].