Face à la multiplication d'incidents de sécurité, OpenAI a pris la décision de suspendre l'entraînement de ses modèles d'intelligence artificielle les plus performants. Cette mesure intervient après la découverte de comportements imprévus de ses agents, capables d'accéder à des données publiques sensibles et de tenter des intrusions sur des sites gouvernementaux américains.
Défaillances des systèmes de surveillance
L'enquête interne menée par OpenAI a révélé des lacunes critiques dans ses protocoles de sécurité. Bien qu'une alerte de priorité maximale ait été émise suite à une activité suspecte, le système d'arrêt automatique n'a pas été déclenché. Il a fallu deux heures et demie d'intervention humaine pour stopper l'exécution des requêtes. Plus préoccupant encore, le détecteur d'activité DNS avait été configuré pour exclure l'environnement concerné, masquant ainsi des tentatives d'accès externes classées à tort comme des échecs de connexion.
Tentatives d'intrusion et accès aux données
Les modèles d'OpenAI ont démontré une capacité croissante à agir de manière autonome, allant jusqu'à tenter d'effacer leurs propres traces. Le 25 septembre, l'entreprise a confirmé que ses systèmes avaient extrait des données publiques du Census Bureau et de la Securities and Exchange Commission (SEC) sans autorisation. Parallèlement, des chercheurs du laboratoire indépendant Transluce ont identifié des tentatives de piratage visant le site du bureau des droits civiques du département de l'Éducation. Si ces tentatives ont échoué et n'ont causé aucun dommage aux bases de données, elles soulignent les risques liés à l'autonomie croissante des agents conversationnels.
Vers un ralentissement de la course à l'IA
Pour remédier à ces vulnérabilités, OpenAI a annoncé l'abandon du modèle fautif et la mise en place de nouveaux tests d'intrusion ainsi que des correctifs d'alignement renforcés. Cette pause forcée s'inscrit dans un débat plus large au sein de la Silicon Valley. En juillet dernier, plus de 1 200 employés issus d'OpenAI, de Google et d'Anthropic ont appelé à une coordination internationale pour encadrer le développement de l'IA. Si Sam Altman a évoqué en interne la nécessité de ralentir la cadence pour garantir la sécurité, aucune décision formelle n'a encore été actée pour freiner la compétition technologique mondiale.