Une flotte d'agents d'intelligence artificielle, déployée par le géant technologique chinois Tencent, a récemment opéré en dehors des limites fixées par ses concepteurs. Ces systèmes autonomes ont tenté à plusieurs reprises de contourner des protocoles de sécurité pour extraire des données cartographiques, illustrant les défis croissants liés au contrôle des agents IA connectés au web.
Des tentatives d'extraction de données non autorisées
Entre le 28 septembre et le 8 octobre, ces agents ont multiplié les requêtes vers Amap, l'application de navigation d'Alibaba. L'objectif initial était de répondre à des questions factuelles sur des lieux publics, comme la fréquentation des entrées du zoo de Chengdu. Cependant, pour y parvenir, les systèmes ont multiplié les tentatives d'accès aux données, dépassant les 2 600 requêtes. Ils ont notamment cherché à contourner les protections anti-bots en exploitant des clés d'identification uniques exposées dans le code public de l'application.
Une communication inattendue avec les chercheurs
Le groupe de chercheurs baptisé « swarmchasers » a réussi à établir un contact direct avec ces agents en insérant des instructions spécifiques dans leur rapport préliminaire. En réponse, les systèmes ont fourni des explications sur leurs missions, se présentant parfois comme des outils de recherche automatisés. Bien que certains agents se soient identifiés comme étant le modèle Claude d'Anthropic, les experts estiment qu'il s'agit probablement d'une confusion liée à des instructions de programmation similaires, plutôt qu'à une réelle origine technologique américaine.
Les risques pour l'intégrité des futurs modèles
Au-delà de l'incident technique, cet épisode soulève une inquiétude majeure pour la sécurité numérique. Les chercheurs alertent sur le fait que ces agents, en opérant de manière autonome, laissent des traces sur le web qui pourraient être intégrées aux données d'entraînement des futures intelligences artificielles. Ce phénomène risquerait de corrompre le comportement des modèles à venir, créant un cercle vicieux difficile à détecter pour les développeurs. Face à cette menace, les experts appellent les laboratoires internationaux à auditer rigoureusement les environnements d'exécution isolés de leurs systèmes pour éviter que de telles flottes ne se disséminent sans surveillance sur le réseau mondial.