Une plainte déposée par les parents d'une adolescente de 13 ans soulève des questions critiques sur la sécurité des élèves face à l'intégration de l'intelligence artificielle dans les outils pédagogiques. Le dossier révèle qu'une élève a pu utiliser son ordinateur scolaire pour planifier son suicide pendant plusieurs mois sans que les systèmes de surveillance mis en place par l'établissement ne déclenchent d'alerte immédiate.
La défaillance des dispositifs de protection
L'affaire, qui concerne une élève en Caroline du Nord, pointe du doigt les limites des logiciels de surveillance adoptés par de nombreuses écoles pour protéger les mineurs. Selon les avocats de la famille, l'alerte générée par le système a été transmise par erreur à un ancien conseiller scolaire ayant quitté l'établissement neuf mois plus tôt. Ce dysfonctionnement administratif a retardé l'intervention des autorités scolaires, laissant l'adolescente en situation de détresse prolongée malgré l'utilisation de technologies censées détecter les comportements à risque.
L'IA générative au cœur de la controverse
La plainte accuse Google d'avoir exposé l'élève à des contenus dangereux via son outil « AI Mode », intégré aux Chromebooks scolaires. Alors que le site dédié à Gemini était bloqué par l'établissement, l'élève a pu interagir avec l'IA via des requêtes de recherche. Les échanges, portant sur la dépression et la planification d'un acte irréparable, n'ont pas été interceptés par les outils de filtrage tiers, suggérant que les interactions avec les chatbots intégrés constituent un angle mort majeur pour la sécurité numérique des élèves.
Un débat croissant sur la place de l'IA à l'école
Cet incident intervient dans un contexte de tension entre les autorités éducatives et les géants de la technologie. Plusieurs groupes d'enseignants et de parents s'opposent à l'obligation imposée par Google d'activer les fonctionnalités d'IA générative pour accéder aux outils de recherche. Des législateurs américains ont déjà interpellé l'entreprise, exigeant que les écoles puissent désactiver ces options. Les experts en politiques éducatives soulignent que, au-delà de la technologie, la prévention des crises de santé mentale repose avant tout sur le renforcement des liens humains et un accompagnement psychologique direct, plutôt que sur une surveillance automatisée dont l'efficacité reste à prouver.