L'accusation portée par l'outil Pangram contre l'ouvrage « C'était ça ou mourir » de Thélyson Orélien relance le débat sur la fiabilité des logiciels de détection de contenus générés par intelligence artificielle. Si ces technologies promettent d'identifier les automatismes stylistiques des machines, leur précision scientifique reste un sujet de vigilance pour les secteurs créatifs et académiques.
Le fonctionnement technique de l'algorithme Pangram
Le logiciel Pangram repose sur l'analyse des structures grammaticales, de la ponctuation et des transitions, des éléments qualifiés de « patterns » par son concepteur, Max Spero. Pour entraîner son modèle, l'entreprise a comparé des millions de documents humains authentiques avec des textes produits par des modèles de langage avancés comme ChatGPT ou Claude. L'objectif est de repérer les raccourcis décisionnels propres aux IA, dont la probabilité de reproduction par un humain serait, selon l'éditeur, statistiquement négligeable.
Une performance supérieure mais perfectible
Une étude menée par des chercheurs de l'université de Bruxelles a évalué l'efficacité de cet outil en soumettant 200 textes à son analyse. Les résultats indiquent que Pangram surpasse ses concurrents actuels en matière de précision. Toutefois, la perfection n'est pas atteinte : l'outil identifie environ 80 % des contenus générés par machine, laissant une marge d'erreur non négligeable. De plus, le PDG de l'application reconnaît l'existence de « faux positifs », estimant qu'un texte humain peut être identifié à tort comme étant produit par une IA dans un cas sur 10 000.
L'application au cas Thélyson Orélien
La controverse entourant le livre de Thélyson Orélien illustre les enjeux de cette technologie dans le champ littéraire. Si les outils de détection ne peuvent garantir une certitude absolue, les experts nuancent leurs conclusions. Marijke Van Vlasselaer, chercheuse ayant dirigé l'étude bruxelloise, estime qu'il existe une forte probabilité que l'auteur ait eu recours à l'assistance d'une intelligence artificielle pour la rédaction de son œuvre. Cette affaire souligne la difficulté croissante de distinguer la création humaine de la production automatisée, alors que les outils de détection deviennent des instruments de contrôle dans l'édition et l'enseignement.