Face à la prolifération des contenus générés par des modèles de langage, l'outil SlopTotal tente d'apporter une réponse en agrégeant les résultats de 23 détecteurs distincts. Ce projet open source cherche à offrir une méthode d'analyse comparative, tout en rappelant les limites inhérentes à la fiabilité des systèmes actuels de détection automatique.
Un protocole de test basé sur SlopBench
Pour évaluer ses capacités, le projet s'appuie sur SlopBench, un jeu de données composé de 3 252 textes. Cette base inclut une répartition équilibrée entre productions humaines et contenus générés par 14 modèles d'IA différents. L'intégration de 87 passages littéraires datant de 1532 à 1915 permet notamment de mesurer la propension des algorithmes à produire des faux positifs face à des styles d'écriture anciens ou atypiques. Selon les données communiquées, le système affiche un taux de faux positifs de 1,7 %, tout en parvenant à identifier 67 % des textes générés par IA au seuil « Likely AI ».
Accessibilité technique et déploiement local
Conçu pour garantir la confidentialité des données, SlopTotal est une solution open source permettant un hébergement local. Cette architecture évite la transmission de textes vers des serveurs tiers. L'installation technique requiert Python 3.10, 2 Go d'espace disque pour les modèles et 4 Go de mémoire vive. Pour faciliter son adoption, une version compatible avec Docker est disponible, permettant une exécution sans nécessiter de ressources matérielles spécifiques comme une carte graphique dédiée.
Les limites de l'analyse automatisée
Malgré la multiplication des moteurs d'analyse, SlopTotal ne constitue pas une preuve irréfutable de l'origine d'un texte. Les performances fluctuent significativement selon la longueur du contenu, les interventions humaines de réécriture et la langue utilisée. Si le français est pris en charge, la précision reste variable. Pour les professionnels de l'éducation, du recrutement ou de l'édition, cet outil doit être considéré comme une aide à l'analyse et non comme un verdict définitif. La convergence des résultats entre les 23 moteurs intégrés demeure un indicateur, mais ne saurait se substituer à une vérification humaine approfondie.