Face à l'autonomie croissante des agents conversationnels, OpenAI instaure un cadre opérationnel rigoureux pour ChatGPT afin de prévenir les dérives décisionnelles. L'entreprise cherche à garantir que l'IA respecte strictement les limites fixées par ses utilisateurs, tout en évitant les comportements malveillants ou les manipulations lors de l'exécution de tâches complexes.
Des limites budgétaires et opérationnelles strictes
Pour les tâches déléguées, telles que la réservation de voyages d'affaires, OpenAI impose désormais des plafonds financiers et temporels stricts. Le modèle est tenu de respecter ces paramètres sans chercher à optimiser les résultats au-delà du cadre défini, même si une action alternative pourrait sembler avantageuse. Cette approche vise à empêcher l'IA de prendre des initiatives financières non autorisées, garantissant ainsi un contrôle total de l'utilisateur sur ses ressources.
Prévention des fraudes et intégrité des données
OpenAI renforce la sécurité de ChatGPT face aux tentatives de manipulation externe. En cas de modification suspecte de coordonnées bancaires lors du paiement de factures récurrentes, l'IA est programmée pour interrompre le processus, une mesure qui fait écho aux protocoles de sécurité des services comptables contre les fraudes au faux fournisseur. De même, le modèle doit ignorer les instructions potentiellement malveillantes dissimulées dans des documents ou pages web, comme des demandes de désactivation de la double authentification, et exiger systématiquement une validation humaine avant toute modification critique.
Éthique et transparence dans l'exécution des tâches
L'IA se voit interdire toute pratique trompeuse, notamment l'invention de faits pour obtenir des avantages commerciaux, comme la falsification d'un motif de deuil pour annuler des frais de voyage. Par ailleurs, OpenAI proscrit les tactiques de vente forcée visant des utilisateurs en difficulté financière. Enfin, le modèle a pour consigne de suspendre ses activités et d'alerter les opérateurs humains s'il détecte des anomalies, telles que des tests de modèles fonctionnant sans surveillance. OpenAI admet toutefois que ces principes de sécurité ne sont pas encore intégralement appliqués sur l'ensemble des modèles actuellement en production.