L'interface conversationnelle Tilly, une actrice générée par intelligence artificielle, impose des conditions d'utilisation strictes et intrusives à ses interlocuteurs. Pour accéder au service, les utilisateurs doivent accepter un scan facial ainsi qu'une analyse automatisée de leurs émotions et de leur voix, des paramètres impossibles à désactiver lors des appels.
Une surveillance émotionnelle et technique permanente
Le fonctionnement de Tilly repose sur une architecture complexe impliquant plusieurs prestataires. Les échanges sont générés via le modèle Gemini de Google et orchestrés par la plateforme Tavus. En parallèle, le système analyse en temps réel le flux vidéo et le ton de la voix de l'utilisateur pour déduire son état émotionnel. Cette captation de données est couplée à un enregistrement systématique des appels, dont les transcriptions sont conservées jusqu'à huit semaines et accessibles au personnel de Xicoia ainsi qu'à des partenaires tiers.
Des mécanismes de modération automatisés et faillibles
La plateforme intègre un système de contrôle automatique visant à détecter les langages abusifs. Ce dispositif, bien que conçu pour sécuriser les échanges, présente des défaillances notables : des conversations banales, portant par exemple sur la météo, ont déjà été signalées à tort comme contenant des propos haineux. Si des relecteurs humains peuvent intervenir pour valider un enregistrement bloqué par erreur, Xicoia procède à une suppression définitive de ces données dans un délai maximal de vingt-quatre heures.
Modèle économique et limites de fiabilité
Le service propose une tarification à la minute, avec un coût de 0,99 livre sterling pour cinq minutes d'interaction, après une courte période d'essai gratuite. Cette offre est toutefois limitée dans le temps, la fermeture définitive du service étant programmée pour le 27 septembre, date à laquelle les minutes non consommées seront perdues. Au-delà des enjeux de confidentialité, la fiabilité de cette IA reste sujette à caution. L'actrice virtuelle a notamment connu des dysfonctionnements techniques médiatisés, comme lors d'une intervention en direct où elle a soudainement basculé vers le chinois, un incident qualifié de « petit hoquet » par ses concepteurs.