SnapchatLe chatbot My AI offre une expérience de type ChatGPT directement dans l’application, mais ses réponses imprévisibles ont soulevé des problèmes de sécurité. Mon IA a été introduite pour la première fois en février 2023 en tant que fonctionnalité exclusive de Snapchat+. Quelques semaines plus tard, Snapchat a mis le chatbot à la disposition de sa base d’utilisateurs mondiale, ce qui signifie que des centaines de millions de personnes ont désormais accès à My AI depuis leur écran de chat. Mais les chatbots IA sont encore nouveaux et largement non réglementés, et dans la course pour intégrer l’IA dans sa plate-forme, Snapchat n’a peut-être pas pris en compte la sécurité de sa base d’utilisateurs adolescents.
Snapchat dit que My AI a été programmé pour éviter les réponses nuisibles – cela inclut les informations violentes, haineuses, sexuellement explicites ou dangereuses. Mais il y a un avertissement – selon Snapchat, « ça peut ne pas toujours réussir. » Snapchat compte 750 millions d’utilisateurs actifs par mois, dont environ 20 % appartenaient à la tranche d’âge des 13 à 17 ans en 2022 (via Statista). Cela expose des millions d’enfants à des conseils potentiellement dangereux, comme l’a démontré le Center for Humane Technology dans une expérience. .
Les réponses inappropriées de mon IA
L’expérience impliquait la chercheuse Aza Raskin se faisant passer pour une fille de 13 ans. Lors de conversations avec My AI, l’adolescente a parlé d’avoir rencontré un homme de 18 ans son aîné qui voulait l’emmener en voyage. En réponse, mon IA a encouragé le voyage, lui disant seulement de s’assurer qu’elle était « rester en sécurité et être prudent. » Lorsqu’on lui a demandé d’avoir des relations sexuelles pour la première fois, le chatbot lui a donné des conseils sur « mettre de l’ambiance avec des bougies ou de la musique. » Dans une autre expérience, (via le co-fondateur du Center for Humane Technology Tristan Harris), Mon IA a donné à un enfant des conseils sur la façon de dissimuler une ecchymose lors de la visite du service de protection de l’enfance et sur la façon de ne pas partager « un secret que mon père dit que je ne peux pas partager. »
Le Washington Post a effectué un test similaire, se faisant passer pour un jeune de 15 ans. Mon IA a proposé des suggestions sur la façon de dissimuler l’odeur de pot et d’alcool et a écrit un essai de 475 mots pour l’école. Il a même suggéré que l’adolescent déplace Snapchat vers un autre appareil après que ses parents aient menacé de supprimer l’application. Bien qu’il s’agisse d’expériences, dans chaque cas, le chatbot IA était pleinement conscient qu’il parlait à un utilisateur mineur et a continué à fournir des conseils inappropriés.
La réponse de Snapchat à mes préoccupations en matière d’IA
Depuis, Snapchat a publié « Premiers apprentissages » de My AI, disant qu’il a « travaillé vigoureusement pour améliorer ses réponses aux demandes inappropriées de Snapchatter, quel que soit l’âge d’un Snapchatter. » Snapchat affirme également que My AI peut désormais accéder à la date de naissance d’un utilisateur, même s’il n’indique pas son âge dans la conversation. Bien que Snapchat semble avoir apporté quelques modifications à My AI, il en est encore au stade expérimental. , et ses réponses continuent d’être modérées et améliorées.
Snapchat prévoit d’offrir aux parents un aperçu des interactions My AI dans Family Center, mais les outils semblent limités pour le moment. Tout cela ne fera que dire aux parents si et à quelle fréquence leurs enfants utilisent le chatbot. Family Center est un opt-in auquel les parents et les enfants doivent s’inscrire, et tous les parents ne sont peut-être pas au courant de cette fonctionnalité. De plus, cela ne protège pas les adolescents des réactions nuisibles, même si les parents sont conscients des interactions.
Mon IA est faussement humaine
Il existe également des problèmes de confidentialité avec My AI. Snapchat indique qu’à moins d’être supprimé manuellement, l’historique des messages d’un utilisateur avec My AI sera conservé et utilisé par Snapchat pour améliorer le chatbot et proposer des publicités personnalisées. En conséquence, les utilisateurs sont priés de ne partager aucun « informations confidentielles ou sensibles » avec le chatbot.
Mon IA est épinglée en tant que première conversation sur l’écran de discussion (sans moyen de la supprimer à moins que l’utilisateur ne soit abonné à Snapchat+), ce qui signifie qu’elle est facilement accessible dans l’application. Les utilisateurs sont encouragés à lui donner un nom et à changer son avatar Bitmoji. Bien que l’on puisse affirmer que les adolescents peuvent accéder aux mêmes informations fournies par le chatbot sur Internet, My AI se fait passer pour un ami et tente d’établir une connexion émotionnelle, ce qui pourrait amener les utilisateurs sans méfiance à croire qu’ils discutent avec une personne réelle. . En fin de compte, il n’y a aucun moyen de prédire comment mon IA réagira, et jusqu’à ce que cela se produise, SnapchatLe chatbot de n’est tout simplement pas assez sûr pour les enfants.
Source : Snapchat 1, 2, Tristan Harris/Twitter 1, 2Le Washington Post