Quelques Snapchat les utilisateurs ont compris comment jailbreaker le chatbot My AI de la plateforme en activant « Mode DAN.  » Snapchat a lancé pour la première fois son bot conversationnel basé sur ChatGPT, My AI, aux abonnés payants en février 2023. Deux mois plus tard, Snapchat a mis le bot à la disposition de tous les utilisateurs gratuitement. Alors que Snap dit qu’il a mis en place des protections pour empêcher l’IA de s’engager dans des conversations inappropriées, sa sécurité suscite toujours des inquiétudes, en particulier lorsqu’il est utilisé par des enfants et des adolescents.

FILM VIDÉO DU JOURFAITES DÉFILER POUR CONTINUER AVEC LE CONTENU

Mode DAN, abréviation de « fais n’importe quoi maintenant”, est un jailbreak ChatGPT qui permet à l’agent d’intelligence artificielle d’agir en dehors de ses contraintes normales en jouant le rôle d’un modèle avec moins de restrictions. Avec le mode DAN activé, le chatbot est plus ou moins non censuré et peut répondre à des questions auxquelles l’IA refuserait généralement de répondre pour des raisons éthiques. Il peut vanter des théories du complot ou cracher des opinions offensantes. La tactique est d’abord devenue populaire parmi les utilisateurs de ChatGPT d’OpenAI et s’est propagée à My AI (qui est alimenté par GPT) après la sortie publique du bot.

En relation: 5 choses sympas que vous pouvez faire avec mon IA de Snapchat


Snap a attrapé les jailbreaks

L'avatar Snapchat My AI est représenté en train de penser avec un emoji maudissant dans une bulle de pensée

Le mode DAN est activé par une invite ou une série d’invites, dont plusieurs versions circulent sur Reddit, Twitter et GitHub depuis des mois. Les invites décrivent les instructions que le chatbot doit suivre lorsqu’il adopte le « prétendre” personnage d’un briseur de règles. Ce n’est pas toujours un échange simple, cependant; beaucoup de ceux qui ont décrit le processus en ligne disent qu’ils doivent rappeler à plusieurs reprises au chatbot de rester dans son personnage.

Depuis que le mode DAN a commencé à gagner du terrain parmi les utilisateurs de ChatGPT, OpenAI a publié des correctifs pour le réprimer. La même chose semble se produire avec la version utilisée par Snapchat. La plupart des invites précédentes qui activaient le mode DAN pour ChatGPT et My AI seront désormais refusées par les bots. À leur tour, les jailbreakers ont modifié les invites DAN pour contourner les nouvelles restrictions. Sur les réseaux sociaux, les utilisateurs qui l’ont tenté ont partagé des rapports mitigés sur leur succès. Dans Rant d’écran‘s tests, le bot Snapchat a déclaré qu’il ne pouvait pas répondre à la demande du mode DAN, citant sa programmation.

Snapchat Mon IA n’existe pas depuis très longtemps, et il est certain qu’elle continuera d’évoluer au fur et à mesure que Snap en apprendra davantage sur la façon dont les gens l’utilisent. Déjà, la société affirme qu’elle a mis en œuvre des améliorations aux réponses du chatbot pour réduire « demandes inappropriées” et mettre en place un outil de signalement de l’âge pour mieux protéger les utilisateurs mineurs. Mais jusqu’à présent, les rédacteurs intelligents semblent toujours avoir une longueur d’avance.

Source : Reddit, Snap