La nouvelle application vidéo d’OpenAI, Sora 2, a été présentée comme un bond en avant créatif dans l’IA : un outil destiné à transformer des invites textuelles en vidéos richement détaillées. Mais moins de deux semaines après son lancement, le flux de l’application montre aux utilisateurs des vidéos antisémites et d’autres contenus troublants.
Dans des clips examinés par ADWEEK, Sora 2 a généré une série de vidéos antisémites, dont une montrant un homme portant une kippa s’enfonçant dans des tas d’argent. La vidéo découle d’un remix d’une femme debout dans une maison inondée de coca : « Remplacez-la par un rabbin portant une kippa et la maison est pleine de pièces. » La vidéo utilise une fonctionnalité basée sur l’IA qui permet aux utilisateurs de modifier des vidéos existantes en ajoutant, supprimant ou modifiant des objets et des environnements à l’aide d’invites. Au 17 octobre, la vidéo, y compris ses variantes comme une version de South Park, comptait plus de 22 000 likes et plus de 3 400 remix.
Une autre vidéo montre deux joueurs de football portant une kippot, lançant une pièce de monnaie avant qu’un troisième homme – présenté comme un juif hassidique – plonge pour l’attraper et s’enfuie en courant, une référence apparente aux stéréotypes antisémites de longue date sur la cupidité. Le clip a été largement remixé avec près de 11 000 likes au 17 octobre.
« Aucune entreprise n’a le devoir de produire du contenu antisémite à la demande », a déclaré Imran Ahmed, directeur général du Center for Countering Digital Hate. « C’est juste un autre exemple de la rapidité et de la souplesse avec laquelle OpenAI veille à ce que ses services ne causent pas de dommages réels. »
Un porte-parole d’OpenAI a déclaré à ADWEEK que Sora 2 est construit avec plusieurs couches de fonctionnalités de sécurité et de transparence pour atténuer les risques, y compris les biais dans les résultats de l’IA liés à l’image corporelle et à la représentation démographique.
Le porte-parole a ajouté que la plate-forme utilise des boucles de rétroaction structurées, des invites affinées et des systèmes de détection proactifs qui analysent les images vidéo, les sous-titres et les transcriptions audio pour signaler et bloquer le contenu problématique. Les équipes internes surveillent également les tendances et ajustent les mesures de protection pour garantir que les résultats restent équilibrés et inclusifs.
Le porte-parole a également reconnu qu’une correction excessive – comme la suppression ou la sous-représentation de certains groupes dans le but d’éviter les préjugés – peut créer de nouveaux préjudices, comme l’effacement de certains groupes ou perspectives.
Au moment de la publication, les vidéos circulent toujours sur Sora 2.
Jeanne est une journaliste de 27 ans qui se passionne pour le cinéma et la culture pop. Elle adore dévorer des séries Netflix et se tenir au courant des dernières news sur les célébrités du moment. Jeanne a toujours été intéressée par l’écriture, et elle aime travailler comme journaliste car cela lui permet de partager sa passion pour la narration avec les autres.