Sora 2 a fait ses débuts le 30 septembre en tant qu’application sur invitation uniquement et n’est pas disponible au public. Il a enregistré des millions de téléchargements au cours de ses cinq premiers jours, dépassant le taux de téléchargement du produit phare d’OpenAI, ChatGPT, selon Bill Peebles, responsable de Sora chez OpenAI.
Le flux de Sora 2 présente non seulement des tropes antisémites, mais également des personnages protégés par le droit d’auteur tels que Bob l’éponge dans un uniforme nazi, des représentations de personnalités publiques décédées, dont la reine Elizabeth et la princesse Diana, et des scènes graphiques de violence et de racisme, a précédemment rapporté The Guardian.
La controverse survient au milieu de préoccupations et de débats plus larges sur l’efficacité avec laquelle OpenAI applique ses garde-fous à tous les produits. Le 14 octobre, le PDG Sam Altman a déclaré dans un article sur X que le contenu érotique serait autorisé dans ChatGPT à partir de décembre, un changement qui pourrait tester davantage les systèmes de modération de contenu de l’entreprise alors qu’elle s’oriente vers des cas d’utilisation plus commerciaux. Le 16 octobre, OpenAI a déclaré avoir suspendu la capacité de Sora à générer des vidéos représentant le défunt leader des droits civiques Martin Luther King Jr. après que certains utilisateurs de Sora aient généré des « représentations irrespectueuses » de son image.
Minda Smiley, analyste senior chez Emarketer, a noté que les vidéos générées par l’IA peuvent renforcer les stéréotypes nuisibles en raison de leur réalisme. De nombreux utilisateurs ne peuvent pas facilement discerner ce qui est réel, et même ceux qui reconnaissent la génération de l’IA peuvent toujours partager du contenu qui correspond à des croyances préexistantes, a-t-elle déclaré.
Les vidéos semblent enfreindre les politiques d’utilisation mondiales d’OpenAI, qui interdisent les contenus faisant la promotion de « menaces, intimidations, harcèlement ou diffamation ». La société a déclaré qu’elle utilisait des « défenses à plusieurs niveaux » pour assurer la sécurité de son flux, y compris des outils automatisés qui vérifient les invites et les sorties vidéo pour détecter toute violation de la politique.
« Nous avons formé une équipe rouge pour explorer de nouveaux risques et nous avons renforcé les politiques relatives à la génération d’images compte tenu du plus grand réalisme de Sora et de l’ajout de mouvements et d’audio », a déclaré OpenAI dans un article de blog.
Smiley d’Emarketer a déclaré que les utilisateurs ont déjà trouvé des moyens de contourner les garde-fous de Sora et que, sans normes à l’échelle du secteur, les plates-formes restent largement seules en matière de modération.
Jeanne est une journaliste de 27 ans qui se passionne pour le cinéma et la culture pop. Elle adore dévorer des séries Netflix et se tenir au courant des dernières news sur les célébrités du moment. Jeanne a toujours été intéressée par l’écriture, et elle aime travailler comme journaliste car cela lui permet de partager sa passion pour la narration avec les autres.