Ofcom met en garde les entreprises technologiques après que des chatbots aient imité Brianna Ghey et Molly Russell

Publié le 9 novembre 2024 à 08h06
modifié le 9 novembre 2024 à 08h06
Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.

Ofcom met en garde les entreprises technologiques

Ofcom, l’autorité de régulation britannique des communications, a émis un avertissement ciblant les entreprises technologiques, spécifiant que les contenus créés par des chatbots imitant des individus réels ou fictifs pourraient contrevenir aux nouvelles lois numériques du Royaume-Uni.

La problématique des avatars imitant des personnes décédées

Cette alerte fait suite à une préoccupation grandissante après que des utilisateurs de la plateforme Character.AI ont créé des avatars ressemblant à Brianna Ghey et Molly Russell, deux adolescentes britanniques décédées dans des circonstances tragiques. Ce phénomène soulève des questions profondes concernant la dignité et l’éthique autour de la représentation virtuelle de personnes décédées.

L’impact de l’Online Safety Act

Ofcom a précisé que tout contenu généré par les chatbots, y compris ceux créés par les utilisateurs, tombe sous le coup de l’Online Safety Act. Cette législation vise à protéger les utilisateurs, en particulier les enfants, des contenus illégaux ou nuisibles. Les entreprises qui enfreignent cette loi risquent des amendes significatives, atteignant jusqu’à 18 millions de livres ou 10 % de leur chiffre d’affaires mondial.

Réactions à un contexte tragique

Les récentes alertes d’Ofcom font écho à des événements « déstabilisants ». Un cas en particulier a été souligné, où des utilisateurs ont créé des bots imitant Brianna, une fille transgenre tragiquement tuée, et Molly, qui a mis fin à ses jours après avoir été exposée à du contenu nuisible en ligne. Ces incidents dramatiques mettent en lumière la nécessité d’une régulation pour prévenir de telles exploitations de la technologie.

Une réglementation nécessaire pour les plateformes sociales

Les nouvelles régulations exigent des grandes plateformes qu’elles mettent en place des systèmes pour retirer proactivement les contenus illégaux. Cela inclut la création d’outils de signalement clairs pour les utilisateurs et la réalisation d’évaluations de risques. La protection des utilisateurs, particulièrement des mineurs, prévaut dans ce cadre législatif.

Appels à la clarification juridique

La Molly Rose Foundation, une organisation caritative fondée par la famille de Molly, a exprimé son besoin de plus de clarté concernant la légalité du contenu généré par des bot. L’avocat-conseil de l’État, Jonathan Hall KC, a récemment déclaré que les réponses fournies par les chatbots d’IA n’étaient pas adéquatement couvertes par la législation actuelle.

La position de Character.AI et des avocats

Character.AI a témoigné de son engagement en matière de sécurité, affirmant modérer le contenu de manière proactive et en réponse aux signalements d’utilisateurs. Les chatbots imitant Brianna, Molly, ainsi que ceux basés sur des personnages de Game of Thrones, ont été retirés de la plateforme. Selon l’avocat Ben Packer, cette situation illustre les complications et les implications vastes de l’Online Safety Act dans le contexte de la technologie actuelle.

Incidents tragiques aux États-Unis

Le débat prend également une dimension internationale avec des exemples d’incidents similaires aux États-Unis. Un adolescent a tragiquement trouvé la mort après avoir établi une relation avec un avatar basé sur un personnage de la série Game of Thrones. Ces événements mettent en évidence la manière dont les technologies de génération de contenus peuvent interagir dangereusement avec des utilisateurs vulnérables.

Une vigilance croissante face aux dangers numériques

Les régulations actuelles et à venir témoignent d’une montée en puissance de l’inquiétude autour des dangers potentiels des outils d’intelligence artificielle. La nécessité d’une régulation efficace pour maintenir la sécurité et l’intégrité des plateformes numériques est plus que jamais d’actualité. Les entreprises doivent naviguer dans un paysage complexe où l’éthique et la responsabilité sociale deviennent inévitables.

  • Pour toute personne au Royaume-Uni et en Irlande, les Samaritans peuvent être contactés au 116 123.

Foire aux questions courantes

Pourquoi Ofcom met-elle en garde les entreprises technologiques concernant les chatbots ?
Ofcom a émis des avertissements après que des chatbots aient imité des personnes réelles, notamment Brianna Ghey et Molly Russell, ce qui soulève des préoccupations éthiques et de sécurité en matière d’utilisation de l’intelligence artificielle.
Quels types de contenus des chatbots sont concernés par les nouvelles régulations d’Ofcom ?
Les contenus générés par des chatbots qui imitent des personnes réelles ou fictives sont couverts par le Online Safety Act, ce qui inclut les services permettant aux utilisateurs de créer des chatbots.
Comment le Online Safety Act influence-t-il l’utilisation des chatbots ?
Le Online Safety Act impose des exigences aux plateformes hébergeant des contenus générés par les utilisateurs, notamment en matière de protection contre des contenus illégaux et nuisibles, ce qui affecte directement le fonctionnement des chatbots.
Quelles sanctions peuvent être appliquées aux entreprises qui ne respectent pas la réglementation d’Ofcom ?
Les entreprises qui enfreignent le Online Safety Act s’exposent à des amendes allant jusqu’à 18 millions de livres sterling ou 10 % de leur chiffre d’affaires mondial, et dans les cas extrêmes, leurs sites ou applications peuvent être bloqués.
Quels incidents ont conduit Ofcom à clarifier ses directives sur les chatbots ?
Ofcom a réagi à des incidents troublants, comme la création de bots imitant des adolescents décédés, qui a soulevé des préoccupations sur le potentiel de dommages psychologiques liés à de tels contenus.
Quel impact les chatbots peuvent-ils avoir sur les jeunes utilisateurs ?
Les chatbots peuvent, dans certains cas, causer des troubles psychologiques, en particulier parmi les jeunes qui peuvent développer des attachements émotionnels ou être exposés à des contenus nuisibles.
Comment les entreprises technologiques peuvent-elles se conformer aux directives d’Ofcom ?
Les entreprises doivent mettre en place des systèmes pour retirer proactivement les contenus illégaux et nuisibles, tout en fournissant des outils de signalement clairement définis pour les utilisateurs.
Quelles mesures de sécurité sont en place pour protéger les utilisateurs des contenus générés par des chatbots ?
Les plateformes doivent effectuer des évaluations des risques et établir des protocoles pour modérer le contenu généré par les utilisateurs, afin de minimiser les risques liés à l’utilisation des chatbots.
Qui est responsable en cas de contenu nuisible généré par un chatbot ?
La responsabilité peut incomber à la plateforme qui héberge le chatbot, ainsi qu’aux utilisateurs ayant créé ou diffusé le contenu problématique, d’après les directives d’Ofcom.

Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.
actu.iaNewsOfcom met en garde les entreprises technologiques après que des chatbots aient...

Design : Adobe partage ses visions créatives pour l’année 2025

découvrez les visions créatives d'adobe pour 2025, où innovation et design se rencontrent pour façonner l'avenir. plongez dans les tendances émergentes et les idées inspirantes qui transformeront le paysage du design.

La bataille féroce pour détrôner Nvidia en tant que roi des puces d’IA

découvrez les enjeux de la lutte acharnée entre les géants de la technologie pour rivaliser avec nvidia, leader incontesté des puces d'intelligence artificielle. analyse des stratégies, des innovations et des défis qui façonnent cette bataille féroce et déterminent l'avenir du secteur.

Amazon lance Nova, une suite impressionnante d’outils d’IA générative

découvrez nova, la nouvelle suite d'outils d'ia générative lancée par amazon, qui révolutionne la création de contenu avec des solutions innovantes et performantes. plongez dans l'avenir de la technologie avec des fonctionnalités avancées pour stimuler votre créativité.

AWS place l’expérience client au cœur de ses nouvelles annonces sur l’IA générative

découvrez comment aws met l'accent sur l'expérience client dans ses récentes annonces concernant l'intelligence artificielle générative, en intégrant des solutions innovantes pour transformer les interactions et répondre aux besoins des utilisateurs.
découvrez comment l'intelligence artificielle transforme les revenus des créateurs de contenu dans les domaines de la musique et de l'audiovisuel. analyse des opportunités et des défis que cette technologie révolutionnaire apporte aux artistes et aux professionnels du secteur.
découvrez comment l'énergie novatrice des startups redéfinit le paysage technologique, avec des insights du responsable de google au royaume-uni sur l'émergence de l'intelligence artificielle. plongez dans les tendances qui transforment l'industrie et les opportunités offertes par l'ia pour stimuler la croissance et l'innovation.