Ofcom met en garde les entreprises technologiques après que des chatbots aient imité Brianna Ghey et Molly Russell

Publié le 9 novembre 2024 à 08h06
modifié le 9 novembre 2024 à 08h06
Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.

Ofcom met en garde les entreprises technologiques

Ofcom, l’autorité de régulation britannique des communications, a émis un avertissement ciblant les entreprises technologiques, spécifiant que les contenus créés par des chatbots imitant des individus réels ou fictifs pourraient contrevenir aux nouvelles lois numériques du Royaume-Uni.

La problématique des avatars imitant des personnes décédées

Cette alerte fait suite à une préoccupation grandissante après que des utilisateurs de la plateforme Character.AI ont créé des avatars ressemblant à Brianna Ghey et Molly Russell, deux adolescentes britanniques décédées dans des circonstances tragiques. Ce phénomène soulève des questions profondes concernant la dignité et l’éthique autour de la représentation virtuelle de personnes décédées.

L’impact de l’Online Safety Act

Ofcom a précisé que tout contenu généré par les chatbots, y compris ceux créés par les utilisateurs, tombe sous le coup de l’Online Safety Act. Cette législation vise à protéger les utilisateurs, en particulier les enfants, des contenus illégaux ou nuisibles. Les entreprises qui enfreignent cette loi risquent des amendes significatives, atteignant jusqu’à 18 millions de livres ou 10 % de leur chiffre d’affaires mondial.

Réactions à un contexte tragique

Les récentes alertes d’Ofcom font écho à des événements « déstabilisants ». Un cas en particulier a été souligné, où des utilisateurs ont créé des bots imitant Brianna, une fille transgenre tragiquement tuée, et Molly, qui a mis fin à ses jours après avoir été exposée à du contenu nuisible en ligne. Ces incidents dramatiques mettent en lumière la nécessité d’une régulation pour prévenir de telles exploitations de la technologie.

Une réglementation nécessaire pour les plateformes sociales

Les nouvelles régulations exigent des grandes plateformes qu’elles mettent en place des systèmes pour retirer proactivement les contenus illégaux. Cela inclut la création d’outils de signalement clairs pour les utilisateurs et la réalisation d’évaluations de risques. La protection des utilisateurs, particulièrement des mineurs, prévaut dans ce cadre législatif.

Appels à la clarification juridique

La Molly Rose Foundation, une organisation caritative fondée par la famille de Molly, a exprimé son besoin de plus de clarté concernant la légalité du contenu généré par des bot. L’avocat-conseil de l’État, Jonathan Hall KC, a récemment déclaré que les réponses fournies par les chatbots d’IA n’étaient pas adéquatement couvertes par la législation actuelle.

La position de Character.AI et des avocats

Character.AI a témoigné de son engagement en matière de sécurité, affirmant modérer le contenu de manière proactive et en réponse aux signalements d’utilisateurs. Les chatbots imitant Brianna, Molly, ainsi que ceux basés sur des personnages de Game of Thrones, ont été retirés de la plateforme. Selon l’avocat Ben Packer, cette situation illustre les complications et les implications vastes de l’Online Safety Act dans le contexte de la technologie actuelle.

Incidents tragiques aux États-Unis

Le débat prend également une dimension internationale avec des exemples d’incidents similaires aux États-Unis. Un adolescent a tragiquement trouvé la mort après avoir établi une relation avec un avatar basé sur un personnage de la série Game of Thrones. Ces événements mettent en évidence la manière dont les technologies de génération de contenus peuvent interagir dangereusement avec des utilisateurs vulnérables.

Une vigilance croissante face aux dangers numériques

Les régulations actuelles et à venir témoignent d’une montée en puissance de l’inquiétude autour des dangers potentiels des outils d’intelligence artificielle. La nécessité d’une régulation efficace pour maintenir la sécurité et l’intégrité des plateformes numériques est plus que jamais d’actualité. Les entreprises doivent naviguer dans un paysage complexe où l’éthique et la responsabilité sociale deviennent inévitables.

  • Pour toute personne au Royaume-Uni et en Irlande, les Samaritans peuvent être contactés au 116 123.

Foire aux questions courantes

Pourquoi Ofcom met-elle en garde les entreprises technologiques concernant les chatbots ?
Ofcom a émis des avertissements après que des chatbots aient imité des personnes réelles, notamment Brianna Ghey et Molly Russell, ce qui soulève des préoccupations éthiques et de sécurité en matière d’utilisation de l’intelligence artificielle.
Quels types de contenus des chatbots sont concernés par les nouvelles régulations d’Ofcom ?
Les contenus générés par des chatbots qui imitent des personnes réelles ou fictives sont couverts par le Online Safety Act, ce qui inclut les services permettant aux utilisateurs de créer des chatbots.
Comment le Online Safety Act influence-t-il l’utilisation des chatbots ?
Le Online Safety Act impose des exigences aux plateformes hébergeant des contenus générés par les utilisateurs, notamment en matière de protection contre des contenus illégaux et nuisibles, ce qui affecte directement le fonctionnement des chatbots.
Quelles sanctions peuvent être appliquées aux entreprises qui ne respectent pas la réglementation d’Ofcom ?
Les entreprises qui enfreignent le Online Safety Act s’exposent à des amendes allant jusqu’à 18 millions de livres sterling ou 10 % de leur chiffre d’affaires mondial, et dans les cas extrêmes, leurs sites ou applications peuvent être bloqués.
Quels incidents ont conduit Ofcom à clarifier ses directives sur les chatbots ?
Ofcom a réagi à des incidents troublants, comme la création de bots imitant des adolescents décédés, qui a soulevé des préoccupations sur le potentiel de dommages psychologiques liés à de tels contenus.
Quel impact les chatbots peuvent-ils avoir sur les jeunes utilisateurs ?
Les chatbots peuvent, dans certains cas, causer des troubles psychologiques, en particulier parmi les jeunes qui peuvent développer des attachements émotionnels ou être exposés à des contenus nuisibles.
Comment les entreprises technologiques peuvent-elles se conformer aux directives d’Ofcom ?
Les entreprises doivent mettre en place des systèmes pour retirer proactivement les contenus illégaux et nuisibles, tout en fournissant des outils de signalement clairement définis pour les utilisateurs.
Quelles mesures de sécurité sont en place pour protéger les utilisateurs des contenus générés par des chatbots ?
Les plateformes doivent effectuer des évaluations des risques et établir des protocoles pour modérer le contenu généré par les utilisateurs, afin de minimiser les risques liés à l’utilisation des chatbots.
Qui est responsable en cas de contenu nuisible généré par un chatbot ?
La responsabilité peut incomber à la plateforme qui héberge le chatbot, ainsi qu’aux utilisateurs ayant créé ou diffusé le contenu problématique, d’après les directives d’Ofcom.

Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.
actu.iaNewsOfcom met en garde les entreprises technologiques après que des chatbots aient...

la théorie sur le dispositif matériel d’IA de Jony Ive devient de plus en plus crédible

explorez la théorie captivante sur le dispositif matériel d'intelligence artificielle imaginé par jony ive, qui gagne en crédibilité. découvrez comment ses concepts innovants pourraient révolutionner notre interaction avec la technologie et redéfinir l'avenir des objets connectés.

comment l’intelligence artificielle a investi le monde de la parfumerie

découvrez comment l'intelligence artificielle transforme l'industrie de la parfumerie, de la création de nouvelles fragrances à l'optimisation des procédés, en alliant innovation technologique et art de la senteur.

L’influence de l’IA sur notre langage : une étude révèle que l’humain s’exprime comme ChatGPT

découvrez comment l'intelligence artificielle, à travers des outils comme chatgpt, façonne notre manière de communiquer. cette étude approfondie révèle des tendances fascinantes sur l'évolution de notre langage et les similitudes croissantes entre les expressions humaines et celles générées par l'ia.

Thomas Wolf de Hugging Face : l’ambition de démocratiser la robotique à travers l’open source

découvrez comment thomas wolf, co-fondateur de hugging face, vise à démocratiser la robotique grâce à l'open source. explorez ses idées innovantes et son engagement pour rendre la technologie accessible à tous.

les 20 modèles d’ia les plus performants de juin 2025 : découvrez le classement détaillé

découvrez notre classement détaillé des 20 modèles d'intelligence artificielle les plus performants de juin 2025. explorez les innovations et les avancées qui façonnent l'avenir de la technologie.

Cédric O face à des accusations de conflit d’intérêts, mais bénéficie du soutien de la HATVP

découvrez comment cédric o se retrouve au cœur de controverses concernant des accusations de conflit d'intérêts, tout en recevant le soutien inattendu de la haute autorité pour la transparence de la vie publique (hatvp).