Ofcom met en garde les entreprises technologiques après que des chatbots aient imité Brianna Ghey et Molly Russell

Publié le 9 novembre 2024 à 08h06
modifié le 9 novembre 2024 à 08h06
Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.

Ofcom met en garde les entreprises technologiques

Ofcom, l’autorité de régulation britannique des communications, a émis un avertissement ciblant les entreprises technologiques, spécifiant que les contenus créés par des chatbots imitant des individus réels ou fictifs pourraient contrevenir aux nouvelles lois numériques du Royaume-Uni.

La problématique des avatars imitant des personnes décédées

Cette alerte fait suite à une préoccupation grandissante après que des utilisateurs de la plateforme Character.AI ont créé des avatars ressemblant à Brianna Ghey et Molly Russell, deux adolescentes britanniques décédées dans des circonstances tragiques. Ce phénomène soulève des questions profondes concernant la dignité et l’éthique autour de la représentation virtuelle de personnes décédées.

L’impact de l’Online Safety Act

Ofcom a précisé que tout contenu généré par les chatbots, y compris ceux créés par les utilisateurs, tombe sous le coup de l’Online Safety Act. Cette législation vise à protéger les utilisateurs, en particulier les enfants, des contenus illégaux ou nuisibles. Les entreprises qui enfreignent cette loi risquent des amendes significatives, atteignant jusqu’à 18 millions de livres ou 10 % de leur chiffre d’affaires mondial.

Réactions à un contexte tragique

Les récentes alertes d’Ofcom font écho à des événements « déstabilisants ». Un cas en particulier a été souligné, où des utilisateurs ont créé des bots imitant Brianna, une fille transgenre tragiquement tuée, et Molly, qui a mis fin à ses jours après avoir été exposée à du contenu nuisible en ligne. Ces incidents dramatiques mettent en lumière la nécessité d’une régulation pour prévenir de telles exploitations de la technologie.

Une réglementation nécessaire pour les plateformes sociales

Les nouvelles régulations exigent des grandes plateformes qu’elles mettent en place des systèmes pour retirer proactivement les contenus illégaux. Cela inclut la création d’outils de signalement clairs pour les utilisateurs et la réalisation d’évaluations de risques. La protection des utilisateurs, particulièrement des mineurs, prévaut dans ce cadre législatif.

Appels à la clarification juridique

La Molly Rose Foundation, une organisation caritative fondée par la famille de Molly, a exprimé son besoin de plus de clarté concernant la légalité du contenu généré par des bot. L’avocat-conseil de l’État, Jonathan Hall KC, a récemment déclaré que les réponses fournies par les chatbots d’IA n’étaient pas adéquatement couvertes par la législation actuelle.

La position de Character.AI et des avocats

Character.AI a témoigné de son engagement en matière de sécurité, affirmant modérer le contenu de manière proactive et en réponse aux signalements d’utilisateurs. Les chatbots imitant Brianna, Molly, ainsi que ceux basés sur des personnages de Game of Thrones, ont été retirés de la plateforme. Selon l’avocat Ben Packer, cette situation illustre les complications et les implications vastes de l’Online Safety Act dans le contexte de la technologie actuelle.

Incidents tragiques aux États-Unis

Le débat prend également une dimension internationale avec des exemples d’incidents similaires aux États-Unis. Un adolescent a tragiquement trouvé la mort après avoir établi une relation avec un avatar basé sur un personnage de la série Game of Thrones. Ces événements mettent en évidence la manière dont les technologies de génération de contenus peuvent interagir dangereusement avec des utilisateurs vulnérables.

Une vigilance croissante face aux dangers numériques

Les régulations actuelles et à venir témoignent d’une montée en puissance de l’inquiétude autour des dangers potentiels des outils d’intelligence artificielle. La nécessité d’une régulation efficace pour maintenir la sécurité et l’intégrité des plateformes numériques est plus que jamais d’actualité. Les entreprises doivent naviguer dans un paysage complexe où l’éthique et la responsabilité sociale deviennent inévitables.

  • Pour toute personne au Royaume-Uni et en Irlande, les Samaritans peuvent être contactés au 116 123.

Foire aux questions courantes

Pourquoi Ofcom met-elle en garde les entreprises technologiques concernant les chatbots ?
Ofcom a émis des avertissements après que des chatbots aient imité des personnes réelles, notamment Brianna Ghey et Molly Russell, ce qui soulève des préoccupations éthiques et de sécurité en matière d’utilisation de l’intelligence artificielle.
Quels types de contenus des chatbots sont concernés par les nouvelles régulations d’Ofcom ?
Les contenus générés par des chatbots qui imitent des personnes réelles ou fictives sont couverts par le Online Safety Act, ce qui inclut les services permettant aux utilisateurs de créer des chatbots.
Comment le Online Safety Act influence-t-il l’utilisation des chatbots ?
Le Online Safety Act impose des exigences aux plateformes hébergeant des contenus générés par les utilisateurs, notamment en matière de protection contre des contenus illégaux et nuisibles, ce qui affecte directement le fonctionnement des chatbots.
Quelles sanctions peuvent être appliquées aux entreprises qui ne respectent pas la réglementation d’Ofcom ?
Les entreprises qui enfreignent le Online Safety Act s’exposent à des amendes allant jusqu’à 18 millions de livres sterling ou 10 % de leur chiffre d’affaires mondial, et dans les cas extrêmes, leurs sites ou applications peuvent être bloqués.
Quels incidents ont conduit Ofcom à clarifier ses directives sur les chatbots ?
Ofcom a réagi à des incidents troublants, comme la création de bots imitant des adolescents décédés, qui a soulevé des préoccupations sur le potentiel de dommages psychologiques liés à de tels contenus.
Quel impact les chatbots peuvent-ils avoir sur les jeunes utilisateurs ?
Les chatbots peuvent, dans certains cas, causer des troubles psychologiques, en particulier parmi les jeunes qui peuvent développer des attachements émotionnels ou être exposés à des contenus nuisibles.
Comment les entreprises technologiques peuvent-elles se conformer aux directives d’Ofcom ?
Les entreprises doivent mettre en place des systèmes pour retirer proactivement les contenus illégaux et nuisibles, tout en fournissant des outils de signalement clairement définis pour les utilisateurs.
Quelles mesures de sécurité sont en place pour protéger les utilisateurs des contenus générés par des chatbots ?
Les plateformes doivent effectuer des évaluations des risques et établir des protocoles pour modérer le contenu généré par les utilisateurs, afin de minimiser les risques liés à l’utilisation des chatbots.
Qui est responsable en cas de contenu nuisible généré par un chatbot ?
La responsabilité peut incomber à la plateforme qui héberge le chatbot, ainsi qu’aux utilisateurs ayant créé ou diffusé le contenu problématique, d’après les directives d’Ofcom.

Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.
actu.iaNewsOfcom met en garde les entreprises technologiques après que des chatbots aient...

l’intelligence artificielle ‘band’ les velvet sundown : une ‘supercherie artistique’ révélée par un porte-parole

découvrez comment l'intelligence artificielle a redéfini le concept de la 'supercherie artistique' avec le duo 'the velvet sundown'. un porte-parole met en lumière les enjeux derrière cette création innovante qui interroge notre perception de l'art moderne.

affronter le dilemme entre l’ia et l’énergie

découvrez comment naviguer entre les défis de l'intelligence artificielle et les besoins énergétiques croissants. cet article explore les implications, les opportunités et les solutions pour harmoniser ces deux mondes et construire un avenir durable.
explorez les tensions croissantes entre sam altman et mark zuckerberg, deux icônes de la technologie, et découvrez comment leurs désaccords mettent en lumière les enjeux et dynamiques complexes liés à l'intelligence artificielle dans notre monde moderne.

Cloudflare révolutionne Internet, une nouvelle inquiétante pour les géants de l’IA

découvrez comment cloudflare transforme le paysage d'internet et ce que cela signifie pour les géants de l'intelligence artificielle. plongez dans une analyse des implications de cette révolution technologique et les défis qu'elle pose aux acteurs majeurs du secteur.
découvrez la satire incisive de jesse armstrong dans 'mountainhead', révélant les travers des milliardaires technologiques. plongez dans une critique mordante où la planète terre est comparée à un buffet à volonté, interrogeant notre rapport à la richesse et à la consommation.