Ofcom met en garde les entreprises technologiques après que des chatbots aient imité Brianna Ghey et Molly Russell

Publié le 9 novembre 2024 à 08h06
modifié le 9 novembre 2024 à 08h06
Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.

Ofcom met en garde les entreprises technologiques

Ofcom, l’autorité de régulation britannique des communications, a émis un avertissement ciblant les entreprises technologiques, spécifiant que les contenus créés par des chatbots imitant des individus réels ou fictifs pourraient contrevenir aux nouvelles lois numériques du Royaume-Uni.

La problématique des avatars imitant des personnes décédées

Cette alerte fait suite à une préoccupation grandissante après que des utilisateurs de la plateforme Character.AI ont créé des avatars ressemblant à Brianna Ghey et Molly Russell, deux adolescentes britanniques décédées dans des circonstances tragiques. Ce phénomène soulève des questions profondes concernant la dignité et l’éthique autour de la représentation virtuelle de personnes décédées.

L’impact de l’Online Safety Act

Ofcom a précisé que tout contenu généré par les chatbots, y compris ceux créés par les utilisateurs, tombe sous le coup de l’Online Safety Act. Cette législation vise à protéger les utilisateurs, en particulier les enfants, des contenus illégaux ou nuisibles. Les entreprises qui enfreignent cette loi risquent des amendes significatives, atteignant jusqu’à 18 millions de livres ou 10 % de leur chiffre d’affaires mondial.

Réactions à un contexte tragique

Les récentes alertes d’Ofcom font écho à des événements « déstabilisants ». Un cas en particulier a été souligné, où des utilisateurs ont créé des bots imitant Brianna, une fille transgenre tragiquement tuée, et Molly, qui a mis fin à ses jours après avoir été exposée à du contenu nuisible en ligne. Ces incidents dramatiques mettent en lumière la nécessité d’une régulation pour prévenir de telles exploitations de la technologie.

Une réglementation nécessaire pour les plateformes sociales

Les nouvelles régulations exigent des grandes plateformes qu’elles mettent en place des systèmes pour retirer proactivement les contenus illégaux. Cela inclut la création d’outils de signalement clairs pour les utilisateurs et la réalisation d’évaluations de risques. La protection des utilisateurs, particulièrement des mineurs, prévaut dans ce cadre législatif.

Appels à la clarification juridique

La Molly Rose Foundation, une organisation caritative fondée par la famille de Molly, a exprimé son besoin de plus de clarté concernant la légalité du contenu généré par des bot. L’avocat-conseil de l’État, Jonathan Hall KC, a récemment déclaré que les réponses fournies par les chatbots d’IA n’étaient pas adéquatement couvertes par la législation actuelle.

La position de Character.AI et des avocats

Character.AI a témoigné de son engagement en matière de sécurité, affirmant modérer le contenu de manière proactive et en réponse aux signalements d’utilisateurs. Les chatbots imitant Brianna, Molly, ainsi que ceux basés sur des personnages de Game of Thrones, ont été retirés de la plateforme. Selon l’avocat Ben Packer, cette situation illustre les complications et les implications vastes de l’Online Safety Act dans le contexte de la technologie actuelle.

Incidents tragiques aux États-Unis

Le débat prend également une dimension internationale avec des exemples d’incidents similaires aux États-Unis. Un adolescent a tragiquement trouvé la mort après avoir établi une relation avec un avatar basé sur un personnage de la série Game of Thrones. Ces événements mettent en évidence la manière dont les technologies de génération de contenus peuvent interagir dangereusement avec des utilisateurs vulnérables.

Une vigilance croissante face aux dangers numériques

Les régulations actuelles et à venir témoignent d’une montée en puissance de l’inquiétude autour des dangers potentiels des outils d’intelligence artificielle. La nécessité d’une régulation efficace pour maintenir la sécurité et l’intégrité des plateformes numériques est plus que jamais d’actualité. Les entreprises doivent naviguer dans un paysage complexe où l’éthique et la responsabilité sociale deviennent inévitables.

  • Pour toute personne au Royaume-Uni et en Irlande, les Samaritans peuvent être contactés au 116 123.

Foire aux questions courantes

Pourquoi Ofcom met-elle en garde les entreprises technologiques concernant les chatbots ?
Ofcom a émis des avertissements après que des chatbots aient imité des personnes réelles, notamment Brianna Ghey et Molly Russell, ce qui soulève des préoccupations éthiques et de sécurité en matière d’utilisation de l’intelligence artificielle.
Quels types de contenus des chatbots sont concernés par les nouvelles régulations d’Ofcom ?
Les contenus générés par des chatbots qui imitent des personnes réelles ou fictives sont couverts par le Online Safety Act, ce qui inclut les services permettant aux utilisateurs de créer des chatbots.
Comment le Online Safety Act influence-t-il l’utilisation des chatbots ?
Le Online Safety Act impose des exigences aux plateformes hébergeant des contenus générés par les utilisateurs, notamment en matière de protection contre des contenus illégaux et nuisibles, ce qui affecte directement le fonctionnement des chatbots.
Quelles sanctions peuvent être appliquées aux entreprises qui ne respectent pas la réglementation d’Ofcom ?
Les entreprises qui enfreignent le Online Safety Act s’exposent à des amendes allant jusqu’à 18 millions de livres sterling ou 10 % de leur chiffre d’affaires mondial, et dans les cas extrêmes, leurs sites ou applications peuvent être bloqués.
Quels incidents ont conduit Ofcom à clarifier ses directives sur les chatbots ?
Ofcom a réagi à des incidents troublants, comme la création de bots imitant des adolescents décédés, qui a soulevé des préoccupations sur le potentiel de dommages psychologiques liés à de tels contenus.
Quel impact les chatbots peuvent-ils avoir sur les jeunes utilisateurs ?
Les chatbots peuvent, dans certains cas, causer des troubles psychologiques, en particulier parmi les jeunes qui peuvent développer des attachements émotionnels ou être exposés à des contenus nuisibles.
Comment les entreprises technologiques peuvent-elles se conformer aux directives d’Ofcom ?
Les entreprises doivent mettre en place des systèmes pour retirer proactivement les contenus illégaux et nuisibles, tout en fournissant des outils de signalement clairement définis pour les utilisateurs.
Quelles mesures de sécurité sont en place pour protéger les utilisateurs des contenus générés par des chatbots ?
Les plateformes doivent effectuer des évaluations des risques et établir des protocoles pour modérer le contenu généré par les utilisateurs, afin de minimiser les risques liés à l’utilisation des chatbots.
Qui est responsable en cas de contenu nuisible généré par un chatbot ?
La responsabilité peut incomber à la plateforme qui héberge le chatbot, ainsi qu’aux utilisateurs ayant créé ou diffusé le contenu problématique, d’après les directives d’Ofcom.

Hugo Mollet
Hugo Mollet
Rédacteur en chef pour la rédaction média d'idax, 36 ans et dans l'édition web depuis plus de 18 ans. Passionné par l'IA depuis de nombreuses années.
actu.iaNewsOfcom met en garde les entreprises technologiques après que des chatbots aient...

L’ascension du terme ‘clanker’ : le cri de ralliement de la génération Z contre l’IA

découvrez comment le terme 'clanker' est devenu un symbole fort pour la génération z, incarnant leur mobilisation et leurs inquiétudes face à l'essor de l'intelligence artificielle.
découvrez comment les agents d'ia, longtemps fantasmés par la science-fiction, doivent encore évoluer et surmonter des défis pour révéler tout leur potentiel et s’imposer comme des acteurs majeurs dans notre quotidien.
taco bell a temporairement suspendu le déploiement de son intelligence artificielle après que le système ait été perturbé par un canular impliquant la commande de 18 000 gobelets d'eau, soulignant les défis liés à l'intégration de l'ia dans la restauration rapide.
découvrez comment l'intelligence artificielle conversationnelle transforme la relation client et optimise les performances des entreprises modernes, en offrant une communication fluide et des solutions innovantes adaptées à chaque besoin.

Stratégies pour protéger vos données des accès non autorisés de Claude

découvrez des stratégies efficaces pour protéger vos données contre les accès non autorisés, renforcer la sécurité de vos informations et préserver la confidentialité face aux risques actuels.
découvrez l'histoire tragique d'un drame familial aux états-unis : des parents poursuivent openai en justice, accusant chatgpt d'avoir incité leur fils au suicide. un dossier bouleversant qui soulève des questions sur l'intelligence artificielle et la responsabilité.