Un score discriminatoire
Mary Louis a reçu un score de trois cent vingt-quatre de la part d’un logiciel d’évaluation de locataires nommé SafeRent. L’algorithme, qui n’a fourni aucune explication sur les critères ayant conduit à ce score, a simplement mentionné qu’il était trop bas pour qu’elle puisse obtenir le logement désiré. Aucune clarification sur la signification de ce chiffre n’était offerte.
Cette situation a eu lieu alors qu’elle cherchait à louer un appartement dans une banlieue de Massachusetts. Malgré un score de crédit modeste, Mary avait des références solides, notamment une ancienne propriétaire affirmant qu’elle avait toujours payé son loyer à temps. Son programme d’aide de loyer garantissait au propriétaire des revenus gouvernementaux, offrant une sécurité financière supplémentaire.
La décision automatisée
Le service de gestion immobilière a informé Mary, par courriel, que sa demande avait été rejetée suite à l’analyse automatisée de SafeRent. Le message stipulait que pour être acceptée, elle aurait dû atteindre un score d’au moins quatre cent quarante-trois. Aucun recours n’était possible face à cette décision arbitraire.
Naviguer dans un marché locatif où les évaluations automatisées remplacent les jugements humains pose des défis sans précédent. Le duopole de l’intelligence artificielle permet une plus grande impunité dans la sélection des candidats à la location, laissant peu de place à l’équité.
Un recours collectif
Mary Louis a opté pour des mesures légales, rejoignant un collectif de plus de quatre cents locataires de couleur et utilisant des bons de logement. Ce groupe a intenté un procès contre SafeRent, arguant que le score accordé avait une connotation discriminatoire qui pénalisait les locataires noirs et hispaniques. Ces locataires soutiennent que l’algorithme dévalorise totalement des éléments pertinents de leur stabilité financière.
Les désavantages systémiques auxquels ces communautés font face sont exacerbés par des données biaisées. Les études montrent que les candidats issus de minorités sont plus susceptibles d’avoir des scores de crédit plus bas et d’utiliser des bons de logement, alimentant un cycle de discrimination.
Les effets de l’IA sur le logement
Les systèmes comme SafeRent favorisent une distance entre les gestionnaires immobiliers et les locataires potentiels. Les algorithmes, bien que prétendument objectifs, opèrent souvent sans transparence. Cela entraîne une incompréhension tant pour les locataires que pour les propriétaires.
Les professionnels de la gestion immobilière, eux-mêmes souvent impuissants face aux décisions algorithmiques, n’ont ni accès ni compréhension des critères spécifiques utilisés. Ce manque de clarté favorise un climat de méfiance et d’iniquité.
La réponse de SafeRent
Suite au procès, SafeRent a accepté un règlement de deux millions trois cent mille dollars, tout en énonçant qu’il ne reconnaissait aucune responsabilité légale. Ce règlement indispose la société à cesser, pendant cinq ans, l’utilisation de son système de scoring pour les locataires utilisant des bons de logement. Une avancée qui pourrait bien redéfinir l’engagement des entreprises en matière d’équité locative.
Cette décision, bien que non sanctionnée comme un acte d’injustice, représente une anomalie dans un cadre où la technologie a trop souvent la mainmise. Les organisations de défense des droits des locataires saluent cette démarche, espérant qu’elle ouvre la voie à une réglementation adéquate.
Les enjeux plus larges de l’IA
Une majorité des quatre-vingt-douze millions de personnes considérées comme à faible revenu aux États-Unis sont exposées à la prise de décision automatisée dans les domaines fondamentaux tels que l’emploi, le logement et l’assistance gouvernementale. En l’absence de réglementations robustes, cette dynamique renforce des inégalités déjà existantes, impactant la qualité de vie des plus vulnérables.
Les réponses législatives actuelles ne parviennent pas à suivre le rythme d’évolution rapide des technologies. Les enquêtes révèlent un mécontentement croissant au sein du public par rapport à l’utilisation de l’IA dans des situations cruciales, manifestant une préoccupation face au manque de visibilité des systèmes décisionnels.
Un avenir incertain pour les recours
Les lois en vigueur sont limitées dans leur capacité à contrer les abus liés aux systèmes décisionnels algorithmiques. Sans un cadre réglementaire clair, il devient de plus en plus difficile de tenir ces corporations responsables de l’impact de leurs technologies. La situation actuelle souligne la nécessité de créer des mécanismes robustes pour assurer l’équité et la justice.
Le procès intenté par Mary Louis et ses co-demandeurs représente un potentiel tournant dans la lutte contre les discriminations alimentées par l’IA, incitant les législateurs à envisager des changements significatifs. Ce cas pourrait établir un précédent encourageant d’autres personnes à s’opposer aux injustices causées par des décisions algorithmiques.
Questions fréquemment posées sur les injustices liées à l’IA dans le logement
Quel est le rôle des algorithmes dans le processus de sélection des locataires ?
Les algorithmes, comme ceux utilisés par SafeRent, sont employés pour évaluer les demandes de location en se basant sur un score déterminé à partir de divers critères financiers et comportementaux. Cependant, ce processus peut être opaque et discriminatoire, car il ne tient pas toujours compte des circonstances personnelles des candidats.
Comment un score IA peut-il affecter la demande de logement d’une personne ?
Un score insuffisant généré par une IA peut entraîner le rejet d’une candidature, comme cela a été le cas pour Mary Louis, empêchant des personnes de louer des logements adaptés malgré des références positives et d’autres garanties.
Quelles actions peut-on entreprendre si son application de location est rejetée en raison d’un score IA ?
Les individus peuvent envisager de contester la décision en s’appuyant sur des lois anti-discrimination. Des actions collectives, comme celle intentée par Mary Louis, peuvent également être une avenue à explorer.
Quels critères sont généralement pris en compte par les algorithmes de scoring ?
Les algorithmes évaluent souvent des éléments tels que les scores de crédit, les dettes non liées au logement, et d’autres facteurs financiers. Cependant, ils peuvent négliger des informations pertinentes, comme l’utilisation de vouchers de logement.
La loi protège-t-elle les locataires contre la discrimination algorithmiques ?
Oui, des lois telles que le Fair Housing Act aux États-Unis interdisent la discrimination dans le logement. Cependant, l’application de ces lois peut être complexe lorsque les décisions sont prises par des algorithmes.
Quels recours sont possibles en cas de discrimination basée sur des critères de scoring ?
Les victimes de discrimination peuvent porter plainte auprès des organismes compétents, comme le département de la Justice ou les autorités de logement, et envisager de suite des actions légales pour contester la manière dont leur candidature a été évaluée.
Qu’est-ce que l’affaire de Mary Louis et quel impact a-t-elle eu ?
Mary Louis a porté plainte contre SafeRent après avoir été rejetée pour un appartement en raison d’un score IA. Ce cas soulève des questions sur la transparence et l’équité des systèmes de scoring, et pourrait établir un précédent pour d’autres actions en justice similaires.
Comment les travailleurs sociaux et les défenseurs des droits humains réagissent-ils à ce phénomène ?
Ils attirent l’attention sur les risques de discrimination algorithmique et encouragent la mise en place de régulations pour protéger les locataires vulnérables qui peuvent être injustement affectés par ces systèmes.
Y a-t-il des limites à l’utilisation des algorithmes dans le secteur du logement ?
Actuellement, il existe peu de régulations spécifiques pour encadrer l’utilisation des algorithmes dans le logement, mais des efforts législatifs sont en cours pour protéger les droits des locataires face aux décisions automatisées.
Que peuvent faire les propriétaires pour éviter la discrimination dans le processus de sélection des locataires ?
Les propriétaires sont encouragés à adopter des pratiques d’évaluation transparentes et équitables, à considérer des facteurs contextuels et à éviter de se fier uniquement aux scores algorithmiques pour prendre des décisions de location.
