Elle a perdu son appartement à cause d’un score généré par une IA : elle intente un procès pour protéger les autres de cette injustice

Publié le 15 diciembre 2024 à 08h03
modifié le 15 diciembre 2024 à 08h04

Una puntuación discriminatoria

Mary Louis recibió una puntuación de trescientos veinticuatro por parte de un software de evaluación de inquilinos llamado SafeRent. El algoritmo, que no proporcionó ninguna explicación sobre los criterios que llevaron a esta puntuación, simplemente mencionó que era demasiado baja para que ella pudiera obtener la vivienda deseada. No se ofreció ninguna aclaración sobre el significado de este número.

Esta situación tuvo lugar mientras buscaba alquilar un apartamento en un suburbio de Massachusetts. A pesar de tener un puntaje de crédito modesto, Mary contaba con referencias sólidas, incluyendo a una antigua propietaria que afirmaba que siempre había pagado su alquiler a tiempo. Su programa de asistencia para el alquiler garantizaba al propietario ingresos gubernamentales, ofreciendo una seguridad financiera adicional.

La decisión automatizada

El servicio de gestión inmobiliaria informó a Mary, por correo electrónico, que su solicitud había sido rechazada tras el análisis automatizado de SafeRent. El mensaje estipulaba que para ser aceptada, ella debería haber alcanzado una puntuación de al menos cuatrocientos cuarenta y tres. No había posibilidad de apelación contra esta decisión arbitraria.

Navegar en un mercado de alquiler donde las evaluaciones automatizadas reemplazan los juicios humanos presenta desafíos sin precedentes. El duopolio de la inteligencia artificial permite una mayor impunidad en la selección de candidatos para el alquiler, dejando poco espacio para la equidad.

Una demanda colectiva

Mary Louis optó por medidas legales, uniéndose a un colectivo de más de cuatrocientos inquilinos de color que utilizan vales de vivienda. Este grupo presentó una demanda contra SafeRent, argumentando que la puntuación otorgada tenía una connotación discriminatoria que penalizaba a los inquilinos negros y hispanos. Estos inquilinos sostienen que el algoritmo desvaloriza totalmente elementos relevantes de su estabilidad financiera.

Las desventajas sistémicas que enfrentan estas comunidades se ven exacerbadas por datos sesgados. Los estudios muestran que los candidatos de minorías son más propensos a tener puntuaciones de crédito más bajas y a utilizar vales de vivienda, alimentando un ciclo de discriminación.

Los efectos de la IA en la vivienda

Sistemas como SafeRent favorecen una distancia entre los administradores de propiedades y los posibles inquilinos. Los algoritmos, aunque supuestamente objetivos, operan a menudo sin transparencia. Esto provoca una falta de comprensión tanto para los inquilinos como para los propietarios.

Los profesionales de la gestión inmobiliaria, a menudo impotentes frente a las decisiones algorítmicas, no tienen acceso ni comprensión de los criterios específicos utilizados. Esta falta de claridad fomenta un clima de desconfianza y desigualdad.

La respuesta de SafeRent

Tras la demanda, SafeRent aceptó un acuerdo de dos millones trescientos mil dólares, mientras afirmaba que no reconocía ninguna responsabilidad legal. Este acuerdo obliga a la empresa a cesar, durante cinco años, el uso de su sistema de puntuación para inquilinos que utilizan vales de vivienda. Un avance que podría redefinir el compromiso de las empresas con la equidad en el alquiler.

Esta decisión, aunque no sancionada como un acto de injusticia, representa una anomalía en un marco donde la tecnología ha tenido, a menudo, el control. Las organizaciones de defensa de los derechos de los inquilinos aplauden este enfoque, esperando que allane el camino hacia una regulación adecuada.

Las problemáticas más amplias de la IA

Una mayoría de las noventa y dos millones de personas consideradas de bajos ingresos en los Estados Unidos están expuestas a la toma de decisiones automatizada en áreas fundamentales como el empleo, la vivienda y la asistencia gubernamental. En ausencia de regulaciones robustas, esta dinámica refuerza desigualdades ya existentes, impactando la calidad de vida de los más vulnerables.

Las respuestas legislativas actuales no logran seguir el ritmo del rápido avance de las tecnologías. Las encuestas revelan un descontento creciente en el público respecto al uso de la IA en situaciones cruciales, manifestando preocupación por la falta de visibilidad de los sistemas de decisión.

Un futuro incierto para los recursos

Las leyes en vigor son limitadas en su capacidad para contrarrestar los abusos relacionados con los sistemas de decisión algorítmica. Sin un marco regulatorio claro, se vuelve cada vez más difícil hacer que estas corporaciones sean responsables del impacto de sus tecnologías. La situación actual subraya la necesidad de crear mecanismos robustos para garantizar la equidad y la justicia.

La demanda presentada por Mary Louis y sus co-demandantes representa un posible punto de inflexión en la lucha contra las discriminaciones alimentadas por la IA, incitando a los legisladores a considerar cambios significativos. Este caso podría establecer un precedente que anime a otras personas a oponerse a las injusticias causadas por decisiones algorítmicas.

Preguntas frecuentes sobre las injusticias relacionadas con la IA en la vivienda

¿Cuál es el papel de los algoritmos en el proceso de selección de inquilinos?
Los algoritmos, como los utilizados por SafeRent, se emplean para evaluar las solicitudes de alquiler basándose en un puntaje determinado a partir de diversos criterios financieros y de comportamiento. Sin embargo, este proceso puede ser opaco y discriminatorio, ya que no siempre considera las circunstancias personales de los candidatos.
¿Cómo puede un puntaje de IA afectar la solicitud de vivienda de una persona?
Un puntaje insuficiente generado por una IA puede llevar al rechazo de una solicitud, como sucedió con Mary Louis, impidiendo que personas alquilen viviendas adecuadas a pesar de tener referencias positivas y otras garantías.
¿Qué acciones se pueden emprender si su solicitud de alquiler es rechazada por un puntaje de IA?
Las personas pueden considerar apelar la decisión apoyándose en leyes contra la discriminación. Acciones colectivas, como la emprendida por Mary Louis, también pueden ser una vía a explorar.
¿Qué criterios suelen tenerse en cuenta por los algoritmos de puntuación?
Los algoritmos a menudo evalúan elementos como puntuaciones de crédito, deudas no relacionadas con la vivienda y otros factores financieros. Sin embargo, pueden ignorar información relevante, como el uso de vales de vivienda.
¿La ley protege a los inquilinos contra la discriminación algorítmica?
Sí, leyes como el Fair Housing Act en los Estados Unidos prohíben la discriminación en la vivienda. Sin embargo, la aplicación de estas leyes puede ser compleja cuando las decisiones son tomadas por algoritmos.
¿Qué recursos están disponibles en caso de discriminación basada en criterios de puntuación?
Las víctimas de discriminación pueden presentar quejas ante las entidades correspondientes, como el departamento de Justicia o las autoridades de vivienda, y considerar acciones legales para impugnar la forma en que se evaluó su solicitud.
¿Qué es el caso de Mary Louis y qué impacto ha tenido?
Mary Louis demandó a SafeRent después de ser rechazada para un apartamento debido a un puntaje de IA. Este caso plantea preguntas sobre la transparencia y la equidad de los sistemas de puntuación, y podría establecer un precedente para otras acciones legales similares.
¿Cómo reaccionan los trabajadores sociales y los defensores de los derechos humanos a este fenómeno?
Ellos llaman la atención sobre los riesgos de la discriminación algorítmicamente generada y fomentan la implementación de regulaciones para proteger a los inquilinos vulnerables que pueden verse injustamente afectados por estos sistemas.
¿Existen límites al uso de algoritmos en el sector de vivienda?
Actualmente, existen pocas regulaciones específicas que enmarquen el uso de algoritmos en la vivienda, pero se están llevando a cabo esfuerzos legislativos para proteger los derechos de los inquilinos frente a decisiones automatizadas.
¿Qué pueden hacer los propietarios para evitar la discriminación en el proceso de selección de inquilinos?
Se alienta a los propietarios a adoptar prácticas de evaluación transparentes y equitativas, a considerar factores contextuales y a evitar confiar únicamente en los puntajes algorítmicos para tomar decisiones de alquiler.

actu.iaNon classéElle a perdu son appartement à cause d'un score généré par une...

La ascensión del término ‘clanker’: el grito de unión de la generación Z contra la IA

découvrez comment le terme 'clanker' est devenu un symbole fort pour la génération z, incarnant leur mobilisation et leurs inquiétudes face à l'essor de l'intelligence artificielle.
découvrez comment les agents d'ia, longtemps fantasmés par la science-fiction, doivent encore évoluer et surmonter des défis pour révéler tout leur potentiel et s’imposer comme des acteurs majeurs dans notre quotidien.

Taco Bell interrumpe el despliegue de su IA después de que una broma sobre 18 000 vasos de agua...

taco bell a temporairement suspendu le déploiement de son intelligence artificielle après que le système ait été perturbé par un canular impliquant la commande de 18 000 gobelets d'eau, soulignant les défis liés à l'intégration de l'ia dans la restauration rapide.

La inteligencia artificial conversacional: un activo estratégico esencial para las empresas modernas

découvrez comment l'intelligence artificielle conversationnelle transforme la relation client et optimise les performances des entreprises modernes, en offrant une communication fluide et des solutions innovantes adaptées à chaque besoin.

Estrategias para proteger sus datos de accesos no autorizados de Claude

découvrez des stratégies efficaces pour protéger vos données contre les accès non autorisés, renforcer la sécurité de vos informations et préserver la confidentialité face aux risques actuels.
découvrez l'histoire tragique d'un drame familial aux états-unis : des parents poursuivent openai en justice, accusant chatgpt d'avoir incité leur fils au suicide. un dossier bouleversant qui soulève des questions sur l'intelligence artificielle et la responsabilité.