ציון מפלה
מרי לואיס קיבלה ציון של מאתיים עשרים וארבע מתוכנת הערכת דיירים בשם SafeRent. האלגוריתם, שלא סיפק הסבר כלשהו לגבי הקריטריונים שהובילו לציון הזה, ציין בתמציתיות שהוא נמוך מדי מכדי שהיא תוכל לקבל את הדירה הרצויה. לא ניתנה כל הבהרה לגבי משמעות המספר הזה.
מצב זה התרחש כשמרי חיפשה לשכור דירה בפרבר של מסהצ'וסטס. למרות ציון האשראי המינימלי, למרי היו המלצות חזקות, כולל בעלת דירה קודמת שטענה שהיא תמיד שילמה את שכר הדירה בזמן. תוכנית הסיוע שלה לשכר דירה העניקה לבעל הדירה הכנסות ממשלתיות, מה שסיפק ביטחון כלכלי נוסף.
ההחלטה האוטומטית
שירות ניהול הנדל"ן הודיע למרי, באמצעות דוא"ל, כי בקשתה נדחתה לאחר ניתוח אוטומטי של SafeRent. ההודעה ציינה שכדי להתקבל, היא הייתה צריכה להשיג ציון של לפחות ארבע מאות ארבעים ושלוש. לא הייתה אפשרות לערעור על החלטה שרירותית זו.
נווטים בשוק השכירות שבו הערכות אוטומטיות מחליפות שיפוטים אנושיים מציבים אתגרים חסרי תקדים. הדואופול של הבינה המלאכותית מאפשר חופש פעולה גדול יותר בבחירת המועמדים להשכרה, deixando pouco espaço para צדק.
תביעה ייצוגית
מרי לואיס בחרה לנקוט בפעולות משפטיות, והצטרפה לקבוצה של יותר מארבע מאות דיירים צבעוניים המשתמשים בשוברים לשכירות. הקבוצה הזו תבעה את SafeRent, בטענה כי הציון שניתן נושא משמעות מפלה שמפלה דיירים שחורים ולא היספנים. דיירים אלו טוענים שהאלגוריתם מערער לחלוטין על מרכיבים רלוונטיים של יציבותם הכלכלית.
החסרונות המערכתיים שעימם מתמודדות הקהילות הללו מוגברים על ידי נתונים מעוותים. מחקרים מראים שמועמדים מקבוצות מיעוטים נוטים יותר לקבל ציונים נמוכים באשראי ולנצל שוברים לשכירות, מה שמזין מחזור של אפליה.
ההשפעות של בינה מלאכותית על הדיור
מערכות כמו SafeRent מקדמות מרחק בין מנהלי הנדל"ן לדיירים פוטנציאליים. האלגוריתמים, על אף שבשקר ייחשבו לאובייקטיביים, פועלים לעיתים קרובות ללא שקיפות. דבר זה גורם לאי הבנה הן לדיירים והן לבעלי הנכסים.
מקצועני ניהול הנדל"ן, שלעצמם לעיתים קרובות אין אונים מול ההחלטות האלגוריתמיות, לא מוסמכים להבין מה הקריטריונים הספציפיים שנמצאים בשימוש. חוסר הבהירות הזה מעודד אקלים של חוסר אמון ואי-שוויון.
תגובת SafeRent
בעקבות התביעה, SafeRent הסכימה להסדר של שניים מיליון שלוש מאות אלף דולר, תוך ציון שהיא אינה מכירה באחריות משפטית. ההסדר הזה מחייב את החברה להפסיק, למשך חמש שנים, את השימוש במערכת הניקוד שלה לדיירים המשתמשים בשוברים לשכירות. התקדמות זו עשויה להגדיר מחדש את המחויבות של חברות לשוויון בדיור.
החלטה זו, על אף שאינה נחשבת למעשה עוול, מציגה אנומליה במסגרת שבה הטכנולוגיה לעיתים קרובות שולטת. ארגוני הגנה על זכויות הדיירים מברכים על מהלך זה, בתקווה שהוא יפתח את הדרך לחוקי רגולציה הולמים.
האתגרים הרחבים של הבינה המלאכותית
רוב התשעים ושתיים מיליון אנשים הנחשבים לשכבת הכנסה נמוכה בארצות הברית חשופים למערכות קבלת החלטות אוטומטיות בתחומים בסיסיים כמו תעסוקה, דיור ועזרה ממשלתית. בהיעדר חוקים רגולטיביים חזקים, הדינמיקה הזו מחזקת אי-שוויון קיים, משפיעה על איכות החיים של הפגיעים ביותר.
התשובות בחוק הנוכחי אינן מצליחות להעקוב אחרי הקצב המהיר של התפתחויות טכנולוגיות. חקירות מראות על עלייה בדעת הקהל בנוגע לשימוש בבינה מלאכותית במצבים קריטיים, משקפות דאגה לגבי חוסר השקיפות של מערכות קבלת ההחלטות.
עתיד לא בטוח לגבי תביעות
החוקים הנוכחיים מוגבלים ביכולתם להתמודד עם העוולות הקשורות למערכות קבלת החלטות אלגוריתמיות. ללא מסגרת רגולטורית ברורה, הולך ומקשה להחזיק את התאגידים האחראים כלפי השפעת הטכנולוגיות שלהם. המצב הנוכחי מדגיש את הצורך ליצור מנגנונים חזקים להבטחת צדק ושוויון.
התביעה שהגישה מרי לואיס ושאר התובעים מייצגת מפנה פוטנציאלי במאבק נגד אפליה הנגרמת על ידי הבינה המלאכותית, ומניעה את המחוקקים לשקול שינויים משמעותיים. מקרה זה עשוי להקים תקדים לעוד אנשים להתנגד לעוולות שנגרמות על ידי החלטות אלגוריתמיות.
שאלות נפוצות על העוולות הקשורות לבינה מלאכותית בדיור
מה התפקיד של האלגוריתמים בתהליך בחירת הדיירים?
האלגוריתמים, כמו אלו המופעלים על ידי SafeRent, משמשים להעריך את הבקשות לשכירות בהתבסס על ציון הנקבע על סמך קריטריונים פיננסיים והתנהגותיים שונים. עם זאת, תהליך זה יכול להיות לא שקוף ומפלה, שכן אינו תמיד לוקח בחשבון את הנסיבות האישיות של המועמדים.
איך ציון בינה מלאכותית יכול להשפיע על בקשת דיור של אישה?
ציון נמוך שנוצר על ידי בינה מלאכותית יכול להוביל לדחיית בקשה, כפי שקרה עם מרי לואיס, מונע מאנשים לשכור דיור הולם למרות המלצות חיוביות וביטחונות אחרים.
מה ניתן לעשות אם הבקשה לשכירות נדחתה בשל ציון בינה מלאכותית?
פרטים יכולים לשקול לערער על ההחלטה על בסיס חוקים נגד אפליה. תביעות ייצוגיות, כמו זו שהגישה מרי לואיס, עשויות להיות גם דרך לבחון.
אילו קריטריונים בדרך כלל נלקחים בחשבון על ידי אלגוריתמים לדירוג?
האלגוריתמים מעריכים לעיתים קרובות מרכיבים כמו ציוני אשראי, חובות שאינן קשורות לדיור, ועوامل פיננסיים נוספים. עם זאת, הם עשויים להתעלם ממידע רלוונטי, כמו השימוש בשוברים לשכירות.
האם החוק מגונן על דיירים מפני אפליה אלגוריתמית?
כן, חוקים כמו חוק הדיור ההוגן בארצות הברית אוסרים על אפליה בדיור. עם זאת, יישום חוקים אלו יכול להיות מורכב כאשר ההחלטות מתקבלות על ידי אלגוריתמים.
אילו צעדים אפשריים במקרה של אפליה המבוססת על קריטריונים של ניקוד?
קורבנות אפליה יכולים להגיש תלונה לרשויות המוסמכות, כמו משרד המשפטים או רשויות הדיור, ולשקול לצעד משפטי כדי לאתגר בצורה בה הוערכה בקשתם.
מהו המקרה של מרי לואיס ואיזה השפעה הייתה לו?
מרי לואיס הגישה תביעה נגד SafeRent לאחר שנדחתה לדירה בשל ציון בינה מלאכותית. מקרה זה מעורר שאלות לגבי שקיפות וצדק של מערכות הדירוג, ועשוי להקים תקדים לעוד תביעות משפטיות דומות.
איך עובדים סוציאליים ועורכי דין לזכויות אדם מגיבים לתופעה זו?
הם ממחזרים תשומת לב לריסקים של אפליה אלגוריתמית ומעודדים יישום רגולציות כדי להגן על דיירים פגיעים שעשויים להיפגע בצורה לא צודקת על ידי מערכות אלו.
האם יש גבולות לשימוש של אלגוריתמים בתחום הדיור?
נכון לעכשיו, קיימות מעט רגולציות ספציפיות להסדיר את השימוש של אלגוריתמים בתחום הדיור, אך ישנם מאמצים חקיקתיים כדי להגן על זכויות הדיירים מול החלטות אוטומטיות.
מה יכולים לעשות בעלי הדירות כדי למנוע אפליה בתהליך בחירת הדיירים?
בעלי הדירות מעודדים לאמץ שיטות הערכה שקופות והוגנות, לשקול מרכיבים הקשריים, ולמנוע להסתמך רק על ציונים אלגוריתמיים כדי לקבל החלטות השכרה.
