一個歧視性分數
瑪莉路易斯(Mary Louis)在一個名為SafeRent的租戶評估軟件中獲得了三百二十四的分數。這個算法沒有提供任何關於導致該分數的標準的解釋,只是提到她的分數太低,無法獲得所希望的住房。對於這個數字的意義,沒有提供任何澄清。
這一情況發生在她尋找位於馬薩諸塞州的公寓時。儘管擁有適中的信用分數,瑪莉卻擁有堅實的推薦信,包括一位以前的房東聲稱她總是按時支付租金。她的租金補助計劃為房東提供了政府收入,提供了額外的財務安全。
自動決策
該物業管理服務通過電子郵件通知瑪莉,她的申請因SafeRent的自動分析而被拒絕。消息指出,為了被接受,她的分數必須至少達到四百四十三。對於這一任意決定,沒有可能進行上訴。
在一個自動評估取代人工判斷的租賃市場中,所面臨的挑戰是前所未有的。人工智能的雙頭壟斷使得在租客選擇中採取更大的免責權,幾乎沒有公平的空間。
集體訴訟
瑪莉路易斯選擇採取法律行動,加入了一個由四百多名有色人種租戶以及使用住房券的人士組成的集體。該小組對SafeRent提起了訴訟,主張該分數具有歧視意味,懲罰黑人和西班牙裔租客。這些租戶辯稱,該算法完全貶值了他們財務穩定的相關因素。
這些社區面臨的系統性劣勢因偏見數據而加劇。研究顯示,來自少數族裔的候選人更有可能擁有較低的信用分數並且使用住房券,從而加深了歧視的循環。
人工智能對住房的影響
像SafeRent這樣的系統促進了物業管理者與潛在租戶之間的距離。算法雖然聲稱是客觀的,但經常在缺乏透明度的情況下運作。這導致租戶和房東之間的不理解。
物業管理專業人士往往對算法決策感到無能為力,未能獲得或者理解所使用的具體標準。這種缺乏透明度助長了一種不信任和不平等的氛圍。
SafeRent的回應
在訴訟之後,SafeRent達成了一項兩百三十萬美元的和解,並聲明不承擔任何法律責任。這一和解使該公司在未來五年內停止對使用住房券的租戶的分數系統的使用。一項可能重新定義企業在住房公平方面承諾的進展。
雖然這一決定並未被認為是一種不公正行為,但在技術經常主導的框架中,它卻代表著一種異常。租戶權益保護組織對此舉措表示讚賞,希望能夠為適當的監管鋪平道路。
人工智能的更廣泛問題
美國九千二百萬被視為低收入的人面臨自動決策的影響,這影響了如就業、住房和政府援助等基本領域。在缺乏穩固監管的情況下,這一動態加強了已存在的不平等,影響了最脆弱群體的生活品質。
目前的立法反應無法跟上科技的快速進步。調查顯示,公眾對於在關鍵情況下使用人工智能的日益不滿,顯示出對決策系統缺乏透明度的擔憂。
對訴訟的未來不確定性
現行法律在對抗與算法決策系統相關的濫用上能力有限。缺乏明確的監管框架,使這些公司愈發難以對其技術影響負責。當前情況強調了建立強有力機制以確保公平和正義的必要性。
瑪莉路易斯及其共同原告提起的訴訟代表著針對人工智能驅動的歧視鬥爭中的潛在轉折點,促使立法者考慮重大變革。這個案件有可能建立一個有利的先例,鼓勵其他人反對算法決策所造成的不公。
有關人工智能在住房領域的歧視的常見問題
算法在租戶選擇過程中扮演什麼角色?
像SafeRent使用的算法被用來評估租借申請,根據各種財務和行為標準來確定分數。然而,這一過程可能不透明且帶有歧視,因為它並不總是考慮申請人的個人情況。
人工智能的分數如何影響一個人的住房申請?
生成的分數不足可能導致申請被拒,就像瑪莉路易斯的情況一樣,阻止人們租用適合的住房,儘管擁有正面的推薦信和其他保障。
如果因為人工智能分數而被拒絕租賃申請,應該採取哪些行動?
個人可以考慮根據反歧視法律質疑該決定。集體行動,如瑪莉路易斯提起的行動,也是一種可行的途徑。
通常算法評分考慮了哪些標準?
算法通常評估如信用分數、非住房債務及其他財務因素等元素。然而,它們可能忽略如使用住房券等相關信息。
法律是否保護租戶免受算法歧視?
是的,美國的公平住房法等法律禁止住房中的歧視。然而,當決策由算法作出時,執行這些法律可能會是複雜的。
在基於評分標準的歧視情況下,有哪些可行的救濟措施?
歧視受害者可以向相關機構(如司法部或住房當局)提出投訴,並考慮採取法律行動以質疑他們的申請評估方式。
瑪莉路易斯的案件是什麼?它產生了什麼影響?
瑪莉路易斯在因人工智能分數而被拒絕某公寓後,對SafeRent提起了訴訟。該案件提出了有關評分系統透明度和公平性的重要問題,有可能為其他類似的法律行動樹立先例。
社工和人權倡導者對這一現象的反應如何?
他們對算法歧視的風險表示關注,並鼓勵制定規範以保護可能會受到這些系統不公影響的脆弱租戶。
在住房領域,算法使用是否存在限制?
目前,對住房中算法使用的特定規範相對缺乏,但立法努力正在進行,以保護租戶在自動決策中的權利。
房東可以採取何種措施以避免在租戶選擇過程中出現歧視?
鼓勵房東採取透明、公平的評估實踐,考慮背景因素,並避免僅依賴算法分數來做出租賃決定。