השימוש הגובר באלגוריתמים חברתיים מחייב הגדרת מחדש של המנגנונים של בקרה אזרחית. מערכות דירוג הסיכון מתפקדות כיום כאמצעי לשליטה חברתית סמויה, מופעלות על ידי נתונים עצומים. אלגוריתמים אלו קובעים מי ראוי לבדיקה מעמיקה, הופכים על פיה את העקרונות הבסיסיים של שוויון וצדק חברתי.
המאבק נגד הונאה מתהפך תירוץ להחמרת הבקרה, מה שמחמיר את האי-שוויון. אנשים הפגיעים ביותר סובלים מהמיקוד המוגבר, יוצרים בכך היררכיה מדאיגה של אזרחים. בלב בעיה זו, המושג פרופילינג אלגוריתמי מעלה אינספור שאלות אתיות, מעורר דיון דחוף על השימוש בטכנולוגיות בחברות המודרניות שלנו.
אלגוריתמים לדירוג: מנגנון שליטה מוגבר
מאז 2010, קופת חולים הלאומית (CNAF) הטמיעה אלגוריתם דירוג סיכונים בתהליכי ההערכה שלה. מערכת זו מייחסת ציון סיכון לכל מקבל הטבה, ובכך קובעת את רמת הבקרה הנדרשת עבור כל פרט. גישה אלגוריתמית זו מעוררת חששות לאור השפעותיה על פרטיות וזכויות האדם הבסיסיות של האזרחים.
קריטריונים לפרופילינג והשלכות חברתיות
הקריטריונים שבהם משתמש האלגוריתם אינם תוצאה של מקריות. הם כוללים נתונים סוציו-כלכליים כגון רמת הכנסה, מצב תעסוקתי, והרכב משפחתי. כתוצאה מכך, קבוצות פגיעות נפגעות פיזית מהחסרון. לדוגמה, אדם המתגורר בשכונה חלשה לרוב מקבל ציון גבוה יותר, דבר שמוביל לבקרה מוגברת וחשדות לא מוצדקים.
אפליה מערכתית דרך אלגוריתמים
מערכת זו יוצרת סטיגמטיזציה מערכתית, מתייחסת לאוכלוסיות חלשות כאל נוכלים פוטנציאליים. משפחות חד-הוריות ובעלי עבודה הם במיוחד ממוקדים, דינמיקה זו מחמירה את האי-שוויון הקיים. הגישה לעזרה ציבורית מוצאת את עצמה נתקעת על ידי הליכים מנהליים של בקרה מוגברת. בשנת 2023, חשיפות הניבו מתאם מטריד בין ציון הסיכון לגורמים מפלים, מה שמעיד על הטיה מערכתית טבועה באלגוריתמים אלו.
עמנסטי אינטרנשיונל והקריאה להסדרה
ב-15 באוקטובר, עמנסטי אינטרנשיונל, בשותפות עם קואליציה של 14 ארגונים, הגישה תלונה בפני מועצת המדינה. צעד זה מכוון להפסקה המיידית של אלגוריתם דירוג הסיכונים. הקרב על שקיפות בפרקטיקות המנהליות מתגבר, כאשר קולות מתעוררים נגד היעילות המפריעה של מערכת כזו.
ההשלכות האתיות של האלגוריתמים
ההשלכות של האוטומציה הזו אינן מוגבלות רק למישור הכלכלי. האלגוריתמים יוצרים אקלים של חוסר אמון שמפר את הקשרים בין האזרחים למדינה. בהקנא מנגנון בקרה סיסטמטי על החלשים ביותר, החברה לא רק מחזקת את האי-שוויון, אלא גם מעוותת את התפקיד המגן של מנגנוני הביטוח הסוציאלי.
לעבר הסדרה הכרחית של אינטליגנציה מלאכותית
עם עצמתם של הכלים האלגוריתמיים, עולה קריאה להסדרה מחמירה. יצירת מרחב דיגיטלי אירופי מהימן הופכת לאי לכך, כולל שחקנים מגוונים וחוקים שיתנו מענה למהמורות החברתיות העכשוויות. הצורך בדיון ציבורי על הנושא מתבקש יותר ויותר, שכן סכנת השלטון המטורף היא אמיתית מאוד.
התנגדות ואלטרנטיבה לאלגוריתמים
אל מול הגברת הבקרה המופעלת על ידי מערכות אלו, אלטרנטיבות צצות. ארגונים עובדים על הקמת פתרונות שמקדמים שוויון, על ידי קידום גישה פרופורציונאלית והוגנת לעזרה סוציאלית. המאבק כנגד פרופילינג אתני וסוציו-כלכלי מתבלט כמו עדיפות, דורש שינויים רגולטוריים עמוקים.
השפעה על רווחתם של האזרחים
החשש להיות באור של פיקוח משפיע על הרווחה הפסיכולוגית של האזרחים, במיוחד אלו שכבר נתקלים בקשיים פיננסיים. הפיקוח האלגוריתמי הזה יכול להוליד אוטו-צנזורה, מעכב את הפרטים לבקש את העזרה המגיעה להם. המערכות הנוכחיות צריכות להיבחן מחדש כדי להפחית את ההשפעות ההרסניות הללו על tejido החברתי.
שאלות נפוצות
מהו ציון סיכון בהקשר של אלגוריתמים חברתיים?
ציון סיכון הוא הערכה כמותית המיועדת ליחיד על ידי אלגוריתם, בדרך כלל משמשת לקביעת הסבירות להתנהגויות הנתפסות כנוכלות או לא רצויות, במיוחד בהקשר של מערכות הגנה סוציאליות.
באילו דרכים הערכות האלגוריתם את מקבלי ההטבות הסוציאליות?
האלגוריתמים בודקים קריטריונים שונים, כוללים נתונים סוציו-כלכליים, היסטוריות של בקשות ואינטראקציות, לקביעת ציון שניתן ממנו לקבוע את רמת הבקרה שהמוטב ייחשף אליה.
מהן ההשפעות האתיות של האלגוריתמים על קבוצות פגיעות?
האלגוריתמים יכולים להחמיר את האי-שוויון על ידי מיקוד לא פרופורציונלי בפרטים המגיעים מרקעים מקופחים, ובכך לחזק סטיגמטיזציה מערכתית ולהגביר את חוסר האמון כלפי המוסדות.
האם הציונים הסיכוניים שקופים למשתמשים?
לעיתים קרובות, המנגנונים הפנימיים של האלגוריתמים אינם מסופקים לציבור, מה שמקשה על המשתמשים להבין את הקריטריונים הקובעים את ציון הסיכון שלהם ולהפעיל ערעור במקרה של עוולה.
כיצד יכולים האלגוריתמים להשפיע על הגישה לשירותים סוציאליים?
על ידי הגברת רמת הבקרה של מקבלי ציונים גבוהים בסיכון, אלגוריתמים אלה יכולים להפריע לגישה לשירותים חיוניים וליצור תחושת חוסר אמון בקרב האוכלוסיות הזקוקות לכך ביותר.
אילו סוגי נתונים משתמשים האלגוריתמים כדי לקבוע ציון סיכון?
האלגוריתמים משתמשים בנתונים מגוונים כמו הכנסות, תעסוקה, מצב משפחתי, כמו גם היסטוריות אינטראקציה עם הסוציאלי לצורך קביעת ציון הסיכון של פרט.
האם ישנם ערוצים אפשריים נגד ההחלטות המבוססות על אלגוריתמים אלה?
קיימים ערכים חוקיים אפשריים, אך הם לעיתים קרובות מסובכים על ידי העדר שקיפות באלגוריתמים. אנשים המושפעים יכולים לבקש בדיקות מנהליות או להתחיל הליכים משפטיים, אף על פי שזה עדיין תהליך מסובך.
איך השקיפות של האלגוריתמים יכולה לשפר את המערכת?
שקיפות טובה יותר של האלגוריתמים תוכל לצמצם את ההפליות, לשפר את האמון של האזרחים ולהבטיח שהמערכות לדירוג מתיישבות עם עקרונות של צדק ושוויון בניהול ההטבות הסוציאליות.
