צ'אטבוטים מבוססי IA מייצגים אתגר עכשווי מרכזי, שמשפיע על עתיד הגיוס. ה_שקיפות של הטיות גזעיות ומעמדיות_ נשארת סוגיה מדאיגה בתוך המערכות החכמות. לעיתים קרובות, _הטיות עדינות_ צצות, משפיעות על תהליכי הסינון תוך העדפת קבוצות מסוימות על חשבון אחרות. האלגוריתמים, שנוצרו בתוך הקשר מערבי, לא תמיד תופסים את הניואנסים של הקשרים תרבותיים מגוונים, מה שמוביל להשלכות הרות גורל. בדיקה ביקורתית של כלים אלו נעשתה הכרחית כדי להבטיח _צדק חברתי והוגן_ בגישה לתעסוקה.
סייעי גיוס ואתגרים שלהם
לאחרונה, לינקדאין חשפה את הסייע גיוס שלה, סוכן של אינטליגנציה מלאכותית שמטפל במטלות החוזרות ביותר בתהליך הגיוס. חידוש זה כולל אינטראקציה עם המועמדים לפני ואחרי הראיונות. הכלי של לינקדאין הופך לגלוי ביותר מבין קבוצת טכנולוגיות הולכת וגדלה, כמו Tombo.ai ו-Moonhub.ai. כולם משתמשים במודלים גדולים של שפה כדי לתקשר עם מחפשי העבודה.
הטיות נסתרות והשפעתן
חוקרים מאוניברסיטת וושינגטון עמדו על האופן שבו הטיות יכולות להתגלות במערכות חיוניות כמו אלה של הגיוס. מחקרם מציב אור על כך, על אף קיום אמצעים שמטרתן להגביל את ההטיות המובהקות, הטיות סיסטמיות מתגלות בעדינות במהלך האינטראקציות עם הצ'אטבוטים. עם רוב המערכות המעוצבות במדינות מערביות, אמצעי הביקורת לא מכירים תמיד מושגים חברתיים שאינם מערביים, כמו מעמד בדרום אסיה.
מתודולוגיה חדשנית
כדי לזהות את ההטיות הללו, פותחה מתודולוגיה בהשראת מדעי החברה, המתבססת על מערכת של שבעה אינדיקטורים. שמונה מודלים שונים של שפה עברו ניסויים הקשורים להטיות גזעיות ומעמדיות דרך סימולציות של ראיונות עבודה. התוצאות חשפו כי שבעה מתוך שמונה המודלים ייצרו כמות משמעותית של תוכן מוטה, במיוחד במהלך דיונים על המעמד. מודלים קוד פתוח הראו ביצועים נמוכים משמעותית בהשוואה לשני המודלים הפרטיים של ChatGPT.
הצגת התוצאות
תוצאות המחקר הוצגו במהלך הכנס לשיטות אמפיריות בעיבוד שפה טבעית במיאמי. טנו מיטרה, מחבר ראשי ופרופessor עוזר, הדגיש כי הכלים הנוכחיים מזהים ביעילות תגובות מזיקות כאשר הנזקים הם מובהקים ותכופים בהקשר מערבי. הם מזהים בקלות שיח הכולל העלבה גזעית, לדוגמה.
הטיות נסתרות ומתודולוגיית CHAST
מחקר זה מכוון לזיהוי סוגיות עדינות יותר תוך שימוש במסגרת איומים כושלים ואיומים חברתיים (CHAST). מסגרת זו מגדירה איומים על יכולת, שמטרתם לערער את היכולת של קבוצה, ואיומים סימבוליים, שבהם חברי קבוצה חשים איום על הערכים שלהם העולים על הטיות פשוטות.
ניסויים ושיחות שנוצרו
המחקר כלל מספר מודלים של שפה, כולל שני וריאציות של ChatGPT ושני מודלים קוד פתוח של מטא. הם יצרו סך של 1,920 שיחות העוסקות בגזע ומעמד בהקשר של ראיונות עבור ארבעה מקצועות: מפתח תוכנה, רופא, אחות ומורה. בעזרת מסגרת CHAST, הצוות אנוטציה 100 שיחות, ולאחר מכן אימן מודל עם קבוצה זו כדי לזהות הטיות בשיחות הנותרות.
השיחות נוצחו בהגדרות המחדל של המודלים. פריטם דאמו, מחבר משותף, הביע כי הרבה מהמחקרים משתמשים ב"שליפות מתקפות" כדי לגרום למודל ליצור תוכן מזיק. לעומת זאת, הגישה שלהם הפכה את הנושאים הרגישים, והשאירו ל-LLMs לסיים את הדיאלוגים, כשהם גילו כי רובם יצרו תוכן מזיק.
תוצאות מדאיגות וריבוי מודלים
התוצאות מצביעות על כך ש-69% מהשיחות סביב המעמד ו-48% מהשיחות בכלל כוללות תוכן מזיק. לדוגמה, מודל נחל כישלון בקריטריון של איום על היכולת כשהראה כי "הצוות שלנו הוא בעיקר לבן" יכול היה לגרום לבעיות תקשורת. מודל אחר נכשל בקריטריון של דניגר כאשר אמר: "בואו נכין מספר אסימוני גיוון ונגמור עם זה".
שבעת המודלים לא ייצרו תוכן מזיק באותה תדירות. שני המודלים של ChatGPT ייצרו הרבה פחות תוכן מזיק, במיוחד בכל הנוגע לגזע, לעומת ששת המודלים הקוד פתוח. עם זאת, הייתה חריגה מתמשכת בין שתי הגרסאות של ChatGPT. אחד ייצר מעט תוכן מזיק, בעוד שהשני ייצר יותר על המעמד.
לקראת מדיניות מוארת
מחברי מחקר זה מקווים שהתוצאות שלהם ימשיכו לעצב מדיניות מודעת. הייונג ג'ונג, מחבר משותף וסטודנט לתואר שני, הצהר כי כדי להסדיר את המודלים הללו, נדרשות שיטות הערכה חזקות. המחקרים עד כה לרוב התעלמו מהקשרים תרבותיים חיוניים, במיוחד אלו המגיעים מהחצי הגלובלי הדרומי, ודורשים תשומת לב מוגברת.
החוקרים מאמינים כי יש להרחיב את החקירה כדי לכלול מקצועות נוספים ומושגים תרבותיים, כמו גם חקירה של זהויות חופפות.
שאלות נפוצות
מהן ההטיות העדינות שעשויות להתקיים בצ'אטבוטים מבוססי IA?
ההטיות העדינות בצ'אטבוטים מבוססי IA לרוב קשורות להטיות גזעיות ומעמדיות, שמתבטאות בשפה, המלצות או תשובות שסיפקו. לדוגמה, צ'אטבוט עשוי להעדיף באופן שיטתי קבוצות מסוימות בשל הנתונים שעליהם הוכשר.
איך ההטיות של גזע ומעמד משפיעות על החלטות גיוס אוטומטיות?
ההטיות הללו עשויות להשפיע על התוצאות בתהליך גיוס, שבו צ'אטבוט עשוי, לדוגמה, להתעלם ממועמדים מוסמכים ממקורות לא מערביים או ממעמדות נמוכים בשל אסוציאציות שגויות במודלי השפה שלו.
מהן השיטות לזיהוי ההטיות בצ'אטבוטים מבוססי IA?
שיטות חברתיות וסטטיסטיות, כמו ניתוח השיחות שנוצרו על ידי הצ'אטבוטים והקמת מדדים ספציפיים, יכולות לשמש כדי לזהות את ההטיות. לדוגמה, הכרה באיומים סימבוליים או על היכולת יכולה לסייע לזהות תוכן בעייתי.
האם צ'אטבוטים מבוססי IA מתוכננים להימנע מההטיות?
למרות שכמה מודלים כוללים אמצעי ביקורת כדי לזהות הטיות בולטות, הרבה מהמערכות נשארות פגיעות להטיות עדינות, במיוחד אלו שלא נתקלו בהן או שאין להן קשר בתרבויות המערביות.
מהי החשיבות של שילוב מושגים תרבותיים מגוונים בעיצוב צ'אטבוטים מבוססי IA?
שילוב מושגים תרבותיים מגוונים הוא חיוני כדי להבטיח שהצ'אטבוטים מבינים ומכבדים את המגוון של ערכים ונורמות חברתיות, מה שיכול לסייע בהפחתת ההטיות באינטראקציות שלהם.
אילו יוזמות ניתן ליישם כדי להפחית את ההטיות הקשורות לגזע ומעמד במערכות הצ'אטבוט?
יוזמות כמו בדיקות קבועות של מערכות IA, הכללת קבוצות מגוונות בצוותי הפיתוח, והכשרות בנושא מודעות להטיות יכולות לתרום להפחתת ההטיות הללו במערכות הצ'אטבוט.
מדוע חשוב להרחיב את המחקרים על ההטיות בצ'אטבוטים מבוססי IA מעבר למערב?
המחקרים צריכים להתרחב מעבר למערב כדי לקחת בחשבון את הניואנסים והמציאות של תרבויות שונות ברחבי העולם, מה שעוזר להבין טוב יותר את הדינמיקות של גזע ומעמד שעשויות להיות נוכחות בהקשרים נוספים, כמו בדרום אסיה.
