למידת מכונות הפוכה מעוררת שאלות יסוד על אתיקה וניהול נתונים. ההתפתחויות הטכנולוגיות דורשות דגמי AI המסוגלים *לבחור את המידע הרלוונטי*. חדשנות משמעותית מאפשרת כעת למערכות הללו לשכוח נתונים מיותרים, ובכך להציע מסגרת מותאמת אופטימלית לפעולותיהן.
השיטה שפותחה על ידי חוקרים מאוניברסיטת טוקיו למדעים מבטיחה לשנות את האינטראקציה בין ה-AI שלך לבין בסיסי הנתונים. אתגר טכנולוגי זה מדגים את האתגרים הקריטיים של קיימות בלמידת מכונה, תוך שמירה על זכויות הפרטיות של המשתמשים.
למידת מכונות הפוכה
חוקרים מאוניברסיטת טוקיו למדעים (TUS) פיתחו שיטה המאפשרת לדגמי אינטליגנציה מלאכותית (AI) גדולים "לשכוח" בעדינות קטגוריות מסוימות של נתונים. התקדמות זו מסמנת שלב מכריע בהתפתחות מערכות ה-AI, שבהן היכולת להיפטר ממידע מיושן עשויה לייעל במידה רבה את הביצועים.
דאגות לגבי היעילות של דגמי AI
ההתקדמות של ה-AI הולידה כלים מהפכניים בתחומים שונים כגון בריאות ונהיגה עצמאית. ככל שהטכנולוגיה מתקדמת, מורכבותה ושיקוליה האתיים משתנים גם הם. מערכות AI שהוכשרו מראש על כמות גדולה של נתונים, כמו דגמים ChatGPT וCLIP, שינו משמעותית את הציפיות של החברה מהמכונות. דגמים אלה, המסוגלים לנהל מגוון רחב של משימות בעקביות, הפכו לנוכחים בכל תחום, הן מקצועית והן אישית.
רבגוניות זו אינה באה ללא עלויות. הכשרה וביצוע של דגמים כאלה דורשים משאבים אנרגטיים וזמניים עצומים, מה שמעורר דאגות בנוגע לקיימות. יחד עם זאת, החומרה הנדרשת כדי להפעיל דגמים הללו יקרה בהרבה מכפי שנדרשת עבור מחשבים רגילים. הגישה הכללית עשויה גם לפגוע ביעילות המודלים כאשר הם מיועדים למשימות ספציפיות.
הצורך בשכחה סלקטיבית
באפליקציות מעשיות, לא כל הקטגוריות של אובייקטים זקוקות בהכרח לסיווג. כפי שמציין פרופסור בוגר גו אירי, אשר ניהל את המחקר הזה, זיהוי אובייקטים במערכת נהיגה אוטונומית מוגבל לרוב למספר קטגוריות מרכזיות, לרבות מכוניות, הולכי רגל ושלטי תנועה. שמירה על קטגוריות שאינן הכרחיות עשויה להפחית את הדיוק הכולל של הסיווג ולגרום לבזבוז של משאבים מחשביים.
כדי לפתור את חוסר היעילות הללו, חיוני לאמן את הדגמים "לשכוח" מידע מיותר, ובכך למקד את תהליכיהם בצרכים הספציפיים שלהם. אף שברשותנו שיטות מסוימות שניסו כבר להתייחס לדרישה זו, רבות מהן מסתמכות על גישות הנקראות "קופסה לבנה", שבהן יש למשתמשים גישה לארכיטקטורה הפנימית של הדגם. עם זאת, המציאות המסחרית והאתית מציבה אותנו פעמים רבות מול מערכות "קופסה שחורה", מה שהופך את הטכניקות המסורתיות של שכחה למציאותיות פחות.
שיטת "שיכחון קופסה שחורה"
כדי להתגבר על אתגר זה, צוות החוקרים פנה לאופטימיזציה ללא גזירות, מודל שאינו דורש גישה למנגנונים הפנימיים של מערכות ה-AI. תהליך זה, שנקרא "שיכחון קופסה שחורה", משנה במידה איטרטיבית את הנחיות הכניסה של הדגמים, ומאפשר לאינטליגנציה מלאכותית לשכוח בהדרגה קטגוריות מסוימות. גישה חדשנית זו פותחה בשיתוף פעולה עם הכותבים יוסוקה קואואנה ويوטה גוטו, שניהם מבוגרי האוניברסיטה TUS, כמו גם דר. טאקashi שיבתא מחברת NEC Corporation.
החוקרים ביצעו את עבודותיהם על CLIP, דגם המשלב בין ראייה ושפה עם יכולות סיווג תמונות. השיטות שלהם מתבססות על אסטרטגיית אבולוציה של הסתגלות מטריצת קוביאן (CMA-ES), אלגוריתם אבולוציוני שנועד לאופטימיזציה של פתרונות צעד אחר צעד. צוות החוקרים הצליח להעריך ולהתאים את ההנחיות שסופקו ל-CLIP, ומצא דרך להפחית את יכולתו לסווג קטגוריות מסוימות של תמונות.
עם התקדמות הפרויקט, אתגרים עלו. הטכניקות הקיימות לאופטימיזציה התקשו להתאים לכמות גדולה יותר של קטגוריות ממוקדות. כדי להתמודד עם בעיה זו, הצוות פיתח אסטרטגיה חדשה של פרמטריזציה, שנקראה "שיתוף הקשר הרדום". שיטה זו פועלת לס Segment את ההקשר הרדום, המייצג את המידע המיוצר על ידי ההנחיות, ליחידות קלות לעיבוד עבור הדגם.
תוצאות מוחשיות
הניסויים שהתנהלו על כמה קבוצות נתונים של סיווג תמונות אישרו את היעילות של "שיכחון קופסה שחורה". החוקרים הצליחו להוציא מ-CLIP כ-40% מהקטגוריות הממוקדות, מבלי להגשים גישה לארכיטקטורה הפנימית של הדגם. פרויקט זה מייצג את הניסיון הראשון המוצלח להנאת שכחה סלקטיבית במודל מופרד בין ראייה לשפה, מה שמוביל לתוצאות מבוססות מבטיחויות.
השלכות לעולם האמיתי
ההתקדמות הטכנולוגית הזו פותחת הזדמנויות משמעותיות ליישומים שבהם השפה הספציפית היא הכרחית. הפשטת הדגמים למשימות מסוימות עשויה להפוך אותם למהירים יותר, יותר יעילים מבחינת משאבים, ולשימושיים על התקנים פחות חזקים. זה יזרז את האימוץ של AI בתחומים שנחשבו עד כה לבלתי מעשיים.
בתחום יצירת התמונות, מחיקת קטגוריות ויזואליות שלמות יכולה למנוע יצירת תכנים לא רצויים או מזיקים, בין אם מדובר בחומרים פוגעניים או במידע שגוי. דאגה חשובה נותרת השאלה של פרטיות.
דגמי AI, ובמיוחד גדולים, נאמנים הרבה פעמים על קבוצות של נתונים עצומות שמכילות מידע רגיש או מיושן. הבקשות למחיקת נתונים כאלה, הקשורות לחוקי זכויות כמו "זכות השכחה", מציב אתגרים משמעותיים. ההכשרה מחדש הכוללת של הדגמים כדי לכלול נתונים בעייתיים דורשת משאבים מרובים וזמן, בעוד שסכנות הקשורות לשמירה עליהם עשויות לגרום להשלכות רציניות.
פרופסור אירי גם מדגיש כי "ההכשרה מחדש של דגם על פני גודל גדול צורכת כמויות עצומות של אנרגיה". לכן, המושג של "שיכחון סלקטיבי", או למידת שיכוך, עשוי להציע פתרון אפקטיבי לבעיה זו. יישומים ממוקדים פרטיות הם רלוונטיים עוד יותר בתחומים רגישים כמו בריאות וכספים.
גapproachה של "שיכחון קופסה שחורה" המוכר על ידי החוקרים מאוניברסיטת טוקיו למדעים מהווה תפנית משמעותית בהתפתחות ה-AI. יש לה פוטנציאל לשינוי לרמה של התייעצות ויעילות, לצד הקניית מסגרות הטובות למשתמשים. החששות מאפשרים שימושים לא הולמים עדיין קיימת, אך שיטות כמו שכחה סלקטיבית מוכיחות את המאמצים הפעילים של החוקרים להתמודד עם אתגרים אתיים ומעשיים דחופים.
ראו גם : מדוע QwQ-32B-Preview היא ה-AI של ההיגיון שיש לעקוב אחריה
רוצים לדעת עוד על AI ו-big data? בקרו בתערוכת AI & Big Data שתתקיים באמסטרדם, קליפורניה ולונדון. אירוע זה יתקיים במקביל לאירועים יוקרתיים אחרים כמו ועידת אוטומציה אינטליגנטית, BlockX, שבוע טרנספורמציה דיגיטלית ותערוכת אבטחת מידע ו- Cloud.
גילו אירועים נוספים וסדנאות העוסקות בטכנולוגיות עסקיות שמנוהלות על ידי TechForge כאן.
תגים : ai, אינטליגנציה מלאכותית, אתיקה, למידת מכונה, פרטיות
שאלות נפוצות
מהי למידת מכונות הפוכה?
למידת מכונות הפוכה מתייחסת ליכולת של דגמי AI "לשכוח" חלק מנתונים כדי לשפר את יעילותם וכדי לקיים שיקולים אתיים, במיוחד בתחום הפרטיות.
מדוע זה חשוב לדגמי AI לשכוח נתונים מסוימים?
חשוב לדגמי AI לשכוח נתונים מסוימים כדי להימנע מעומס יתר, להפחית את הצורך במשאבים, ולהתאים לחוקים כמו "זכות השכחה".
איך חוקרי אוניברסיטת טוקיו למדעים פיתחו את שיטת השכחה שלהם?
החוקרים פיתחו שיטה בשם "שיכחון קופסה שחורה", המנחה את ההנחיות הכניסה של הדגמים כדי להפעיל שכחה הדרגתית של קטגוריות מסוימות של נתונים מבלי לגשת לארכיטקטורה הפנימית שלהם.
מהם היתרונות העיקריים של "שיכחון קופסה שחורה"?
היתרונות כוללים אופטימיזציה של ביצועי הדגמים למשימות ספציפיות, הפחתת הצורך במשאבים מחשביים, וגישת יזומה בפני האתגרים של פרטיות.
האם שיטת השכחה הזאת ישימה לכל סוגי דגמי AI?
אם כי היא מיועדת לדגמי "קופסה שחורה", השיטה עשויה להיות מותאמת לסוגים שונים של דגמי AI, בייחוד אלה הנמצאים בשימוש רחב באפליקציות מסחריות.
מהם האתגרים שהחוקרים נתקלו במהלך היישום של השיטה הזו?
האתגרים כללו קנה מידה של הטכניקה לקטגוריות רבות, מה שהוביל את החוקרים לפתח אסטרטגיה פרמטריזציה חדשנית בשם "שיתוף הקשר הרדום".
איך למידה הפוכה יכולה להועיל לתחומים כמו בריאות או כספים?
בתחומים כמו בריאות וכספים, למידה הפוכה מאפשרת למנוע מידע רגיש ממודלים, ובכך תורמת להגנה על נתונים אישיים ולצייתנות לחוקים.
מהם הסיכונים הקשורים לשכחה של נתונים ב-AI?
הסיכונים כוללים את האפשרות לאיבוד מידע שימושי אם הדגם שוכח נתונים חיוניים, כמו גם בעיות של שלמות הנתונים אם השכחה לא מנוהלת כראוי.
איך חברות יכולות ליישם למידה הפוכה?
חברות יכולות לשלב למידה הפוכה על ידי שיתוף פעולה עם חוקרים לפיתוח דגמים המותאמים לצרכיהם הספציפיים, תוך אימוץ פרקטיקות אתיות בנוגע לניהול הנתונים.
