כתבות מדעיות יכולות להשפיע באופן רדיקלי על התפיסה שלנו את המציאות. מידע מטעה מתפשט בקצב מדאיג, מחמיר על ידי העלייה בטכנולוגיות חדשות. צוות מחקר נועז מציע אסטרטגיה חדשנית המבוססת על IA כדי לזהות את הסלטות הללו. הם מאמנים מודלים של IA המסוגלים להבחין בין אמת לשקר בכתבות מדעיות. הגישה שלהם מבוססת על מערך נתונים שנוצר בקפידה, הכולל מאמרים ממקורות מגוונים. הפרויקט השאפתני הזה מציב את הבסיס להבנה טובה יותר של תגליות מדעיות ולעמידה גבוהה יותר בפני מידע מטעה.
יצירת מערך נתונים אמין
צוות חוקרים ממכון סטיבנס לטכנולוגיה יצר מערך נתונים המורכב מ2,400 דוחות על פריצות דרך מדעיות. מערך נתונים זה אוסף מידע ממקורות מוכרים ועד ערוצים פחות אמינים, ומנסה לבדוק את האמינות של הכתבות. ההכנה התבצעה על בסיס שילוב של נתונים אנושיים ומאמרים שנוצרו על ידי IA, שחצי מהם נחשב לאמין.
ארכיטקטורת IA לזיהוי אי דיוקים
החוקרים הציעו ארכיטקטורת אינטליגנציה מלאכותית שמיועדת לזהות סיפורים מטעים באמצעי התקשורת. הפרויקט הזה פונה למודלים של שפה בשימוש רחב כדי לסווג את המאמרים המדעיים ולשפוט את האמיתות שלהם. בעזרת תקצירים של CORD-19, החוקרים הכו את מודלי ה-IA בניתוח הכתבות.
שלבי תהליך הניתוח
תהליך הניתוח מחולק לשלושה שלבים עיקריים. ראשית, הIA מסכמת כל דוח, מזהה את האלמנטים הבולטים. לאחר מכן, היא מבצעת השוואות ברמת המשפטים בין הטענות וההוכחות שהופקו על ידי מחקר שעבר ביקורת של עמיתים. לבסוף, ה-IA קובעת אם הדוח נאמן למחקר המקורי.
ממדי תקפות
החוקרים יצרו "ממדי תקפות" המאפשרים הערכה מחמירה יותר של טעויות פוטנציאליות. בין הממדים הללו ישנן טעויות נפוצות כמו פשטנות יתר ובלבול בין סיבתיות לקורלציה. לפי K.P. סובללקשמי, השימוש בקריטריונים הללו שיפר באופן משמעותי את דיוק ההערכות של ה-IA.
תוצאות וביצועי המודל
הצינורות של ה-IA הצליחו להבחין עם דיוק של כ-75% בין דוחות אמינים לדוחות לא אמינים. הצלחה זו נותרה בולטת יותר עבור תוכן שנכתב על ידי בני אדם, בעוד שזיהוי הטעויות במאמרים שנוצרו על ידי IA מהווה אתגר מתמשך. הסיבות להבדל הזה עדיין לא הובהרו לחלוטין.
פרספקטיבות לעתיד עבור IA
עבודת הצוות עשויה להניב תוספים לדפדפן המסוגלים לדווח באופן אוטומטי על תוכן לא מדויק במהלך הגלישה באינטרנט. התפתחויות אלו פותחות גם את הדרך לדירוגים של מו"לים על בסיס יכולתם לספר באופן נאמן על תגליות מדעיות. אבולוציה כזו עלולה לשנות את הגישה למידע מדעי מדויק.
השראות למודלים עתידיים של IA
קבוצת החוקרים רואה גם את האפשרות לפתח מודלים של IA ספציפיים לתחומי מחקר. גישה זו תאפשר חשיבה דומה לזו של מדענים אנושיים, ובכך תגביר את דיוק התוצאות. המטרה הסופית היא יצירת מודלים אמינים יותר, שיפחיתו את הסיכונים של מידע מעוות.
מגבלות הטכנולוגיות הנוכחיות
מודלי השפה, למרות הפוטנציאל שלהם, עדיין נוטים להלוצינציות, טעויות המובילות למידע שגוי. המחקר מתמקד בהבנה מעמיקה יותר של המנגנונים של IA בתחום המדעים, כדי לשפר את הכלים לניתוח הזמינים.
למידע נוסף על פרויקטים דומים, עיינו במאמר על זיהוי הטיות ב-IA, כמו גם בלימוד על מקום החלבונים ב-IA.
שאלות נפוצות
מה המטרה העיקרית של מודלי IA שנועדו לזהות כתבות מדעיות מטעות?
המטרה העיקרית היא לאוטומט את זיהוי המידע השקרי בכתבות מדעיות כדי לספק לקוראים הבנה טובה יותר של העובדות המאומתות.
איך המדדים של IA מצליחים לזהות את ההטעיות במאמרים מדעיים?
הם מנתחים את דוחות החדשות על ידי השוואה עם תקצירים של מחקרים מקוריים ומשתמשים בקריטריונים של תקפות להעריך את דיוק המידע.
מהם מקורות הנתונים המשמשים לאימון מודלים אלו של IA?
המודלים משתמשים במערכי נתונים המורכבים ממאמרים שנכתבו על ידי בני אדם, המגיעים ממקורות מדעיים מוכרים וממקורות פחות אמינים, כמו גם מדוחות שנוצרו על ידי IA.
מהי רמת הדיוק של מודלי IA בזיהוי מידע מטעה?
המודלים הנוכחיים מגיעים לדיוק של כ-75%, עם ביצועים טובים יותר בהבחנה בין מאמרים כתובים על ידי בני אדם לבין תוכן שנוצר על ידי IA.
אילו סוגי טעויות המודלים של IA יכולים לזהות?
הם יכולים לזהות טעויות כמו פשטנות יתר, בלבול בין קורלציה לסיבתיות, ודיוקים נוספים נפוצים בכתבות מדעיות.
איך החוקרים מתכוונים לשפר מודלים אלו בעתיד?
החוקרים שוקלים ליצור מודלים של IA ספציפיים לתחמי מחקר מסוימים כדי להגביר את יכולת הזיהוי של אי דיוקים.
איך מודלים אלו של IA יכולים להשפיע על צריכת חדשות מדעיות על ידי הציבור הרחב?
הם עשויים לאפשר למשתמשים לזהות טוב יותר תוכן מטעה, ובכך לשפר את יכולתם להתעדכן בצורה מדויקת ומודעת יותר.
אילו יתרונות מביאים מודלים אלו לאנשי מקצוע ברפואה ולחוקרים?
מודלים אלו מסייעים בהפחתת הפצת מידע שקרי על ידי מתן הערכות אמינות של כתבות מדעיות, דבר שחשוב להחלטות מושכלות.
