צ'אטגפט ממציא מחדש את ייצור השפה. התקדמות טכנולוגית זו חושפת תפקוד דומה לזה של המוח האנושי. המחקרים מראים שהאינטליגנציה המלאכותית אינה מוגבלת לחוקי דקדוק; היא מתבססת על דוגמאות שנצברו וזיכרונות, שמגשימים גישה אנלוגית חדשה.
מעוגנת בניתוחים מעמיקים, גילוי זה מערער את התפיסות המסורתיות לגבי לימוד מודלי השפה. הטענה כי נתונים נובעים אך ורק מחוקים נלמדים מתמוטטת לנוכח העדויות להיגיון אנלוגי, שאי אפשר להפרידו מהניסיון האנושי. במובן זה, חיוני להבין את ההשלכות העמוקות של דינמיקה זו על פיתוח האינטליגנציה המלאכותית.
התזה המרכזית של המחקר
מחקר עדכני, בראשות מדענים מאוניברסיטת אוקספורד וממכון אלן לאינטליגנציה מלאכותית, גילה שמודלי שפה גדולים, כמו צ'אטגפט, מסכמים את הדפוסים הלשוניים בצורה אנלוגית כמו בני אדם, ומתבססים על דוגמאות ולא על חוקי דקדוק קפדניים. מחקר זה מערער את הרעיון השלטוני כי מודלים אלה לומדים בעיקר על ידי הפקת חוקים מנתוני האימון שלהם.
ניסוי עם תארים חדשניים
החוקרים בדקו את שיפוטי בני האדם מול התחזיות של GPT-J, מודל שפה בקוד פתוח. הם השתמשו בתבנית נפוצה ליצירת מילים באנגלית, המירה תארים לשמות באמצעות הסיומות "-ness" ו"-ity". לדוגמה, "happy" הופך ל"חיים". הניסוי כלל את יצירתם של 200 תארים בדויים, כמו "cormasive".
אנלוגיה וזיכרון
התוצאות הראו ש-GPT-J עושה שימוש בהיגיון אנלוגי, מתבסס על הופעות דומות עם מילים אמיתיות שנמצאו בנתוני האימון שלו. במקום ליישם חוקים, הוא מייצר תשובות על סמך אנלוגיות. לדוגמה, "friquish" מומרת ל"friquishness" כי הסיומת הזו מזכירה מילים כמו "selfish", בעוד שבשביל "cormasive", ההשפעות מגיעות ממערכות מילים מוכרות.
השפעת ההופעות בנתוני האימון
המחקר גם הדגיש את השפעת ההופעות של צורות מילים בנתוני האימון. התגובות של LLM נבדקו על כמעט 50,000 תארים באנגלית. התחזיות של המודל התואמות לדפוסים סטטיסטיים מנתוני האימון, הראו דיוק מרשים. ה-LLM נראה כאילו יצר זיכרון של כל דוגמת מילה שנפגשה במהלך הלמידה.
ההבדלים בין בני אדם למודל השפה
בני האדם מהווים מילון מנטלי עשיר, שכולל את כל הצורות של מילים משמעותיות, מבלי להיות מוגבלים בתדירותן. הם מזהים ש-"friquish" ו-"cormasive" אינם מילים באנגלית. כדי לעבד את הניאולוגיזמים הפוטנציאליים הללו, הם מפעילים כללי אנלוגיה שמתבססים על מאגר המילים המוכר שלהם.
מאפייני ה-LLMs
ה-LLMs, לעומת זאת, מייצרים את תשובותיהם תוך כדי התבססות ישירה על המקרים הספציפיים של מילים בסטי הנתונים שלהם, מבלי ליצור רשומות מאוחדות במילון מנטלי. הגישה של מודלים אלו היא יותר rigid, מתמקדת בשכפול דוגמאות ולא באבסטראקציה.
השלכות לעתיד ה-AI
הכותבת הבכירה, ג'נט פיררמברט, ציינה כי, אף על פי שה-LLMs יכולים להגיב בכישרון, חסרה להם אבסטרקציה אנושית. מגבלה זו כנראה מסבירה את הצורך בכמות עצומה של נתונים כדי ללמוד שפה, הרבה יותר ממה שבני אדם זקוקים.
שיתוף פעולה בין תחומים
הכותב המשותף, ד"ר ולנטין הופמן, הדגיש את חשיבות הסינרגיה בין בלשנות לאינטליגנציה מלאכותית. התוצאות מספקות מבט מעמיק על ייצור השפה על ידי LLMs ויקדמו התקדמות לעבר אינטליגנציה מלאכותית חזקה, יעילה וברורה.
פרויקט זה כלל גם חוקרים מהמוסדות המפורסמים כמו LMU מינכן ואוניברסיטת קרנגי מלון.
לקידומים עדכניים על התקדמות טכנולוגית באינטליגנציה מלאכותית, גלו מאמרים קשורים על גוגל ג'מיני, NVIDIA, אימון ה-LLMs, אינטליגנציה מלאכותית וכלי IA.
שאלות נפוצות על צ'אטגפט: יצור שפה שמעדיף דוגמאות וזיכרונות כמו בני אדם
איך צ'אטגפט מייצר משפטים דומים לאלה של בני אדם?
צ'אטגפט משתמש באנלוגיות המבוססות על דוגמאות שהוזכרו, ולא עוקב בקפדנות אחרי חוקי דקדוק. זה מאפשר לו לייצר משפטים המסתמכים על דמיון עם מילים שכבר נתקל בהן בנתוני הלימוד שלו.
אילו שיטות צ'אטגפט משתמש כדי להבין מילים לא מוכרות?
כאשר צ'אטגפט נתקל במילים לא מוכרות, הוא מתבסס על מאגר הידע שלו על ידי השוואת מילים אלו עם דוגמאות דומות שהוא זכר, מה שעוזר לו לקבוע את הצורה הנכונה שלהן במשפט.
למה דוגמאות חשובות יותר מחוקים עבור צ'אטגפט?
הדוגמאות מאפשרות לצ'אטגפט ללמוד בצורה יותר אינטואיטיבית ומתרקחת, כמו שעושה בן אדם. זה מאפשר לו לייצר מילים ומשפטים טובים יותר, בעוד שהוא מוגבל בצורך שלו לגשת לנתונים מגוונים ורבים.
איך תדירות המילים משפיעה על תשובות של צ'אטגפט?
המילים והביטויים שצ'אטגפט נתקל בהם הכי הרבה בנתוני הלימוד שלו יהיו בעלי השפעה גדולה יותר על תשובותיו. זה אומר שהוא נוטה יותר ליצור משפטים עם מילים אלו מאשר עם אלה שהוא ראה פחות פעמים.
מה ההבדל בין הדרך בה בני אדם וצ'אטגפט יוצרים אנלוגיות?
בני אדם יוצרים אנלוגיות מתוך מאגר מחשבתי של מילים משמעותיות, בעוד שצ'אטגפט מייצר אנלוגיות מתבססות ישירות על דוגמאות ספציפיות בסט הנתונים של הלימוד שלו, מבלי ליצור מילון מנטלי מאוחד.
האם צ'אטגפט יכול לענות על שאלות בנושאים שהוא לא נתקל בהם לפני כן?
אף על פי שצ'אטגפט יכול לעסוק בנושאים חדשים, יכולתו לספק תשובות רלוונטיות תלויה במידה רבה בהבנה שלו, המבוססת על הדוגמאות שניתנו לו במהלך האימון.
האם ניתן לשפר את הביצועים של צ'אטגפט בתחום ייצור השפה?
כן, ניתן לחזק את ביצועי צ'אטגפט על ידי שילוב של נתוני לימוד נוספים ומגוונים, מה שמאפשר לו לנתח וליצור תשובות בצורה טובה יותר באמצעות טכניקות אנלוגיות.
