ההופעה המהירה של מודלים של אינטליגנציה מלאכותית כמו ChatGPT וGemini מעלה שאלות יסודיות לגבי עלויות האימון האמיתיות שלהן. ההתקדמות הטכנולוגית האחרונה מלווה בהוצאות עצומות ובטביעת רגל אקולוגית מדאיגה. ניהול המחשבה הזו כרוך בניתוח מעמיק של האתגרים הכלכליים, כאשר ההערכות מגיעות למיליונים, ואף למיליארדים של דולרים. הצורך לאופטימיזציה של משאבים אלה הופך לדחוף לנוכח אתגרים סביבתיים גוברים, המערבים הן טכנולוגיות חדשניות והן פרקטיקות ברות קיימא.
אימון מודלים של אינטיליגנציה מלאכותית: עלות אקספוננציאלית
ההוצאות הקשורות לאימון מודלים של אינטליגנציה מלאכותית, כמו ChatGPT וGemini, חוות עלייה מהירה. הדורות הראשונים של מודלים אלה דרשו השקעות של כמה מיליוני דולרים. כיום, הסכומים הללו זינקו, והם מגיעים למאות מיליוני דולרים, ואף מיליארדי דולרים עבור המודלים העתידיים.
לפי הערכה של דאריו עמודאי, מנכ"ל Cohere, עלות האימון הנוכחית עומדת על 100 מיליון דולר. דגמים בתהליך פיתוח עשויים לעלות עד מיליארד דולר. עמודאי מנבא שההוצאות עלולות להגיע לגבהים מסחררים, והן יעמדו בין עשרה למאה מיליארד דולר בעשור הקרוב.
מחקר של Epoch AI מדגיש שהעלויות של אימון מודלים של אינטליגנציה מלאכותית גדלות בקצב מרשים. מאז 2016, עלויות אלה גדלות פי 2.4 פעמים בשנה. האינפלציה של מחירים זו עשויה להרחיק מהשדה חברות עם משאבים מוגבלים.
עלויות הכשרה ספציפיות של מודלי אינטיליגנציה מלאכותית
עלות האימון של מודל GPT-4, שהוצג על ידי OpenAI בשנת 2023, מוערכת ביותר מ-100 מיליון דולר. במקביל, אימון המודל Gemini 1 דרש מ-Google השקעה של כ-191 מיליון דולר. סכומים אלה כוללים את רכישת GPU, שמחירם נע בין 30,000 ל-40,000 דולר, כמו גם הוצאות על תשתית בענן.
ההשלכות הכלכליות והבועה של אינטיליגנציה מלאכותית
דיוויד קאן, אנליסט בסיקויה קפיטל, הזהיר מפני הסיכון לבועה כלכלית. כדי לאזן את ההשקעות בתחום, חברות גדולות צריכות להניב כ-600 מיליארד דולר הכנסות שנתיות. בהנחה שכל אחת מהן תביא הכנסות של 10 מיליארד דולר דרך אינטליגנציה מלאכותית, תיוותר פער של 500 מיליארד דולר למילוי.
העלויות העצומות ילחצו על החברות, אשר יצטרכו לחקור טכניקות אופטימיזציה כדי להקטין את זמני האימון של המודלים. השיטה JEST, שפותחה על ידי Google Deepmind, עשויה לקצר את הצרכים בחישובים עד פי עשרה.
השפעה סביבתית וצריכת אנרגיה
הדאגות בנוגע להשפעה הסביבתית של האימון של מודלים של אינטיליגנציה מלאכותית הולכות ומתרקמות. צריכת האנרגיה נשענת על דרישות עצומות, ודורשת פתרונות קירור חדשניים כדי למנוע חימום יתר של השרתים. הסופר-מחשב ז'אן ז'ה, הממוקם בצרפת, עושה שימוש במערכת קירור במים, וממחזר את המים החמים לצרכים של הבניינים הסמוכים.
מלבד זאת, טביעת הרגל המים מהווה אתגר לעיתים קרובות שלא מוערך כראוי. מחקר אמריקאי מצביע על כך שכדי לשאול בין 20 ל-50 שאלות ל-GPT-3 צורכת כמות מים בשווי של בקבוק של 50 ס"מ קוב הקשור לקירור השרתים. צריכה זו עשויה להגיע ל-4 עד 6.5 מיליארד מ"ק מים מתוקים עד 2027, שהם משיכה ניכרת שמשווה לזו של דנמרק.
יוזמות לקיימות טובה יותר
נוכח בעיה זו, חברות מסוימות, כמו מיקרוסופט, מאמצות אסטרטגיות אנרגיה חדשות. בשנת 2024, הענקית הטכנולוגית חתמה על הסכם להפעיל מחדש את תחנת הכוח הגרעינית של Three Mile Island כדי לספק מענה למרכזי הנתונים שלה עד 2028. ההחלטה הזו מעוררת דיונים, כיוון שהיא מתרחשת בזמן שמיקרוסופט פועלת לצמצם את פליטות ה-CO2 שלה.
לרגל את אינטיליגנציה מלאכותית לעתיד בר קיימא
שחקנים בתחום שואפים להקים פרקטיקות ברות קיימא לאימון מודלים של אינטיליגנציה מלאכותית. פתרונות כמו קירור במים, שהומצא על ידי Atos, תורמים להגבלת הצריכה של מים תוך שמירה על יעילות אנרגטית. טכניקה זו עשויה להקטין את העלויות האנרגטיות באופן משמעותי, בסדר גודל של 20 עד 30 אחוזים.
צו שנחתם לאחרונה על ידי הנשיא האמריקאי ג'ו ביידן שואף להקל על הגישה למשאבים לחוקרים, כדי למנוע ריכוז של פיתוחי אינטיליגנציה מלאכותית בידי כמה חברות. שקיפות משופרת בנוגע לטביעת הרגל הפחמנית והמימית של מודלים של אינטיליגנציה מלאכותית עשויה לצמוח, ולעודד גישה אחראית יותר.
האתגרים הקשורים לצריכת אנרגיה, לטביעת הרגל המימית ולעלויות עודפות נותרות מהותיות בחיפוש אחרי איזון בין חדשנות טכנולוגית לפיתוח בר קיימא, וממקמות את התחום במרכז דיון הכרחי.
שאלות נפוצות
מה עלות האימון של מודל אינטיליגנציה מלאכותית כמו ChatGPT?
עלות האימון של מודל כמו ChatGPT מוערכת ביותר מ-100 מיליון דולר, בשל הצרכים בציוד ובתשתיות בענן.
מדוע עלות האימון של מודלים של אינטיליגנציה מלאכותית עלתה כל כך בשנים האחרונות?
העלייה בעלות מוסברת על ידי ההגברה בדרישות בתחום יכולת החישוב, בפרט השימוש ב-GPU יקרים ואינפלציה בעלויות התשתיות.
מה ההשפעה הסביבתית הקשורה לאימון מודלים כמו Gemini?
האימון של מודלים כמו Gemini יש השפעה סביבתית משמעותית, עם צריכת אנרגיה גבוהה וטביעת רגל מימית מדאיגה, שעשויה להגיע למיליארדים של מ"ק מים מתוקים בשנים הקרובות.
איך חברות מנסות לצמצם את עלויות האימון של אינטיליגנציה מלאכותית?
חברות חוקרות טכניקות אופטימיזציה, כמו שיטת JEST של Google, שעשויה לצמצם את החישובים הנדרשים עד פי עשרה, כמו גם שיטות קירור יותר יעילות.
אילו עלויות כלולות באימון מודל של אינטיליגנציה מלאכותית?
עלויות האימון כוללות רכישת ציוד כמו GPU, הוצאות על תשתיות בענן, והוצאות תפעוליות אחרות כמו אנרגיה וקירור של שרתים.
האם יש בועה פיננסית סביב ההשקעות באינטיליגנציה מלאכותית?
חלק מהאנליסטים, כמו דיוויד קאן, הזהירו נגד אפשרות לבועה פיננסית, והדגישו שחברות גדולות צריכות להניב הכנסות משמעותיות כדי לאזן את ההשקעות שלהן.
האם העלויות של אימון מודלים של אינטיליגנציה מלאכותית שקופות?
לעיתים קרובות, העלויות של אימון אינן נחשפות לציבור על ידי חברות, מה שהופך את השגת תמונה מלאה של ההוצאות האמיתיות לקשה.
אילו מודלים של אינטיליגנציה מלאכותית עולים הכי הרבה לאימון כיום?
מודלים חדשים כמו GPT-4 ו-Gemini 1 נמצאים בין היקרים ביותר, עם הערכות שעוברות 100 מיליון דולר עבור הראשון וכמעט 191 מיליון עבור השני.
האם ניתן למדוד את ההשפעה הפחמנית של אימון של אינטיליגנציה מלאכותית?
כן, מחקרים הראו שאימון של מודל כמו GPT-3 שחרר את שוויו של 502 טון CO2, מה שמצביע על החשיבות של שקילת טביעת הרגל הפחמנית של מודלים של אינטיליגנציה מלאכותית.
אילו יוזמות ננקטות כדי להפוך את אימון האינטליגנציה המלאכותית ליותר בר קיימא?
בתוך היוזמות ישנם מחקרים על שיטות קירור יותר יעילות ומאמצים לגוון את מקורות האנרגיה בשימוש בעת אימון המודלים.
