טנסנט חושפת מודלים של אינטליגנציה מלאכותית Hunyuan רב-תכליתיים בקוד פתוח

טנסנט חושפת את סדרת המודלים החדשה Hunyuan שלה

טנסנט הרחיבה את אוסף המודלים של בינה מלאכותית Hunyuan, שמבדלים עצמם בגמישותם וביישומים הרחבים שלהם. המודלים החדשים הללו תוכננו להציע ביצועים חזקים במגוון סביבות חישוב, בין אם מדובר במכשירים קטנים בפריפריה ובין אם במערכות ייצור בתנאי עומס גבוה.

סט מודלים שנועדו מראש

ההכרזה כוללת סט מקיף של מודלים שנועדו מראש ואופטימיזורים להנחיות, זמינים בפלטפורמת הפיתוח Hugging Face. המודלים מגיעים במספר גדלים עם קנה מידה של פרמטרים הנע בין 0.5B ל-7B, ומציעים גמישות ניכרת למפתחים ולעסקים. טנסנט ציינה כי מודלים אלו פותחו עם אסטרטגיות אימון הדומות לאלו של המודל Hunyuan-A13B שלה, מה שמאפשר להם לרשת תכונות ביצוע מתקדמות.

תמיכה בהקשר הארוך במיוחד

בין התכונות הבולטות של סדרת Hunyuan, ניתן למצוא את התמיכה המולדת לחלון הקשר ארוך במיוחד של 256K. יכולת זו מאפשרת למודלים לנהל ביעילות משימות טקסט ארוך, דבר הכרחי לניתוח מסמכים מורכבים, שיחות ממושכות, והפקת תוכן מעמיק. האדריכלות גם תומכת במה שטנסנט מכנה "היגיון היברידי", המאפשר למשתמשים לבחור בין מצבי חשיבה מהירים או מעמיקים בהתאם לצרכיהם.

אופטימיזציה למשימות אגנטיות

טנסנט הדגישה את יכולות האגנטיות של המודלים, אשר אופטימיזורים למשימות מורכבות ואדפטיביות. מודלים אלו מציגים תוצאות ברמה גבוהה על הפניות שהוקמו, כגון BFCL-v3 וC3-Bench, מה שמציע מיומנות גבוהה בפתרון בעיות רב-שלביות. המודל Hunyuan-7B-Instruct, למשל, קיבל ציון של 68.5 על C3-Bench, בעוד שההומולוג שלו Hunyuan-4B-Instruct הגיע ל-64.3.

יעילות הפקדה וטכניקות קוונציה

הביצועים של המודלים Hunyuan מתמקדים בהפקדה יעילה. מודלים אלו משתמשים בטכניקת Attention על ידי בקשה קבוצתית (GQA), המזרזת את העיבוד ומפחיתה את העומס החישובי. היעילות מוגברת על ידי תמיכה מתקדמת בקוונציה, רכיב חיוני באדריכלות Hunyuan, שנועדה לפשט את הפריסה.

ערכת הכלים לקוונציה AngleSlim

כדי לשפר את קוונציית המודלים, טנסנט פיתחה סט כלים הנקרא AngleSlim. זה מציע בעיקר שתי שיטות קוונציה לסדרת Hunyuan. הראשונה, קוונציה סטטית FP8, משתמשת בפורמט צף של 8 ביט ודורשת מעט נתוני ייצור. השיטה השנייה, קוונציה INT4, מגיעה עם האלגוריתמים GPTQ ו-AWQ, מה שמסייע בשיפור מהירות ההפקדה מבלי לדרוש הכשרה מחדש של המודל.

ציון ביצועים מרשים

הציון של ביצועים חושף את המיומנויות החזקות של המודלים Hunyuan. לדוגמה, המודל המוכשר מראש Hunyuan-7B מגיע לציון של 79.82 על MMLU, 88.25 על GSM8K, ו-74.85 על MATH. ווריאציות מותאמות על ידי הנחיה מציגות גם תוצאות מרשימות בתחומים מיוחדים: 81.1 על AIME 2024 עבור המודל Hunyuan-7B-Instruct ו-76.5 על OlympiadBench עבור מדעים.

פריסה ואינטגרציה

טנסנט ממליצה להשתמש במסגרת קודמות כמו TensorRT-LLM או vLLM לפריסת המודלים Hunyuan. גישה זו מאפשרת ליצור נקודות סיום API תואמות לOpenAI, ומבטיחה אינטגרציה חלקה בתוך זרימות העבודה של הפיתוח הקיימות. התוצאות, הן בביצועים והן ביעילות, ממקמות את סדרת Hunyuan כשחקן מרכזי בתחום הבינה המלאכותית בקוד פתוח.

משאבים ומידע נוסף

כדי להעמיק בנושאים אלו, מספר מאמרים מדגישים את ההשפעה של בינה מלאכותית בעולם המודרני. בין היתר, השפעת החברות על הבורסה, פרויקטים שאפתניים של בינה מלאכותית, בעיקר הקשורים לדמויות פוליטיות, ושאלות הקשורות לאבטחת מידע.

• ההתפתחות של AAPL בשוק
• ההקשרים החברתיים המושפעים על ידי AI
• השימוש הפוליטי ב-AI
• אבטחת מידע ו-AI
• חיפוש כישרונות ב-AI על ידי צוקרברג

שאלות ותשובות

מה היתרונות של מודלי הבינה המלאכותית Hunyuan של טנסנט?
מודלי Hunyuan מציעים ביצועים חזקים המותאמים למגוון סביבות חישוב, החל ממכשירים קומפקטיים ועד מערכות תובעניות, תוך מתן גמישות בבחירת המודלים בהתאם לצרכים הספציפיים של המשתמשים.

אילו גדלים של מודלים זמינים בסדרת Hunyuan?
סדרת Hunyuan מציעה מספר גדלים של מודלים, עם פרמטרים הנעים בין 0.5B ל-7B, מה שמאפשר למפתחים לבחור את הגודל המתאים בהתאם למשאבים הזמינים.

איך מודלי Hunyuan מנהלים משימות הכוללות טקסט ארוך?
מודלי Hunyuan כוללים תמיכה מולדת לחלון הקשר ארוך של 256K, מה שמאפשר להם לשמור על ביצוע יציב בעת ניתוח מסמכים מורכבים או אינטראקציות שיחה ממושכות.

מהן שיטות הקוונציה שמשתמשת טנסנט כדי לאופטימיזציה של מודלי Hunyuan?
טנסנט משתמשת בשתי שיטות עיקריות של קוונציה: קוונציה סטטית FP8, המפשטת את יעילות ההפקדה על ידי המרת הערכים לפורמט צף של 8 ביט, וקוונציה INT4, המפחיתה שגיאות תוך שיפור מהירות ההפקדה.

האם מודלי Hunyuan מתאימים למחשבים בעלי כוח נמוך?
כן, מודלי Hunyuan מיועדים לתסריטים בעלי צריכת אנרגיה נמוכה, בעיקר למכשירים כמו GPU לצריכה, רכבים חכמים ומכשירים ניידים, תוך מתן אפשרויות טיונינג כלכליות.

מה הביצועים של מודלי Hunyuan בבנצ'מרקים?
מודלי Hunyuan מציגים ציונים גבוהים על פני בנצ'מרקים שונים, כמו 79.82 על MMLU ו-88.25 על GSM8K, confirming confirming their reasoning and mathematical competence.

לאילו משימות מודלי Hunyuan מיועדים?
מודלי Hunyuan מיועדים למשימות מבוססות אגנטים, מציגים תוצאות מצויינות על בנצ'מרקים קבועים, מה שמדגים את יכולתם לפתור בעיות מורכבות בשלבים רבים.

איך אני יכול להפעיל את מודלי Hunyuan בזרימות העבודה שלי?
הפעלת מודלי Hunyuan ניתן לבצע באמצעות מסגרות חיפוש כמו TensorRT-LLM או vLLM, מה שמקל על אינטגרציה במערכות קיימות תוך יצירת נקודות סיום API תואמות ל-OpenAI.