Llama 3.3 70B : Llama 3.1 405B ಗೆ ಹೋಲಿಸಿದಾಗ ಸಾಮಾನ್ಯ ಕಾರ್ಯಕ್ಷಮತೆ
Llama 3.3 70B ಮಾದರಿಯು, ಮೆಟಾ ಇತ್ತೀಚೆಗೆ ಘೋಷಿಸಿದಂತೆ, ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳ ವ್ಯಾಪಾರದಲ್ಲಿ ತಂತ್ರತಂತ್ರವಾಗಿ ಇರುವುದಾಗಿದೆ. ಈ ಮಾದರಿಯು 405 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮീറ്റರ್‌ಗಳನ್ನು ಒಳಗೊಂಡ Llama 3.1 ನ ಕಾರ್ಯಕ್ಷಮತೆಗೂ ಸಮಾನವಾಗಿದೆ ಎಂದು ಮೆಟಾ ಹೆಸರಿಸಿದೆ, ಇತ್ತೀಚೆಗೆ ತೀವ್ರವಾಗಿ ಕಡಿಮೆ ವೆಚ್ಚವನ್ನು ಸಹ ಒಡ್ಡುತ್ತದೆ. ಬಜೆಟ್‌ಗಳನ್ನು ನಿಯಂತ್ರಿಸಲು IA ಅನ್ನು ಒಳಗೊಂಡಿಟ್ಟುಕೊಳ್ಳಲು ಬಯಸುವ ಕಂಪನಿಗಳಿಗೆ ಇದು ಮಹತ್ವದ ಪ್ರಯೋಜನವಾಗಿದೆ.
ಅತ್ಯಂತ ವೇಗದ ಬಿಡುಗಡೆಗಳು
Meta ತನ್ನ ಪ್ರಕಟಣೆಗಳನ್ನು ನಿಧಾನಗತಿಯಲ್ಲಿ ಮಾಡಲು ಮುಂದಾಗುತ್ತಿಲ್ಲ, ಲ್ಲಾಮಾ 3.1 ಅನ್ನು ಜುಲೈನಲ್ಲಿ, ನಂತರ ಸೆಪ್ಟೆಂಬರ್‌ನ ಕೊನೆಯಲ್ಲಿ ಲ್ಲಾಮಾ 3.2 ಅನ್ನು ಮತ್ತು ಕೊನೆಗೆ, ಕಳೆದ ವಾರ ಲ್ಲಾಮಾ 3.3 ಅನ್ನು ಪರಿಚಯಿಸಿತು. Llama 3.3 70B ಮಾದರಿ ಪದೇಪದೇ ಉತ್ತಮವಾದ ಗುಣಮಟ್ಟ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ ಪಡೆಯಲು ಬಳಸುವಿಕೆಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಇನ್ನೂ ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ.
ತಯಾರಿ ಮತ್ತು ತರಬೇತಿ ಡೇಟಾ
ಈ ಅಂತಿಮ ಆವೃತ್ತಿಗಾಗಿ, ಮೆಟಾ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ಮೂಲಗಳಿಂದ ಸುಮಾರು 15,000 ಬಿಲ್ಲಿಯ tokens ಮೇಲೆ ತನ್ನ ಮಾದರಿಯ ಪೂರ್ವ ತರಬೇತಿ ನೀಡಿದೆ. ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಸರ್ಕಾರಿ ಡೇಟಾಸೆಟ್ಗಳ ಹಾಸ್ಗುಟ್ಟು ಮತ್ತು 25 ಕ್ಕೂ ಹೆಚ್ಚು ಮಿಲಿಯನ್ ಜಾಗತಿಕ ಉದಾಹರಣೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಶೋಧಕರು ಪೂರ್ವ ತರಬೇತಿ ನೀಡಿದ ಡೇಟಾ ಡಿಸೆಂಬರ್ 2023 ರವರೆಗೆ ತೂಕ ಹೊಡೆಯುತ್ತವೆ ಎಂದು ಸೂಚಿಸುತ್ತಾರೆ.
ವ್ಯಾಸ್ತಿತ ಮತ್ತು ಅಭಿವೃದ್ಧಿ
Llama 3.3 70B ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ತಂತ್ರಜ್ಞಾನದ ಆಕೃತಿಯ ಮೇಲೆ ನೆಟ್ಟಾಗಿದೆ ಮತ್ತು ಸ್ವಾಯತ್ತ-ಪುನರಾವೃತ್ತ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ ನನಡಿತವಾಗಿ ಮೇಲ್ಗೊಂಡವು ಮತ್ತು ಮನುಷ್ಯದಿಂದ ಬೆಂಬಲಿತ ಶ್ರೇಣೀಬದ್ಧ ಕಲಿಕೆ (RLHF) ಹಂತಗಳಲ್ಲಿ ಕಟ್ಲಿ ಕೊಟ್ಟಿತ್ತು. ಈ ಮಾದರಿ 128,000 tokens ನ ಕನಿಷ್ಠ ಜನಾಂಗವನ್ನು ನೀಡುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಅದನ್ನು ವಿಭಿನ್ನ ಪಠ್ಯ ಸೂಚನೆಗಳಿಗೆ ಬಳಸುವಿಕೆಯ ಉನ್ನತಗೊಳ್ಳುತ್ತದೆ.
ಕಾರ್ಯಕ್ಷಮತೆ ಹೋಲಿಸುವಿಕೆ
ಬಂಚ್‌ಮಾರ್ಕ್ ಫಲಿತಾಂಶಗಳು Llama 3.3 70B Llama 3.1 70B ಮತ್ತು ಇತ್ತೀಚೆಗೆ ಪರಿಚಯಿಸಲಾದ ಅಮೆಜಾನ್‌ನ ನೋವಾ ಪ್ರೋ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಸಮಾನವಾಗಿದೆ ಎಂದು ತೋರಿಸುತ್ತವೆ. ವಿವಿಧ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ, Llama 3.3 70B ತನ್ನ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳನ್ನು, ಅಂತೂ ಜೆಮಿನಿ ಪ್ರೋ 1.5 ಮತ್ತು GPT-4o ಅನ್ನು ಮೀರಿಸುತ್ತವೆ. ಈ ಮಾದರಿ 405 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮീറ്റರ್‌ಗಳಿಗೆ Llama 3.1 ಗೆ ಹೋಲಿಸಿದಾಗ ಒಟ್ಟು ಒಂದು ದಶಾಂಶ ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಒತ್ತಿಸುವುದು ನೀಡುತ್ತದೆ.
ಭಾಷಾಂತರ ಮತ್ತು ವ್ಯಾಪಾರ ಆವೃತ್ತಿಗಳು
ಈ ಮಾದರಿಯು ಎಂಟು ಭಾಷೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ: ಜರ್ಮನ್, ಸ್ಪ್ಯಾನಿಷ್, ಫ್ರೆಂಚ್, ಹಿಂದಿ, ಇಟಾಲಿಯನ್, ಪೋರ್ಚುಗೀಸ್, ತಾಯ್ ಮತ್ತು ಇಂಗ್ಲಿಷ್. Llama 3.3 ವಹಿವಾಟು ಮತ್ತು ಶೋಧಕ್ಕಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಚಾಟ್‌ಬಾಟ್ ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಅಥವಾ ಪಠ್ಯ ಉತ್ಪಾದನೆಯ ಕಾರ್ಯಗಳಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗಿದೆ. ಮೆಟಾ ಅಭಿವೃದ್ಧಿಕರ್ತರನ್ನು ಮಾದರಿಯ ವ್ಯಾಪೃತ ಭಾಷಾ ಸಾಮರ್ಥ್ಯಗಳ ಲಾಭವನ್ನು ಪಡೆಯಲು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ, ಇದು ಬೆಂಬಲಿತ ಭಾಷೆಗಳಿಗೆ ಮುನ್ನೋಟ ವಹಿಸುವ ಪ್ರಮುಖತೆಯನ್ನು ಈಡೇರಿಸುತ್ತದೆ.
ಪɔನ್ಹ ಅಂತೆಯಾದ ಸಂಪತ್ತುಗಳು
ತರಬೇತಿಗೆ ಸಾಕಷ್ಟು ಸಂಪತ್ತುಗಳನ್ನು ಬಳಸಲಾಗಿದೆ: 39.3 ಮಿಲಿಯನ್ ಗಂಟೆಗಳ GPU H100-80GB ತಾಂತ್ರಿಕ ಸಾಮಾನು ಮೇಲೆ ಲೆಕ್ಕವಿಲ್ಲದ ಕಂಪ್ಯೂಟುನಲ್ಲಿ ಪೂರೈಸಲಾಗುತ್ತದೆ. ಪೂರ್ವ ತರಬೇತಿ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್, ಅಂಡ್ರೆಟಿಂಗ್ ಮತ್ತು ವಿರೋಧ ಬಳಸುವ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಮೆಟಾದ ಉತ್ಪನ್ನ ಪರಿಸರದಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ವ್ಯವಸ್ಥಿತವಾಗಿವೆ, ಇದು ಕಾರ್ಯಕ್ಷಮತೆಯ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಅಂಗಸಾಧ್ಯವಾಗಿದೆ.
ಶಕ್ತಿ ಮತ್ತು ಶ್ರೇಣೀಪಡಿಸಲ್ಪಟ್ಟ ಸಮಯ
ಮೆಟಾ Llama 3.3 ಫಲಿತಾಂಶಗಳ ಉದ್ದೇಶಗಳ ಹೆಸರಿಸುತ್ತಿದೆ, ಸಾಮಾನ್ಯ ಕಾರ್ಯನಿರ್ವಹಣೆಯನ್ನು ಸಾಧಿತಗೊಳಿಸುವ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಎನ್ನಬಹುದೇನಾದರೂ ಇರಬಹುದು. ಇತ್ತೀಚೆಗೆ ದೇಶಗಳಲ್ಲಿ ಇತರ ಭಾಷೆಗಳಲ್ಲಿ ಲೆಕ್ಕ ಹಾಕಲು ಉತ್ಪಾದಿಸಲು ಸಾಮರ್ಥ್ಯವಿರುವಂತೆ ಪಡೆಯಬಹುದು, ಆದರೆ ಮೆಟಾ ಅದರ ಬಳಸುವಿಕೆ ಶ್ರೇಣೀಬದ್ಧತೆಯನ್ನು ಹೊಂದಿಲ್ಲದೇ ಬಳಸುವುದನ್ನು ನಿರಾಕರಿಸುತ್ತದೆ.
Llama 3.3 70B ಬಗ್ಗೆ ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೋತ್ತರಗಳು
Llama 3.3 70B ಮತ್ತು Llama 3.1 405B ನಡುವೆ ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೇನು?
Llama 3.3 70B Llama 3.1 405B ಗೆ ಹೋಲಿಸಿದಾಗ ಸಮಾನ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಕಡಿಮೆ ಹಣ ಮತ್ತು ಲೆಕ್ಕಹಾಕುವಿಕೆಗೆ ಅಗತ್ಯವಿದೆ.
Llama 3.3 70B ಇತರ ಮಾದರಿಯೊಂದಿಗೆ ಆರ್ಥಿಕ ಲಾಭಗಳನ್ನು ಏನೇನನ್ನು ವಿಭಾಗಿಸುತ್ತವೆ?
Llama 3.3 70B ತಂತ್ರಜ್ಞಾನವನ್ನು‌ಗೆ ಅಭಿವೃದ್ಧಿಯಾದ ಕಂಪನಿಗಳಿಗೆ ಹೆಚ್ಚು ಮುಕ್ತವಾದ ಆಯ್ಕೆಯಾಗಿ, ಹೆಚ್ಚು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಒದಗಿಸುತ್ತದೆ, ಇದರಿಂದಾಗಿ IA ಹಾಲಿಗೊಳಗಾಗಲು ಹೆಚ್ಚು ಸುಲಭವಾಗಿದೆ.
Llama 3.3 70B ಯಾವುದಾದರು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳಿಗೆ еизೀಕರಣ ಬೀರುವಿಕೆಯನ್ನು ಪಡೆಯುತ್ತದೆ?
ಈ ಕಾರ್ಯಕ್ಷಮತೆ ಆಡಳಿತ ಶ್ರೇಣೀಬದ್ಧ ಅಲ್ಗೋರಿತ್ಮ ಮತ್ತು ಹೆಚ್ಚು ಡೇಟಾ ವಾಸ್ತವ್ಯವನ್ನು ಪಡೆಯುತ್ತವೆ ಮತ್ತು ಸುಧಾರಿತ ಮಾದಾರಿ ತಂತ್ರಜ್ಞಾನದ ಮೂಲಕ ಸಾಧಿಸಲಾಗುತ್ತದೆ.
Llama 3.3 70B ಯಾವ ಭಾಷೆಗಳನ್ನು ಹೊಂದಿದೆಯೇ?
Llama 3.3 70B ಹೋಟೆಲ್ ಭಾಷೆಗಳನ್ನು ಹೊಂದಿದೆ, ಜರ್ಮನ್, ಸ್ಪ್ಯಾನಿಷ್, ಫ್ರೆಂಚ್, ಹಿಂದಿ, ಇಟಾಲಿಯನ್, ಪೋರ್ಚುಗೀಸ್ ಮತ್ತು ತಾಯಿ ಇತ್ಯಾದಿಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.
Llama 3.3 70B ಏಕೆ ಪೂರ್ವ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ?
ಈ ಮಾದರಿ ಪಬ್ಲಿಕ್‌ಗಿತ್ತರದಿಂದ ಉಲ್ಲೇಖನಹಾಕಬೇಕಾದ 15,000 ಬಿಲ್ಲಿಯ tokens ಪೂರೈಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಹೈ ಸಿರಿಸ ಮತ್ತಿತರ ಸಂಖ್ಯಾಗಳನ್ನು ಪೂರ್ವ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ.
Llama 3.3 70B ಯಾವ ತರಹದ ಆವೃತ್ತಿ ಸಾಧಿಸುತ್ತದೆ?
Llama 3.3 70B ಬಹು-ಭಾಷಾ ಸಂವಾದ, ಚಾಟ್‌ಬಾಟ್ ಮತ್ತು ವ್ಯಾಪಾರ ಮತ್ತು ಶೋಧದಲ್ಲಿ ವಿವಿಧ ಪಠ್ಯ ಉತ್ಪಾದನಾ ಕಾರ್ಯಗಳು ಹೊಂದಿಸಲು ಉತ್ತಮವಾಗಿದೆ.
Llama 3.3 70B ನ ಕನಿಷ್ಠ ಜನಾಂಗ ಶ್ರೇಣಿಯಾದಷ್ಟು ಎಷ್ಟು?
ಈ ಮಾದರಿಯು 128,000 tokens ಹಳೆಯ ಪಠ್ಯದ ದಿನ್ನಿಂದ ಹೆಚ್ಚು ನಮೂದಿಸುತ್ತದೆ.
Llama 3.3 70B ಬೆಂಬಲಿಸಲು ಸುಲಭಾಂತರವನ್ನು ಪಡೆದಾಗ?
ಇತರ ಭಾಷೆಗಳಲ್ಲಿ ಶ್ರೇಣೀಬದ್ಧ ಕಾರ್ಯವನ್ನು ಪ್ರಮಾಣಿತಗೊಳಿಸುವ Toscana ಇದೆ.
Llama 3.3 70B ನ ತರಬೇತಿಯಾಗಿನ ತಂತ್ರಜ್ಞಾನ ಯಾವ್ವು ಇದೆ?
ಪೂರ್ವ ತರಬೇತಿ ಮೆಟಾದ ವಿಶಿಷ್ಟ GPU ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಬಳಸುತ್ತದೆ, 39.3 ಮಿಲ್ಲಿಯನ್ ಗಂಟೆಗಳ GPU ಅನ್ನು H100-80GB ತಂತ್ರಜ್ಞಾನದ ಬಳಕೆಗಳಲ್ಲಿ ಬಳಸಲಾಗಿದೆ.
Llama 3.3 70B ಇನ್ನೂ ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಯೇ?
ಹೌದು, Llama 3.3 70B ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಯಾದಂತೆ, ವ್ಯಾಪಾರದ ಮತ್ತು ಶೋಧಕ್ಕೆ ಹಲವಾರು ಆವೃತ್ತಿಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
