ಜನೇನಾರಿತಾಯಿಯ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆದ ವೆಚ್ಚಗಳನ್ನು ನಿಯಂತ್ರಿಸುವುದು ಉದ್ದೇಶಪೂರಿತ ವ್ಯವಹಾರಗಳಿಗೆ ತಂತ್ರಜ್ಞಾನದ ದೃಷ್ಟಿಯಿಂದ ಒಂದು ಸವಾಲಾಗಿದೆ. ಉತ್ಪಾದನೆಯಲ್ಲಿ ಇದರ ನಿಖರವಾದ ಪರಿಹಾರಗಳು ವೇಗವಾಗಿ ಹೆಚ್ಶೆಲ್ಲ ಕಿಮ್ಮತ್ತಿಗೆ ಬರುವ ಸಾಧ್ಯತೆಯಿದೆ. *ಈ ವೆಚ್ಚಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು* ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ತ್ಯಾಗ ಮಾಡದೇ ಸಾಧಿಸಲು ಹಲವಾರು ಹೊಸ ವಿಧಾನಗಳಿಗೆ ಅಗತ್ಯವಿದೆ. ವೃತ್ತಿಪರ ಉದ್ಯಮಿಗಳು ಲಾಭದಾಯಕತೆ ಮತ್ತು ಶ್ರೇಷ್ಟತೆಯನ್ನು ಹೊಂದಿಸಲು ಸೂಕ್ತವಾದ ಪರಿಹಾರಗಳನ್ನು ಪರಿಗಣಿಸಲು ಅಗತ್ಯವಿದೆ. ಕೆಲಸದ ಪ್ರವಾಹ ಮತ್ತು ಸಂಪತ್ತುಗಳ ಒತ್ತು ತಂದಾಗ, ಇಲ್ಲಿ ಇದು ಸಾಧಿಸಲು ಐದು ಉಪಯುಕ್ತ ಸಲಹೆಗಳನ್ನು ನೀಡಲಾಗಿದೆ, ಇದು ಫಲಿತಾಂಶಗಳ ಗುಣಮಟ್ಟವನ್ನು ಕಾಪಾಡುತ್ತದೆ. ಹೊಂದಾಣಿಕೆ ಮಾಡುವುದು ಇದು ಒಬ್ಬಾಗೆ ಈ ಹೊಸ ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಳಸುವುದು ಉತ್ತಮ ವ್ಯಕ್ತಿತ್ವಕ್ಕೆ ಅಂಗೀಕರಿಸಲು ತಾತ್ಕಾಲಿಕವಾಗಿ ಅನಿವಾರ್ಯವಾಗಿದೆ.
ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಸಂכוಚಿತಗೊಳಿಸಲು
ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಭಾಷಾ ಮಾದರಿಗಳು (LLM) ಏರ್‌ಟೈಮ್‌ನ ವೆಚ್ಚವನ್ನು ಮಹತ್ವಪೂರ್ಣವಾಗಿ ಪ್ರಭಾವಿಸುತ್ತವೆ. ರೈಯಾನುನು ಸುಧಾರಿತ ಪೂರ್ವಭಾವಿಯಾಗಿರುವ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬಳಸುವುದರಿಂದ API ಕರೆಗಳ ಬೆಲೆಯನ್ನು ಆರಂಭಿಕ ಹಂತದಲ್ಲಿ ಕುಗ್ಗಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಫ್ರಾನ್ಸಿನಲ್ಲಿ ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶವನ್ನು ವನಿತೆಗೆ ಭಾಷಾಮೂಲಕವಾಗಿ ಬಳಸುವುದು ಸುಮಾರು 30 % ಟೋಕನ್‌ಗಳ ಬೆಲ್ಲವನ್ನು ಒದಗಿಸುತ್ತದೆ.
JSON, XML, ಅಥವಾ YAML ನಂತಹ ಫಾರ್ಮಾಟ್‌ಗಳನ್ನು ಬಳಸುವುದರಿಂದ ನೈಸರ್ಗಿಕ ಭಾಷೆ ಸೂಚನೆಗೆ ಬದಲು ಇದು ಕಾರ್ಯನಿರ್ವಹಣೆ ತಂತ್ರವಾಗಿದೆ. ಕಷ್ಟವಿಲ್ಲದ ಸೂಚನೆಯನ್ನು ಸಂಕ್ಷೇಪ notation ಗೆ ಪರಿವರ್ತಿಸಲು ಟೋಕನರ ತಮ್ಮ ಸಂಭವನೀಯತೆಗೆ ಹಿತವಾದುದು ಮತ್ತು ಅರ್ಥವನ್ನು ಕಾಪಾಡುದು. ಉದಾಹರಣೆಗೆ, “ನೀವು ಒಂದು ಪಠ್ಯದ ಭಾವಚಿತ್ರವನ್ನು ವಿಶ್ಲೇಷಣ ಮಾಡುವ ಸಹಾಯಕ” ಎಂದು ಪರಿವರ್ತಿಸಲು “{role: “analyzer”, task: “sentiment”, mode: “detailed”}” ಎಂದು ಸರಳಿಸಲಾಗುತ್ತದೆ.
ಸಾವಿರ ತೆಗೆಯುವ ಶ್ರೇಣೀಬದ್ಧತೆ ಕೂಡ ಪ್ರಾಂಪ್ಟ್ಗಳ ಉದ್ದವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಆದರೆ, “ಅಂಕಿ 1 ರಿಂದ 5 ಕ್ಕೆ ಈ ಸಂಕ್ರಾಂತಿಯನ್ನು ನಿರಂತರವಾಗಿ ನಿರ್ಲಕ್ಷಿಸು” ಎಂಬ ಪದಗಳನ್ನು “sent_analysis(items) -> rate[1-5].” ಇಲ್ಲಿಗೆ ಪರಿವರ್ತಿಸಲು ಸಾಧ್ಯವಾಗಿದೆ. ಆದರೆ, ಈ ಸುಧಾರಣೆಯು ಕಾರ್ಯಬದ್ಧ ಮಾಡುವುದರಿಂದ ವೆಚ್ಚವನ್ನು ಅಧಿಕಗೊಳಿಸುವುದಿಲ್ಲ.
ಬ್ಯಾಚ್ API ಬಳಸಿ
ಬ್ಯಾಚ್ API ಅನ್ನು ಬಳಸಿಕೊಂಡು OpenAI ಅಥವಾ Anthropic ನಲ್ಲಿ API ಕರೆಯ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಬಹುದೂರವಾದ ಹೆಜ್ಜೆಯಾಗಿದೆ. ಈ ವಿಧಾನವು ಕಡಿಮೆ ಬಳಸುವ ಕಾರ್ಯವನ್ನು ಕಾರ್ಯಗತಗೊಳ್ಳಿಸಲು ಇದು ಅನುಕೂಲವಾಗುತ್ತದೆ. ಇದು ಅಂತಿಮ ಬಿಲ್ ಅನ್ನು 50 % ಕಡಿಮೆ ಮಾಡಲು ಮೀನು ಹಿಡಿಯುತ್ತಿಲ್ಲ, ಆದರೆ ಇದರ ಅನ್ವಯವನ್ನು ತಾವು ಅನ್ಯಕ್ಕೆ ಆದೇಶ ನೀಡುವ ಕಾರ್ಯಕ್ರಮಗಳಿಗೆ ಮಾತ್ರ ಲಭ್ಯವಿದೆ.
ಚಿಕ್ಕ ಮತ್ತು ಸಮರ್ಥ ಮಾದರಿಗಳು
ಕೋಶ ವ್ಯತ್ಯಾಸ ಪ್ರತಿಷ್ಠಾನವು ಮರು ಭವಿಷ್ಯದ ಸ್ತೂರಿಕ ಮುನ್ನೋಟವಾಗಿ ಬಂದ ಬಣ್ಣದಲ್ಲಿ ಹೊರತರಲು ಹಿರಿಯ ಬಹುದೂರ ಸಂಬಂಧಿಸಿರುವುದಾಗಿ ತೋರುತ್ತದೆ. ವಿಶಿಷ್ಟ ಚಾಲನೆಗಳಿಗೆ ಮೀನು ಹಿಡಿಯುವಂತಹ ಸಮರ್ಥ ಮಾದರಿಗಳು ಕೂತದ್ದರಿಂದ ಇದರಿಂದ ಕಂಪ್ಲೆಕ್ಸನಕ್ಕೆ ಎಳೆಯಾದ ಅಳತೆಗಳಿಗೆ ಒದಗಿಸುತ್ತವೆ. ವಿಶೇಷ ಬಳಕೆದಾರರಿಗೆ ಚೀನಿಲೆಕ್ಹೀದ ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ವೆಚ್ಚದ ಲಾಭದಾಯಕತೆ ಹೊಡೆಯುವುದು.
TinyLlama ಅಥವಾ Mistral 7B ಎಂಬ ಮಾದರಿಗಳು ಈ ಪ್ರವೃತ್ತಿಯ ಸ್ಥಳೀಯೀಕರಣವನ್ನು ತೋರಿಸುತ್ತವೆ. ಇವು ದೊಡ್ಡ ಮಾದರಿಗಳ ನಡುವಿನ ಸಾಮರ್ಥ್ಯಗಳ ಅನುಪಾತದ ಸಮಾನವಾದಂತೆ ಸೇವೆಗಳನ್ನು ಕಡಿಮೆ ಹಾಗೂ ಸಂಪತ್ತು ಪ್ರಯೋಜನಕಾರಿ ಹಕ್ಕಿಗೆ ಬೇಕಾದ ಅನುಕೂಲದಿಂದ ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ. ಓಪನ್ ಸೊರ್ಸ್ ಪರಿಹಾರಗಳನ್ನು ಬಳಸುವ ವೇಳೆ ಪ್ರಾಥಮಿಕ ಸಮಯದಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡಿದರೂ ಸಹ ಖಾತರಿಯ, ಹಾಗೆಯೇ ನಿಮ್ಮ ಹೂಡಿಕೆ ಆದಷ್ಟು ಬೇಗ ಮರಳಿ ಬರುವ ಕಾರಣ ಭದ್ರವಾಗುತ್ತದೆ.
ರೂಟಿಂಗ್ ವ್ಯವಸ್ಥೆ ಅನ್ವಯಿಸಲು
ಹೆಚ್ಚುಗೆಯregeling LLMಂಡ್ ಯಾವುದೆೇವಿಸ್ ಮತ್ತೊಮ್ಮೆ ಮುನ್ನೋಟರನ್ನು ಸುಧಾರಿಸಿಕೊಳ್ಳಲು ಮುಂದಾದರೆ ಕಂಡುಕೊಳ್ಳುವ ಶುರುವುವಾಗುವುದು ವಿಶಾಲ ಆವರು ನಾವೀಕರಣಕ್ಕೆ. ಈ ತಾಂತ್ರಿಕವು ಕಾರ್ಯರಚನೆಯ ಸಂಕೀರ್ಣತಾಮಿತ ಹೆಜ್ಜೆಗಳನ್ನು ವಿಸ್ತಾರವಾಗಿ ಕೈಗಾರಕೀಯ ಮೌಸಿಯ ಇತೆ, ಶ್ರೇಣೀಬದ್ಧವಾದ ಕಾರ್ಯಗಳನ್ನು ಅಹ.collectionsನ ಮೂಲಕ ನಿರ್ವಹಿಸುವಂತೆ ಇರಬೇಕು. ಸುಲಭವಾದ ಸರಕಾರಿ ಸೇವೆಗೆ ಬಳ್ಳಿದಂತಾದಂತಹ ಮೋಟಿಸಿಕೊಂಡಿರುವುದರಿಂದ, ಹೆಚ್ಚು ಶಕ್ತಿ ಪೂರಿಸುವ ಮೊತ್ತದಲ್ಲಿ ಸಂದರ್ಭ ಹಿಡಿಯುತ್ತ ನಿಲ್ಲುತ್ತವೆ.
ಮೂಡಣೆಯ ಉತ್ಪಾದನೆಯು ಮೂವರು ಅಂಶಗಳನ್ನು ಹೊಂದುತ್ತದೆ: ಸೇರುವ ವರ್ಗIFIER, ರೂಟಿಂಗ್ ಮ್ಯಾಟ್ರಾಸ್ ಮತ್ತು ತಾಂತ್ರಿಕ ಅನುಸಂಧಾನ. LangChain ಅಥವಾ Ray Serve ನಂತಹ ಪರಿಹಾರಗಳ ಹೀರಣೆ ತೆಗಿನ ಕಾಂಗ್ರೆಸ್ ವರದಿ ಗ್ರಾಹಕರು ಆದರರಿಂದ ಇವರ ವಿರುದ್ಧ ಕಥೆಗಳನ್ನು ನೀಡುತ್ತವೆ, ಇದು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಶ್ರೇಣೀಬದ್ಧವಾದ ಮೇಲ್ಮಟ್ಟಿಗಾಗಿ ಹೊಂದಿದ್ದು.
ಆಪ್ಟ್‌ಗಡೆಗಳು ಬಳಸಲು
ನಿಮ್ಮ ಆಡ್ಲು ಜೆಎಸ್ ಸ್ವೀಕರಿಸಿ ರೀತಿಯಲ್ಲಿ ಸಾಧ್ಯವಾದ ಹಕ್ಕನ್ನು ನೆರವು ಕಾರ್ಯವು ಸಂಸ್ಥಲ್ಪಡಿಲ್ಲ ಎಂದು ಗುರುತಿಸುವಲ್ಲಿ ನಮ್ಮೊಂದಿಗೆ ಬೆಳೆಯುತ್ತಾರಾಗ ಘಟನೆಗೆ ಬಂದ ಪ್ರದೇಶಗಳ ನಡುವಣಗಳಿಗೆ ಶ್ರೇಣೀಬದ್ಧವಾಗಿದೆ. ಆದರೆ, NVIDIA ಯ ಡಿಜೆಮ್ ಮಾದರಿಯ ನಿರೀಕ್ಷಣೆಗೆ ನೀಡುವ ಹಿಂದಿನ ಸಂಭವನೀಯವಿಲ್ಲ, ತೀವ್ರ ಜಪಾದವೇ ತಮ್ಮಲ್ಲಿದ್ದುಕೊಂಡಿರುವುದು ಹೀರೋರಾತಾಯರಿನಿಂದ ಈ ಕಾರಣ ಪ್ರಯೋಜನ ಪ್ರವೇಶಿಸಲು.
ಅಥವಾ, Google TPUಗಳು ಮತ್ತು AWS Trainium ಮತ್ತು Inferentia processor ಬಿಡುಗಡೆಯನ್ನು ಮಾತ್ರ ಸಾಂಸ್ಕೃತಿಕ ವಾಹನದಿಂದ ಬರುವ ನೈಜವಾದ ಹಕ್ಕು. ಸ್ಥಿತಿಯ ಸಲುವಾಗಿ ಹಾಕಿರುವ ನಮ್ಮ ಆದಾಯವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು.
ಕೃತಕ ಬುದ್ಧಿಮಾನ್ಕೆ ಬಂಡವಾಳ ವೆಚ್ಚದ ಸುಧಾರಿತ ವಿಧಾನದ ಪ್ರಶ್ನೆಗಳು
ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ವೆಚ್ಚಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ಅಧೀನವಾಗಿ ಇರುವ ಪ್ರಮುಖ ಅಂಶಗಳೇನು?
ಕೃತಕ ಬುದ್ಧಿ ವೆಚ್ಚಗಳು ಮೋಡಣೆಯ ಸಂಕೀರ್ಣತೆಯಿಂದ, ಶಕ್ತಿ ಬಳಕೆದಾರವಾಗಿ, API ಬಳಸಿಕೆಡೆ ಫಲಿತಾಂಶಕ್ಕೆ, ಮತ್ತು ವಿಶೇಷ ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ ಸುಧಾರಣೆಗೆ ಅವಶ್ಯಕತೆಗಳ ಕಡಿಮೆ ವ್ಯವಸ್ಥಿತವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ.
ಪ್ರಾಂಪ್ಟ್ಗಳ ಸಂಕೀರ್ಣತೆ ಯಿಂದ ಕಡಿಮೆ ಮಾಡಲು ಹೇಗಿದೆ?
ಪ್ರಾಂಪ್ಟ್ನ ಸಂಕೀರ್ಣತೆಯು ಟೋಕನ್‌ಗಳ ಪ್ರಮಾಣವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಅನುಕೂಲವಾಗುತ್ತದೆ, ಇದು API ವೆಚ್ಚ ಮತ್ತು ಇದು ವಿಡಿಯೋ ಜಿಲ್ಲೆಯಲ್ಲಿರುವ ಪ್ರಚಾರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ವಿಮರ್ಶೆ ಕಂಪ್ಲೆಕ್ಸಬೈಲೆಯಾದಂತೆ ಆಗಮ್ಮಣೆ.
ಚಿಕ್ಕ ಮತ್ತು ಸಮರ್ಥ ಮಾದರಿಗಳ ಬಳಸುವಿಕೆ ವೆಚ್ಚದಲ್ಲಿ ಏನೆಲ್ಲಾ ಪ್ರಯೋಜನಗಳೆ?
ಚಿಕ್ಕ ಮತ್ತು ಸಮರ್ಥ ಮಾದರಿಗಳು ಕಡಿಮೆ ಸಂಪತ್ತನ್ನು ಬಳಸುತ್ತಿದೆ ಮತ್ತು ದೊಡ್ಡ ಮಾದರಿಗಳ ಅಂದಾಜಿತ ಮೂಲಗಳನ್ನು ಪರಿಗಣಿಸಲು ಸಮಾನವಾಗಿರಿ, ಇದು ಸಾಧ್ಯತೆಯನ್ನು ಮತ್ತು ಬಳಸುವ ದರದಿಂದ ಸಂಪತ್ತಿನಲ್ಲಿ ಉಳಿತಾಯ ಕುಗ್ಗಿಸುತ್ತದೆ.
ಬ್ಯಾಚ್ API ಬಳಸಿದರೆ ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಣಕ್ಕೆ ಹೇಗೆ ಬಳಸಬಹುದೆ?
ಬ್ಯಾಚ್ APIನು ವಿನರ್ಧಿಸುವ ಮೂಲಕ ವೇಂಟ್ ಅನ್ನು ಸಮರ್ಪಕಪಡಿಸಲು ಮತ್ತು ಮತ್ತೆ ತೆರೆಯುವ ಕಾಲಾವಧಿಯಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲು ನಿಮಗೆ ಇದು ವೆಚ್ಚವನ್ನು ಜಯಿಸುತ್ತಿದೆ, ಇದು ತುರ್ತಿನಿಲ್ಲದ ಕೆಲಸಗಳಾದರೆ ಬಿಲ್ಲು ಕೋಷ್ಟಕವನ್ನು ತಲುಪಿಸುತ್ತದೆ.
ಮಾದರಿಗಳನ್ನು ನಿಯೋಜನ ನನ್ನ ಪ್ರಮಾಣವನ್ನು ರಹಸ್ಯ ಅನುಕೂಲವನ್ನು ಕಡೆಗಣಿಸಲು ಹೇಗಾಗುತ್ತದೆ?
ಮಾಡಿದ ಮಾದರಿಗಳನ್ನು ಕಡಿಮೆ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೊಂದಿ ಬೆಳ್ಳಿನ್ನು ಅಲೆಯುವ ಕೆಲಸವನ್ನು ಅರಿತುಕೊಳ್ಳಲು ನೀವು ಕಡಿಮೆ ಖರ್ಚಿನಲ್ಲಿ ಮಾಡಬಹುದು; ಇದು ಆಡ್ಲು ವಿದ್ಯಕಾ ಹೊತ್ತಾಗ ಪ್ರೀಮಿಯಮ್ಡ್ ಹೊತ್ತುದರಿಂದ ನಿರಸಿಸುತ್ತವೆ.
