आज मैं थोड़ा और तकनीकी होना चाहता हूं। हम हर दिन कृत्रिम बुद्धिमत्ता के बारे में बात करते हैं लेकिन यह जानना सही है कि यह किस पर आधारित है और यह कैसे काम करती है। इसी संबंध में मैं आपका परिचय कराना चाहता हूं एक प्रकार का अफ्रिकान साँप, एक नई वास्तुकला जो मुझे बदलने का वादा करती है भाषाई मॉडल जैसा कि हम आज उन्हें जानते हैं। जीपीटी की तुलना में मांबा की विशेषताएं बेहद बेहतर हैं और साथ ही यह आपको क्या करने की अनुमति देती है।
माम्बा कृत्रिम बुद्धिमत्ता के लिए एक नया क्षितिज है
ट्रांसफॉर्मर आर्किटेक्चर, 2016 में पेपर के माध्यम से पेश किया गयाअटेंशन इज ऑल यू नीडGoogle द्वारा, भाषा मॉडल के लिए एक सफलता का प्रतिनिधित्व किया गया, जिससे उन्हें इंटरैक्शन में संदर्भ बनाए रखने की अनुमति मिली। संक्षेप में: वास्तुकला ट्रांसफार्मर एक AI मॉडल है जिसका उपयोग GPT जैसे मॉडल बनाने के लिए किया जाता है (जनरेटिव प्रीट्रेंड ट्रांसफार्मर)।
ट्रांसफार्मर वास्तुकला का हृदय "का तंत्र हैattenzione“, जो मॉडल को दूसरे पाठ को बनाते या संसाधित करते समय एक पाठ के विशिष्ट भागों पर ध्यान केंद्रित करने की अनुमति देता है। यह तंत्र ट्रांसफॉर्मर्स को पाठ के भीतर संदर्भ और जटिल संबंधों को समझने में विशेष रूप से प्रभावी बनाता है। व्यवहार में, ट्रांसफार्मर वास्तुकला पर आधारित मॉडल, जैसे जीपीटी, वे दो चरणों के माध्यम से भाषा उत्पन्न करना और समझना सीखते हैं मुख्य हैं: प्रशिक्षण (प्रशिक्षण) और अनुमान (पाठ निर्माण)।
दौरान ट्रेनिंग, मॉडल को भाषाई संरचनाओं, शब्दों के बीच संबंध, संदर्भ आदि को समझने के लिए बड़े टेक्स्ट डेटासेट पर प्रशिक्षित किया जाता है। के चरण में अनुमान, मॉडल ने जो सीखा है उसका उपयोग नया पाठ उत्पन्न करने, प्रश्नों का उत्तर देने, भाषाओं का अनुवाद करने और अन्य भाषा प्रसंस्करण कार्यों के लिए करता है।
हालाँकि, माम्बा का उद्भव एक नए युग की शुरुआत का प्रतीक हो सकता है। यह वास्तुकला होने का वादा करती है अधिक कुशलजीपीटी जैसे मौजूदा मॉडलों के सामने आने वाली कुछ प्रमुख चुनौतियों पर काबू पाने में सक्षम। विशेष रूप से, तीन प्रमुख पहलू मांबा को एक आशाजनक वास्तुकला बनाते हैं:
- कम अनुमान लागत: मांबा का एक प्रमुख पहलू अनुमान लागत में महत्वपूर्ण कमी है। जैसा कि मैंने पहले कहा था, अनुमान वह प्रक्रिया है जिसके द्वारा एक एआई मॉडल, प्रशिक्षित होने के बाद, जो सीखा है उसे नए डेटा पर लागू करता है, पाठ या छवियां उत्पन्न करता है। GPT-3 या GPT-4 जैसे जटिल मॉडल में, यह प्रक्रिया कम्प्यूटेशनल संसाधनों के मामले में महंगी हो सकती है। मांबा ने वादा किया है इन लागतों को पाँच गुना तक कम करें ट्रांसफार्मर-आधारित मॉडल की तुलना में, जिसका महत्वपूर्ण प्रभाव हो सकता है, विशेष रूप से उन अनुप्रयोगों के लिए जिन्हें तीव्र प्रतिक्रिया पीढ़ी की आवश्यकता होती है या विशाल डेटासेट के साथ काम करना पड़ता है;
- रैखिक ध्यान गणना लागत: माम्बा का दूसरा लाभ ध्यान की गणना करने में दक्षता से संबंधित है। ट्रांसफार्मर मॉडल में, लागत बढ़ती है वास्तव में (सटीक रूप से शक्ति के स्तर पर, यह भाषण का एक अलंकार नहीं है) जैसे-जैसे पाठ की लंबाई बढ़ती है। इसका मतलब यह है कि पाठ जितना लंबा होगा, उसे संसाधित करने के लिए उतने ही अधिक संसाधनों की आवश्यकता होगी, जिससे कुछ अनुप्रयोगों में मॉडल की व्यावहारिकता सीमित हो जाएगी। मांबा एक समाधान प्रस्तावित करती है लागत रैखिक रूप से बढ़ती है ध्यान विंडो के आकार की तुलना में, लंबे पाठों के प्रसंस्करण को कम्प्यूटेशनल दृष्टि से अधिक प्रबंधनीय और कम कठिन बना दिया गया है;
- अत्यंत अधिक इनपुट: मांबा अधिकतम इनपुट विंडो संभाल सकती है 1 मिलियन टोकन तकn, ट्रांसफॉर्मर आर्किटेक्चर से कहीं अधिक संभव है। इसका मतलब यह है कि मांबा, सैद्धांतिक रूप से, संपूर्ण पुस्तकों जैसे अत्यंत लंबे पाठों का विश्लेषण करें और समझें, संदर्भ में सुसंगतता और विवरण बनाए रखना। उदाहरण के लिए, वह शुरू से अंत तक पात्रों, कथानक और विषयों की स्पष्ट समझ बनाए रखते हुए पूरे उपन्यास का विश्लेषण कर सकता है।
मांबा के वादों के बावजूद, काग़ज़ सोलेवा इसकी स्केलेबिलिटी के बारे में संदेह, खासकर जब जीपीटी-4 जैसे विशाल मॉडल की तुलना में, जिसमें 175 बिलियन पैरामीटर हैं। बहुत ही सरल शब्दों में स्केलेबिलिटी का तात्पर्य है प्रभावशीलता खोए बिना कार्य में वृद्धि या आकार में वृद्धि को संभालने की प्रणाली की क्षमता. एक छोटे रेस्तरां की कल्पना करें जो कम ग्राहकों के साथ अच्छा प्रदर्शन करता है। यदि रेस्तरां लोकप्रिय हो जाता है और उसके पास अधिक ग्राहक आने लगते हैं, तो उसे सेवा या भोजन की गुणवत्ता से समझौता किए बिना इस वृद्धि को संभालने में सक्षम होना चाहिए। यदि यह सफल होता है, तो यह "स्केलेबल" है।
मांबा का उसकी वर्तमान स्थिति में परीक्षण किया जा चुका है केवल 3 अरब मापदंडों के साथ. इस प्रकार, यह अनिश्चित बना हुआ है कि बड़े आकार में स्केल किए जाने पर इसके प्रदर्शन और दक्षता को बनाए रखा जा सकता है या सुधार किया जा सकता है।
