100,000 GPU क्लस्टर के अंदर क्या है? 🤔

सर्वदहोम के पैट्रिक हमें अपने कैमरे के साथ सर्वर के विभिन्न भागों का भ्रमण कराते हैं, तथा इसके संचालन का विस्तृत दृश्य प्रस्तुत करते हैं। हालांकि कुछ विवरण गोपनीयता समझौते के कारण सुपरकंप्यूटर के बारे में अधिक विशिष्ट विवरण, जैसे इसकी बिजली खपत और बमों का आकार, प्रकट नहीं किया जा सका, xAI ने वीडियो जारी करने से पहले इसके कुछ हिस्सों को धुंधला और सेंसर करने का ध्यान रखा। 🎥

इसके बावजूद, सबसे महत्वपूर्ण चीज, जैसे सर्वर जीपीयू सुपरमाइक्रो से प्राप्त, फुटेज में लगभग बरकरार रहा। ये GPU सर्वर हैं एनवीडिया एचजीएक्स H100, एक शक्तिशाली सर्वर समाधान जिसमें प्रत्येक में आठ H100 GPU हैं। 🚀 HGX H100 प्लेटफॉर्म को 4U यूनिवर्सल GPU लिक्विड सिस्टम के भीतर एकीकृत किया गया है कूल्ड सुपरमाइक्रो से, प्रत्येक GPU के लिए आसानी से हॉट-स्वैपेबल लिक्विड कूलिंग प्रदान करता है। ❄️

इन सर्वरों को रैक में व्यवस्थित किया गया है, जिनमें से प्रत्येक में आठ सर्वर हैं, कुल 64 सर्वर हैं जीपीयू प्रति फ्रेम. प्रत्येक HGX H100 के बीच 1U कलेक्टर्स लगाए गए हैं, जो सर्वरों के लिए आवश्यक द्रव शीतलन प्रदान करते हैं। प्रत्येक रैक के नीचे हमें एक और सुपरमाइक्रो 4U इकाई मिलती है, जो इस बार एक अतिरिक्त पंप प्रणाली और एक रैक मॉनिटरिंग प्रणाली से सुसज्जित है। 🔍

🖥️ ये रैक आठ के समूहों में व्यवस्थित हैं, जिससे 512 लोगों को रखा जा सकता है जीपीयू मैट्रिक्स द्वारा. प्रत्येक सर्वर चार से सुसज्जित है बिजली की आपूर्ति अनावश्यक। रैक के पीछे जीपीयूइसमें तीन-चरणीय विद्युत आपूर्ति, ईथरनेट स्विच और एक रैक-आकार का कलेक्टर है जो सभी प्रकार की तरल शीतलन प्रदान करता है। 💧

कोलोसस क्लस्टर में 1500 से अधिक रैक हैं जीपीयू, लगभग 200 फ्रेम के सेट में वितरित किया गया। के सीईओ जेन्सेन हुआंग के अनुसार NVIDIAइन 200 डाइज़ पर GPU केवल तीन सप्ताह में पूरी तरह से स्थापित कर दिए गए। 🚀

चूंकि एआई सुपरक्लस्टर को लगातार मॉडलों को प्रशिक्षित करने के लिए बहुत अधिक बैंडविड्थ की आवश्यकता होती है, इसलिए xAI अपनी इंटरकनेक्टिविटी में और आगे बढ़ गया। ग्रिड. प्रत्येक ग्राफिक्स कार्ड में एक समर्पित 400GbE NIC (नेटवर्क इंटरफेस कंट्रोलर) होता है, तथा प्रत्येक सर्वर में अतिरिक्त 400Gb NIC होता है। 🔗 इसका मतलब है कि प्रत्येक HGX H100 सर्वर में प्रति सेकंड 3.6 टेराबिट्स ईथरनेट है। प्रभावशाली है, है ना? और हां, पूरा क्लस्टर ईथरनेट पर चलता है, न कि इनफिनिबैंड या अन्य विदेशी कनेक्शनों पर, जो सुपरकंप्यूटिंग की दुनिया में मानक हैं। 🌐

बेशक, ग्रोक 3 चैटबॉट जैसे सुपरकंप्यूटर, जो एआई मॉडल को प्रशिक्षित करता है, को सिर्फ इससे कहीं अधिक की आवश्यकता होती है। जीपीयू अपने सर्वोत्तम स्तर पर कार्य करने के लिए। 🔥 हालांकि कोलोसस में स्टोरेज और सीपीयू सर्वर के बारे में विवरण कुछ हद तक सीमित हैं, पैट्रिक के वीडियो और ब्लॉग भेजाहम जानते हैं कि ये सर्वर आमतौर पर सुपरमाइक्रो चेसिस में होते हैं। 🚀

इसमें x86 प्लेटफॉर्म CPU युक्त NVMe-फॉरवर्ड 1U सर्वर का उपयोग किया जाता है, जो भंडारण और प्रसंस्करण क्षमता दोनों प्रदान करता है। कम्प्यूटिंग, और पीछे की ओर लिक्विड कूलिंग से सुसज्जित हैं। 💧 इसके अलावा, बाहर आप के बैंकों को देख सकते हैं बैटरियों बहुत कॉम्पैक्ट टेस्ला मेगापैक. ⚡️

सरणी की स्टार्ट-स्टॉप विशेषता, बैंकों के बीच मिलीसेकंड विलंबता के साथ, पारंपरिक पावर ग्रिड या मस्क के डीजल जनरेटर के लिए बहुत अधिक थी। इसलिए, कई टेस्ला मेगापैक (प्रत्येक की क्षमता 3.9 मेगावाट घंटा) को बीच के ऊर्जा स्रोत के रूप में उपयोग किया जाता है। ग्रिड विद्युत और सुपर कंप्यूटर। 🖥️🔋 यह रुकावटों से बचते हुए इष्टतम और कुशल संचालन सुनिश्चित करता है। 🚦✨

🌟 कोलोसस और मस्क के स्थिर सुपरकंप्यूटर का उपयोग 🌟

एनवीडिया के अनुसार, xAI कोलोसस सुपरकंप्यूटर वर्तमान में दुनिया का सबसे बड़ा AI सुपरकंप्यूटर है। 🤯 जबकि दुनिया के कई प्रमुख सुपर कंप्यूटरों का उपयोग ठेकेदारों या शिक्षाविदों द्वारा मौसम के पैटर्न, बीमारियों या अन्य जटिल कार्यों का अध्ययन करने के लिए किया जाता है, कोलोसस एक्स (पूर्व में ट्विटर) के विभिन्न एआई मॉडल को प्रशिक्षित करने के लिए पूरी तरह से जिम्मेदार है। मुख्य रूप से, ग्रोक 3, एलोन का "एंटी-वोक" चैटबॉट जो केवल एक्स प्रीमियम ग्राहकों के लिए उपलब्ध है। 🤖

इसके अलावा, सर्वदहोम को बताया गया कि कोलोसस प्रशिक्षण दे रहा है एआई मॉडल "भविष्य की"; ऐसे मॉडल जिनके उपयोग और क्षमताएं एआई की वर्तमान क्षमताओं से परे हैं। कोलोसस निर्माण का पहला चरण पूरा हो गया है और क्लस्टर पूरी तरह से चालू है, लेकिन यह अभी भी पूरा नहीं हुआ है। मेम्फिस सुपरकंप्यूटर जल्द ही होगा अपडेट करेंगे अतिरिक्त 50,000 H100 GPU और 50,000 अगली पीढ़ी के H200 GPU के साथ अपनी GPU क्षमता को दोगुना करना। 🔥

यह अद्यतन इससे बिजली की खपत भी दोगुनी से अधिक हो जाएगी, जो जुलाई में मस्क द्वारा साइट पर लगाए गए 14 डीजल जनरेटरों के लिए पहले से ही बहुत अधिक है। ⚡ हालांकि यह मस्क के कोलोसस के अंदर 300,000 H200 के वादे से कम है, लेकिन यह चरण 3 का हिस्सा हो सकता है अपडेट. 🔋

दूसरी ओर, टेस्ला के "गीगा टेक्सास" संयंत्र में 50,000-जीपीयू कॉर्टेक्स सुपरकंप्यूटर भी मस्क की कंपनी का है। कॉर्टेक्स प्रशिक्षण के लिए समर्पित है तकनीकी कैमरा स्ट्रीमिंग और इमेज सेंसिंग के माध्यम से टेस्ला की स्वायत्त एआई, साथ ही टेस्ला के स्वायत्त रोबोट और अन्य एआई परियोजनाएं। 🤖🚗

इसके अतिरिक्त, टेस्ला जल्द ही बफैलो, न्यूयॉर्क में डोजो सुपरकंप्यूटर का निर्माण भी देखेगा, जो 500 मिलियन डॉलर की परियोजना है। इस बीच, बायडू के सीईओ रॉबिन ली जैसे उद्योग सट्टेबाजों का अनुमान है कि बुलबुला फूटने पर एआई कंपनियों का 99% हिस्सा ढह सकता है। यह देखना अभी बाकी है कि क्या मस्क का एआई पर रिकॉर्ड खर्च उल्टा पड़ेगा या लाभदायक होगा। ⏳