Hemligheterna bakom xAI Colossus: 100 000 GPU:er

Vad finns inuti ett kluster med 100 000 GPU:er? 🤔

Patrick från ServeTheHome tar oss med på en rundtur med sin kamera genom olika delar av servern och erbjuder en panoramavy över dess drift. Även om vissa detaljer Mer specifika detaljer om superdatorn, såsom dess strömförbrukning och bombernas storlek, kunde inte avslöjas på grund av ett sekretessavtal, xAI tog hand om att sudda ut och censurera delar av videon innan den släpptes. 🎥

Trots detta är det viktigaste, som servrarna GPU från Supermicro, förblev praktiskt taget orörda i filmmaterialet. Dessa GPU-servrar är Nvidia HGX H100, en kraftfull serverlösning med åtta H100 GPU:er vardera. 🚀 HGX H100-plattformen är integrerad i 4U Universal GPU Liquid-systemet. Kyld från Supermicro, som ger enkel hot-swap-vätskekylning för varje GPU. ❄️

Dessa servrar är organiserade i rack som innehåller åtta servrar vardera, totalt 64 GPU per rack. 1U-kollektorer är placerade mellan varje HGX H100, vilket ger nödvändig vätskekylning för servrarna. Längst ner i varje rack hittar vi ytterligare en 4U Supermicro-enhet, den här gången utrustad med ett redundant pumpsystem och ett rackövervakningssystem. 🔍

🖥️ Dessa ställ är organiserade i grupper om åtta, vilket möjliggör 512 GPU per array. Varje server är utrustad med fyra strömförsörjning redundant. Längst bak på hyllorna av GPU, det finns trefasiga nätaggregat, Ethernet-switchar och en rackstor uppsamlare som tillhandahåller all vätskekylning. 💧

Det finns fler än 1500 rack i Colossus-klustret. GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Eftersom ett AI-superkluster som ständigt tränar modeller kräver mycket bandbredd, gick xAI längre i sin sammankoppling av rödVarje grafikkort har ett dedikerat 400 GbE NIC (nätverksgränssnittskontroller), med ytterligare 400 Gb NIC per server. 🔗 Det betyder att varje HGX H100-server har 3,6 terabit per sekund Ethernet. Imponerande, eller hur? Och ja, hela klustret körs på Ethernet, snarare än InfiniBand eller andra exotiska anslutningar som är standard i superdatorvärlden. 🌐

Naturligtvis behöver en superdator som Grok 3-chatboten, som tränar AI-modeller, mer än bara GPU för att fungera optimalt. 🔥 Även om detaljerna om lagrings- och CPU-servrarna i Colossus är något begränsade, tack vare Patricks video och blogginläggVi vet att dessa servrar vanligtvis är byggda i Supermicro-chassin. 🚀

Se utilizan servidores NVMe-forward 1U con CPUs de plataforma x86 en su interior, proporcionando tanto almacenamiento como capacidad de computación, y están equipados con refrigeración líquida por la parte trasera. 💧 Además, afuera se pueden ver bancos de baterías Tesla Megapack muy compactos. ⚡️

Arrayens start-stopp-egenskaper, med deras millisekundsfördröjning mellan bankerna, var för mycket för det konventionella elnätet eller Musks dieselgeneratorer. Så flera Tesla Megapack (var och en med en kapacitet på 3,9 MWh) används som en mellanliggande kraftkälla mellan röd el och superdatorn. 🖥️🔋 Detta säkerställer optimal och effektiv drift, vilket undviker avbrott. 🚦✨

🌟 Användningen av Colossus och Musks stabila superdator 🌟

xAI-superdatorn Colossus är för närvarande, enligt Nvidia, världens största AI-superdator. 🤯 Medan många av världens ledande superdatorer används i forskning av entreprenörer eller akademiker för att studera vädermönster, sjukdomar eller andra komplexa uppgifter, är Colossus ensamt ansvarig för att träna X:s (tidigare Twitter) olika AI-modeller. Främst Grok 3, Elons "anti-woke" chatbot som endast är tillgänglig för X Premium-prenumeranter. 🤖

Dessutom informerades ServeTheHome om att Colossus utbildar AI-modeller «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Detta uppdatera Den kommer också att mer än fördubbla sin strömförbrukning, vilket redan är för mycket för de 14 dieselgeneratorer som Musk lade till på platsen i juli att hantera. ⚡ Även om det inte når Musks löfte om 300 000 H200-generatorer inuti Colossus, skulle det kunna vara en del av fas 3 av uppdateringar. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Dessutom kommer Tesla snart att få se byggandet av superdatorn Dojo i Buffalo, New York, ett projekt på 500 miljoner dollar som snart kommer. 💸 Samtidigt förutspår branschspekulanter som Baidus VD Robin Li att antalet AI-företag kan falla sönder när bubblan spricker. Det återstår att se om Musks rekordutgifter för AI kommer att slå tillbaka eller löna sig. ⏳