De geheimen van xAI Colossus: 100.000 GPU's

Wat zit er in een cluster van 100.000 GPU's? 🤔

Patrick van ServeTheHome neemt ons mee op een rondleiding met zijn camera door verschillende onderdelen van de server en biedt een panoramisch beeld van de werking ervan. Hoewel sommige details Meer specifieke details over de supercomputer, zoals het stroomverbruik en de omvang van de bommen, konden vanwege een geheimhoudingsovereenkomst niet worden vrijgegeven. xAI zorgde ervoor dat delen van de video werden vervaagd en gecensureerd voordat deze werd uitgebracht. 🎥

Ondanks dit is het allerbelangrijkste, zoals de servers GPU van Supermicro, bleven vrijwel onaangeroerd in de beelden. Deze GPU-servers zijn Nvidia HGX H100, een krachtige serveroplossing met elk acht H100 GPU's. 🚀 Het HGX H100-platform is geïntegreerd in het 4U Universal GPU Liquid-systeem. Gekoeld van Supermicro, dat eenvoudig hot-swappable vloeistofkoeling voor elke GPU biedt. ❄️

Deze servers zijn georganiseerd in rekken met elk acht servers, in totaal 64 GPU Per rack. Tussen elke HGX H100 zijn 1U-collectoren geplaatst, die de servers van de nodige vloeistofkoeling voorzien. Onderin elk rack vinden we nog een 4U Supermicro-unit, ditmaal uitgerust met een redundant pompsysteem en een rackbewakingssysteem. 🔍

🖥️ Deze rekken zijn georganiseerd in groepen van acht, waardoor er ruimte is voor 512 GPU per array. Elke server is uitgerust met vier voedingen redundant. Aan de achterkant van de rekken van GPU, er zijn driefasenvoedingen, ethernetswitches en een rack-formaat collector die voor alle vloeistofkoeling zorgt. 💧

Er zijn meer dan 1500 rekken in de Colossus-cluster GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Omdat een AI-supercluster die voortdurend modellen traint veel bandbreedte nodig heeft, is xAI verder gegaan in de onderlinge verbondenheid van roodElke grafische kaart heeft een eigen 400GbE NIC (Network Interface Controller), met een extra 400Gb NIC per server. 🔗 Dit betekent dat elke HGX H100-server 3,6 terabit per seconde Ethernet heeft. Indrukwekkend, toch? En ja, het hele cluster draait op Ethernet, in plaats van InfiniBand of andere exotische verbindingen die standaard zijn in de supercomputerwereld. 🌐

Natuurlijk heeft een supercomputer als de Grok 3 chatbot, die AI-modellen traint, meer nodig dan alleen GPU om optimaal te draaien. 🔥 Hoewel de details over de opslag- en CPU-servers in Colossus enigszins beperkt zijn, dankzij Patrick's video en de blogberichtWe weten dat deze servers doorgaans in Supermicro-behuizingen zijn gebouwd. 🚀

Se utilizan servidores NVMe-forward 1U con CPUs de plataforma x86 en su interior, proporcionando tanto almacenamiento como capacidad de computación, y están equipados con refrigeración líquida por la parte trasera. 💧 Además, afuera se pueden ver bancos de baterías Tesla Megapack muy compactos. ⚡️

De start-stopkarakteristieken van de array, met hun milliseconde-latentie tussen de banken, waren te veel voor het conventionele elektriciteitsnet of Musks dieselgeneratoren. Daarom worden meerdere Tesla Megapacks (elk met een capaciteit van 3,9 MWh) gebruikt als tussenliggende stroombron tussen de rood elektrisch en de supercomputer. 🖥️🔋 Dit zorgt voor een optimale en efficiënte werking, waardoor onderbrekingen worden vermeden. 🚦✨

🌟 Het gebruik van Colossus en Musk's stabiele supercomputer 🌟

De xAI-supercomputer Colossus is volgens Nvidia momenteel de grootste AI-supercomputer ter wereld. 🤯 Hoewel veel van 's werelds toonaangevende supercomputers worden gebruikt voor onderzoek door aannemers of academici om weerpatronen, ziektes of andere complexe taken te bestuderen, is Colossus als enige verantwoordelijk voor het trainen van de verschillende AI-modellen van X (voorheen Twitter). Met name Grok 3, Elons "anti-woke" chatbot die alleen beschikbaar is voor X Premium-abonnees. 🤖

Daarnaast werd ServeTheHome geïnformeerd dat Colossus aan het trainen is AI-modellen «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Dit update Het zal ook het stroomverbruik meer dan verdubbelen, wat al te veel is voor de 14 dieselgeneratoren die Musk in juli aan de site heeft toegevoegd. ⚡ Hoewel dat minder is dan Musks belofte van 300.000 H200's in Colossus, zou dat deel kunnen uitmaken van Fase 3 van updates. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Tesla zal binnenkort de Dojo-supercomputer bouwen in Buffalo, New York, een project van $ 500 miljoen. 💸 Ondertussen voorspellen speculanten in de industrie, zoals Baidu-CEO Robin Li, dat de 99% van AI-bedrijven wel eens in elkaar zou kunnen storten wanneer de zeepbel barst. Het valt nog te bezien of Musks recorduitgaven aan AI averechts zullen uitpakken of juist rendabel zullen zijn. ⏳