De geheimen van xAI Colossus: 100.000 GPU's

Wat zit er in een cluster van 100.000 GPU's? 🤔

Patrick van ServeTheHome neemt ons mee op een rondleiding met zijn camera door verschillende onderdelen van de server en biedt een panoramisch beeld van de werking ervan. Hoewel sommige details Meer specifieke details over de supercomputer, zoals het stroomverbruik en de omvang van de bommen, konden vanwege een geheimhoudingsovereenkomst niet worden vrijgegeven. xAI zorgde ervoor dat delen van de video werden vervaagd en gecensureerd voordat deze werd uitgebracht. 🎥

Ondanks dit is het allerbelangrijkste, zoals de servers GPU van Supermicro, bleven vrijwel onaangeroerd in de beelden. Deze GPU-servers zijn Nvidia HGX H100, een krachtige serveroplossing met elk acht H100 GPU's. 🚀 Het HGX H100-platform is geïntegreerd in het 4U Universal GPU Liquid-systeem. Gekoeld van Supermicro, dat eenvoudig hot-swappable vloeistofkoeling voor elke GPU biedt. ❄️

Deze servers zijn georganiseerd in rekken met elk acht servers, in totaal 64 GPU Per rack. Tussen elke HGX H100 zijn 1U-collectoren geplaatst, die de servers van de nodige vloeistofkoeling voorzien. Onderin elk rack vinden we nog een 4U Supermicro-unit, ditmaal uitgerust met een redundant pompsysteem en een rackbewakingssysteem. 🔍

🖥️ Deze rekken zijn georganiseerd in groepen van acht, waardoor er ruimte is voor 512 GPU per array. Elke server is uitgerust met vier voedingen redundant. Aan de achterkant van de rekken van GPU, er zijn driefasenvoedingen, ethernetswitches en een rack-formaat collector die voor alle vloeistofkoeling zorgt. 💧

Er zijn meer dan 1500 rekken in de Colossus-cluster GPU, verdeeld over ongeveer 200 framesets. Volgens Jensen Huang, CEO van NvidiaDe GPU's voor deze 200 arrays waren in slechts drie weken volledig geïnstalleerd. 🚀

Omdat een AI-supercluster die voortdurend modellen traint veel bandbreedte nodig heeft, is xAI verder gegaan in de onderlinge verbondenheid van roosterElke grafische kaart heeft een eigen 400GbE NIC (Network Interface Controller), met een extra 400Gb NIC per server. 🔗 Dit betekent dat elke HGX H100-server 3,6 terabit per seconde Ethernet heeft. Indrukwekkend, toch? En ja, het hele cluster draait op Ethernet, in plaats van InfiniBand of andere exotische verbindingen die standaard zijn in de supercomputerwereld. 🌐

Natuurlijk heeft een supercomputer als de Grok 3 chatbot, die AI-modellen traint, meer nodig dan alleen GPU om optimaal te draaien. 🔥 Hoewel de details over de opslag- en CPU-servers in Colossus enigszins beperkt zijn, dankzij Patrick's video en de blogberichtWe weten dat deze servers doorgaans in Supermicro-behuizingen zijn gebouwd. 🚀

Er wordt gebruikgemaakt van NVMe-forward 1U-servers met x86-platform-CPU's, die zowel opslag- als verwerkingscapaciteit bieden. computergebruik, en zijn aan de achterzijde voorzien van vloeistofkoeling. 💧 Daarnaast zie je aan de buitenkant banken van batterijen Zeer compacte Tesla Megapacks. ⚡️

De start-stopkarakteristieken van de array, met hun milliseconde-latentie tussen de banken, waren te veel voor het conventionele elektriciteitsnet of Musks dieselgeneratoren. Daarom worden meerdere Tesla Megapacks (elk met een capaciteit van 3,9 MWh) gebruikt als tussenliggende stroombron tussen de rooster elektrisch en de supercomputer. 🖥️🔋 Dit zorgt voor een optimale en efficiënte werking, waardoor onderbrekingen worden vermeden. 🚦✨

🌟 Het gebruik van Colossus en Musk's stabiele supercomputer 🌟

De xAI-supercomputer Colossus is volgens Nvidia momenteel de grootste AI-supercomputer ter wereld. 🤯 Hoewel veel van 's werelds toonaangevende supercomputers worden gebruikt voor onderzoek door aannemers of academici om weerpatronen, ziektes of andere complexe taken te bestuderen, is Colossus als enige verantwoordelijk voor het trainen van de verschillende AI-modellen van X (voorheen Twitter). Met name Grok 3, Elons "anti-woke" chatbot die alleen beschikbaar is voor X Premium-abonnees. 🤖

Daarnaast werd ServeTheHome geïnformeerd dat Colossus aan het trainen is AI-modellen "van de toekomst"; modellen waarvan de toepassingen en mogelijkheden de huidige mogelijkheden van AI naar verluidt te boven gaan. 🚀 De eerste bouwfase van Colossus is voltooid en het cluster is volledig operationeel, maar het is nog niet helemaal af. De Memphis-supercomputer zal binnenkort zal updaten om de GPU-capaciteit te verdubbelen, met 50.000 extra H100 GPU's en 50.000 volgende-generatie H200 GPU's. 🔥

Dit update Het zal ook het stroomverbruik meer dan verdubbelen, wat al te veel is voor de 14 dieselgeneratoren die Musk in juli aan de site heeft toegevoegd. ⚡ Hoewel dat minder is dan Musks belofte van 300.000 H200's in Colossus, zou dat deel kunnen uitmaken van Fase 3 van updates. 🔋

Aan de andere kant is de Cortex-supercomputer met 50.000 GPU's in Tesla's "Giga Texas"-fabriek ook eigendom van een bedrijf van Musk. Cortex is toegewijd aan het trainen van de technologie Tesla's autonome AI via camerastreaming en beelddetectie, evenals Tesla's autonome robots en andere AI-projecten. 🤖🚗

Tesla zal binnenkort de Dojo-supercomputer bouwen in Buffalo, New York, een project van $ 500 miljoen. 💸 Ondertussen voorspellen speculanten in de industrie, zoals Baidu-CEO Robin Li, dat de 99% van AI-bedrijven wel eens in elkaar zou kunnen storten wanneer de zeepbel barst. Het valt nog te bezien of Musks recorduitgaven aan AI averechts zullen uitpakken of juist rendabel zullen zijn. ⏳