Die Geheimnisse von xAI Colossus: 100.000 GPUs

Was steckt in einem Cluster mit 100.000 GPUs? 🤔

Patrick von ServeTheHome nimmt uns mit seiner Kamera mit auf einen Rundgang durch verschiedene Teile des Servers und bietet einen Panoramablick auf seinen Betrieb. Obwohl einige Details Genauere Informationen zum Supercomputer, wie etwa sein Stromverbrauch und die Größe der Bomben, konnten aufgrund einer Vertraulichkeitsvereinbarung nicht preisgegeben werden, xAI kümmerte sich vor der Veröffentlichung um die Unkenntlichmachung und Zensur von Teilen des Videos. 🎥

Trotzdem ist das Wichtigste, wie die Server GPU von Supermicro, blieb im gesamten Filmmaterial praktisch intakt. Diese GPU-Server sind Nvidia HGX H100, eine leistungsstarke Serverlösung mit jeweils acht H100-GPUs. 🚀 Die HGX H100-Plattform ist in das 4U Universal GPU Liquid-System integriert Gekühlt von Supermicro und bietet eine einfach im laufenden Betrieb austauschbare Flüssigkeitskühlung für jede GPU. ❄️

Diese Server sind in Racks mit jeweils acht Servern organisiert, insgesamt also 64 GPU nach Rahmen. Zwischen jedem HGX H100 sind 1U-Header eingefügt, die die notwendige Flüssigkeitskühlung für die Server bereitstellen. Am Boden jedes Racks finden wir eine weitere Supermicro 4U-Einheit, diesmal ausgestattet mit einem redundanten Pumpensystem und einem Rack-Überwachungssystem. 🔍

🖥️ Diese Racks sind in Gruppen von acht angeordnet, so dass 512 GPU nach Matrix. Jeder Server ist ausgestattet mit vier Stromversorgungen überflüssig. Auf der Rückseite der Gestelle von GPU, es gibt dreiphasige Stromversorgungen, Ethernet-Switches und einen Verteiler in Rack-Größe, der die gesamte Flüssigkeitskühlung bereitstellt. 💧

Es gibt mehr als 1.500 Racks im Colossus-Cluster. GPU, verteilt auf etwa 200 Racks. Laut Jensen Huang, CEO von Nvidia, wurden die GPUs dieser 200 Matrizen in nur drei Wochen vollständig installiert. 🚀

Da ein KI-Supercluster, der ständig Modelle trainiert, eine enorme Bandbreite erfordert, ging xAI bei der Vernetzung von Rot. Jede Grafikkarte verfügt über eine dedizierte 400-GbE-NIC (Network Interface Controller) und pro Server über eine zusätzliche 400-Gb-NIC. 🔗 Das bedeutet, dass jeder HGX H100-Server über 3,6 Terabit pro Sekunde Ethernet verfügt. Beeindruckend, nicht wahr? Und ja, der gesamte Cluster läuft über Ethernet und nicht über InfiniBand oder andere exotische Verbindungen, die in der Supercomputing-Welt Standard sind. 🌐

Natürlich braucht ein Supercomputer wie der Chatbot Grok 3, der KI-Modelle trainiert, mehr als nur GPU um optimal zu funktionieren. 🔥 Während die Details zu Speicher- und CPU-Servern in Colossus etwas begrenzt sind, dank Patricks Video und der BlogbeitragWir wissen, dass sich diese Server normalerweise in Supermicro-Gehäusen befinden. 🚀

Im Inneren kommen 1U-NVMe-Forward-Server mit x86-Plattform-CPUs zum Einsatz, die sowohl Speicher- als auch Rechenkapazität bieten und auf der Rückseite mit einer Flüssigkeitskühlung ausgestattet sind. 💧 Darüber hinaus sind von außen sehr kompakte Tesla Megapack-Batteriebänke zu sehen. ⚡️

Die Start-Stopp-Funktion des Arrays mit seiner Latenzzeit von Millisekunden zwischen den Bänken war zu viel für das herkömmliche Stromnetz oder die Dieselgeneratoren von Musk. Aus diesem Grund werden mehrere Tesla-Megapacks (jeweils mit einer Kapazität von 3,9 MWh) als Zwischenenergieträger eingesetzt Rot Elektrizität und der Supercomputer. 🖥️🔋 Dadurch wird ein optimaler und effizienter Betrieb gewährleistet und Unterbrechungen vermieden. 🚦✨

🌟 Der Einsatz des stabilen Supercomputers von Colossus und Musk 🌟

Der Supercomputer xAI Colossus ist laut Nvidia derzeit der größte KI-Supercomputer der Welt. 🤯 Während viele der weltweit führenden Supercomputer von Auftragnehmern oder Wissenschaftlern in der Forschung eingesetzt werden, um Wettermuster, Krankheiten oder andere komplexe Aufgaben zu untersuchen, trägt Colossus die alleinige Verantwortung für das Training der verschiedenen KI-Modelle von X (ehemals Twitter). Hauptsächlich Grok 3, Elons „Anti-Woke“-Chatbot, der nur für X Premium-Abonnenten verfügbar ist. 🤖

Darüber hinaus wurde ServeTheHome darüber informiert, dass Colossus trainiert KI-Modelle «der Zukunft»; Modelle, deren Einsatzmöglichkeiten und Fähigkeiten angeblich über die aktuellen Fähigkeiten der KI hinausgehen. 🚀 Die erste Bauphase von Colossus ist abgeschlossen und der Cluster ist voll betriebsbereit, aber noch nicht alles fertig. Der Supercomputer in Memphis wird bald aktualisiert, um seine GPU-Kapazität zu verdoppeln, mit zusätzlichen 50.000 H100-GPUs und 50.000 H200-GPUs der nächsten Generation. 🔥

Das aktualisieren Außerdem wird sich der Energieverbrauch mehr als verdoppeln, was für die 14 Dieselgeneratoren, die Musk im Juli am Standort hinzugefügt hat, bereits zu viel ist. ⚡ Obwohl es unter Musks Versprechen von 300.000 H200 innerhalb von Colossus liegt, könnte dies Teil von Phase 3 sein Aktualisierungen. 🔋

Andererseits gehört auch der 50.000-GPU-Cortex-Supercomputer in Teslas „Giga Texas“-Werk einem Musk-Unternehmen. Cortex widmet sich dem Training der autonomen KI-Technologie von Tesla durch Kamera-Streaming und Bilderkennung sowie der autonomen Roboter von Tesla und anderen KI-Projekten. 🤖🚗

Darüber hinaus wird Tesla bald den Bau des Dojo-Supercomputers in Buffalo, New York, erleben, ein 500-Millionen-Dollar-Projekt, das in Kürze ansteht. 💸 Unterdessen sagen Branchenspekulanten wie Baidu-CEO Robin Li voraus, dass 99 % der KI-Unternehmen zusammenbrechen könnten, wenn die Blase platzt. Es bleibt abzuwarten, ob Musks Rekordausgaben für KI nach hinten losgehen oder sich auszahlen. ⏳