Was steckt in einem Cluster mit 100.000 GPUs? 🤔

Patrick von ServeTheHome nimmt uns mit seiner Kamera mit auf einen Rundgang durch verschiedene Teile des Servers und bietet einen Panoramablick auf seinen Betrieb. Obwohl einige spezifischere Details des Supercomputers, wie sein Stromverbrauch und die Größe der Bomben, aufgrund einer Vertraulichkeitsvereinbarung nicht preisgegeben werden konnten, kümmerte sich xAI vor der Veröffentlichung um die Unkenntlichmachung und Zensur von Teilen des Videos. 🎥

A pesar de esto, lo más importante, como los servidores GPU de Supermicro, se mantuvo prácticamente intacto en el metraje. Estos servidores GPU son Nvidia HGX H100, una potente solución de servidor que cuenta con ocho GPU H100 cada una. 🚀 La plataforma HGX H100 está integrada dentro del sistema 4U Universal GPU Liquid Gekühlt von Supermicro und bietet eine einfach im laufenden Betrieb austauschbare Flüssigkeitskühlung für jede GPU. ❄️

Diese Server sind in Racks mit jeweils acht Servern organisiert, also insgesamt 64 GPUs pro Rack. Zwischen jedem HGX H100 sind 1U-Kollektoren angeordnet, die für die erforderliche Flüssigkeitskühlung der Server sorgen. Unten in jedem Rack finden wir eine weitere 4U-Supermicro-Einheit, dieses Mal ausgestattet mit einem redundanten Pumpensystem und einem Rack-Überwachungssystem. 🔍

🖥️ Diese Racks sind in Achtergruppen organisiert, sodass 512 GPUs pro Chip Platz finden. Jeder Server ist mit vier redundanten Netzteilen ausgestattet. Auf der Rückseite der GPU-Racks befinden sich dreiphasige Netzteile, Ethernet-Switches und ein Verteiler in Rackgröße, der für die gesamte Flüssigkeitskühlung sorgt. 💧

En el clúster Colossus hay más de 1500 bastidores de GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Da ein KI-Supercluster, der ständig Modelle trainiert, eine hohe Bandbreite benötigt, ging xAI bei der Netzwerkkonnektivität noch einen Schritt weiter. Jede Grafikkarte Es verfügt über eine dedizierte 400-GbE-NIC (Netzwerkschnittstellen-Controller) mit einer zusätzlichen 400-Gb-NIC pro Server. 🔗 Das bedeutet, dass jeder HGX H100-Server über 3,6 Terabit pro Sekunde Ethernet verfügt. Beeindruckend, oder? Und ja, der gesamte Cluster läuft über Ethernet und nicht über InfiniBand oder andere exotische Verbindungen, die im Supercomputing-Bereich Standard sind. 🌐

Natürlich braucht ein Supercomputer wie der Chatbot Grok 3, der KI-Modelle trainiert, mehr als nur die GPU, um seine beste Leistung zu erbringen. 🔥 Obwohl die Details zu Speicher- und CPU-Servern auf Colossus etwas begrenzt sind, dank Patricks Video und dem BlogbeitragWir wissen, dass sich diese Server normalerweise in Supermicro-Gehäusen befinden. 🚀

Im Inneren kommen 1U-NVMe-Forward-Server mit x86-Plattform-CPUs zum Einsatz, die sowohl Speicher als auch Kapazität bereitstellen. Rechnenund sind auf der Rückseite mit einer Flüssigkeitskühlung ausgestattet. 💧 Darüber hinaus kann man draußen Ufer sehen Batterien Sehr kompaktes Tesla Megapack. ⚡️

Die Start-Stopp-Funktion des Arrays mit seiner Latenzzeit von Millisekunden zwischen den Bänken war zu viel für das herkömmliche Stromnetz oder die Dieselgeneratoren von Musk. Aus diesem Grund werden mehrere Tesla-Megapacks (jeweils mit einer Kapazität von 3,9 MWh) als Zwischenenergieträger eingesetzt Netz Elektrizität und der Supercomputer. 🖥️🔋 Dadurch wird ein optimaler und effizienter Betrieb gewährleistet und Unterbrechungen vermieden. 🚦✨

🌟 Der Einsatz des stabilen Supercomputers von Colossus und Musk 🌟

Der Supercomputer xAI Colossus ist laut Nvidia derzeit der größte KI-Supercomputer der Welt. 🤯 Während viele der weltweit führenden Supercomputer von Auftragnehmern oder Wissenschaftlern in der Forschung eingesetzt werden, um Wettermuster, Krankheiten oder andere komplexe Aufgaben zu untersuchen, trägt Colossus die alleinige Verantwortung für das Training der verschiedenen KI-Modelle von X (ehemals Twitter). Hauptsächlich Grok 3, Elons „Anti-Woke“-Chatbot, der nur für X Premium-Abonnenten verfügbar ist. 🤖

Además, se informó a ServeTheHome que Colossus está entrenando modelos de IA “del futuro”; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se wird aktualisiert seine GPU-Kapazität zu verdoppeln, mit zusätzlichen 50.000 H100-GPUs und 50.000 H200-GPUs der nächsten Generation. 🔥

Das aktualisieren Außerdem wird sich der Energieverbrauch mehr als verdoppeln, was für die 14 Dieselgeneratoren, die Musk im Juli am Standort hinzugefügt hat, bereits zu viel ist. ⚡ Obwohl es unter Musks Versprechen von 300.000 H200 in Colossus liegt, könnte dies Teil der Phase 3 der Updates sein. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla “Giga Texas” también pertenece a una empresa de Musk. Cortex se dedica a entrenar la Technologie Teslas autonome KI-Technologie durch Kamera-Streaming und Bilderkennung sowie Teslas autonome Roboter und andere KI-Projekte. 🤖🚗

Darüber hinaus wird Tesla bald den Bau des Dojo-Supercomputers in Buffalo, New York, erleben, ein 500-Millionen-Dollar-Projekt, das in Kürze ansteht. 💸 Unterdessen sagen Branchenspekulanten wie Baidu-CEO Robin Li voraus, dass 99 % der KI-Unternehmen zusammenbrechen könnten, wenn die Blase platzt. Es bleibt abzuwarten, ob Musks Rekordausgaben für KI nach hinten losgehen oder sich auszahlen. ⏳