Les secrets de xAI Colossus : 100 000 GPU

Que contient un cluster de 100 000 GPU ? 🤔

Patrick de ServeTheHome nous fait visiter avec sa caméra différentes parties du serveur, offrant une vue panoramique de ses opérations. Bien que certains détails Des informations plus spécifiques au supercalculateur, comme sa consommation électrique et la taille des bombes, n'ont pas pu être révélées en raison d'un accord de confidentialité, xAI s'est chargé de flouter et de censurer certaines parties de la vidéo avant sa diffusion. 🎥

Malgré cela, la chose la plus importante, comme les serveurs GPU de Supermicro, est resté pratiquement intact tout au long du métrage. Ces serveurs GPU sont Nvidia HGX H100, une solution serveur puissante dotée de huit GPU H100 chacun. 🚀 La plateforme HGX H100 est intégrée au système 4U Universal GPU Liquid Refroidi de Supermicro, fournissant un refroidissement liquide facilement remplaçable à chaud pour chaque GPU. ❄️

Ces serveurs sont organisés en racks contenant huit serveurs chacun, soit un total de 64 GPU par cadre. Les embases 1U sont placées entre chaque HGX H100, fournissant le refroidissement liquide nécessaire aux serveurs. Au bas de chaque rack, nous retrouvons une autre unité Supermicro 4U, cette fois équipée d'un système de pompage redondant et d'un système de surveillance du rack. 🔍

🖥️ Ces racks sont organisés en groupes de huit, permettant de stocker 512 GPU par matrice. Chaque serveur est équipé de quatre alimentations électriques redondant. À l'arrière des racks de GPU, il y a des alimentations triphasées, des commutateurs Ethernet et un collecteur de la taille d'un rack qui fournit tout le refroidissement liquide. 💧

Il y a plus de 1 500 racks dans le cluster Colossus. GPU, répartis en environ 200 jeux de cadres. Selon Jensen Huang, PDG de Nvidia, les GPU de ces 200 puces ont été entièrement installés en seulement trois semaines. 🚀

Étant donné qu'un supercluster d'IA entraînant constamment des modèles nécessite une bande passante énorme, xAI est allé plus loin dans son interconnectivité de grille. Chaque carte graphique dispose d'une carte réseau (contrôleur d'interface réseau) 400 GbE dédiée, avec une carte réseau supplémentaire de 400 Gb par serveur. 🔗 Cela signifie que chaque serveur HGX H100 dispose de 3,6 térabits par seconde d'Ethernet. Impressionnant, n'est-ce pas ? Et oui, l’ensemble du cluster fonctionne sur Ethernet, plutôt que sur InfiniBand ou d’autres connexions exotiques qui sont la norme dans le monde du supercalcul. 🌐

Bien sûr, un supercalculateur comme le chatbot Grok 3, qui entraîne des modèles d'IA, a besoin de plus que de simples GPU pour fonctionner au mieux. 🔥 Bien que les détails sur les serveurs de stockage et de processeur dans Colossus soient quelque peu limités, grâce à la vidéo de Patrick et à la article de blog, on sait que ces serveurs sont généralement dans des châssis Supermicro. 🚀

Des serveurs NVMe-forward 1U avec des processeurs de plate-forme x86 sont utilisés à l'intérieur, fournissant à la fois stockage et capacité. informatique, et sont équipés d'un refroidissement liquide à l'arrière. 💧 De plus, à l'extérieur, vous pouvez voir des berges de piles Tesla Megapack très compact. ⚡️

La fonction start-stop du réseau, avec sa latence d'une milliseconde entre les banques, était trop lourde pour le réseau électrique conventionnel ou les générateurs diesel de Musk. Pour cette raison, plusieurs Tesla Megapacks (chacun d'une capacité de 3,9 MWh) sont utilisés comme source d'énergie intermédiaire entre le grille l'électricité et le supercalculateur. 🖥️🔋 Cela garantit un fonctionnement optimal et efficace, en évitant les interruptions. 🚦✨

🌟 L'utilisation du supercalculateur stable de Colossus et Musk 🌟

Le supercalculateur xAI Colossus est actuellement, selon Nvidia, le plus grand supercalculateur d'IA au monde. 🤯 Alors que bon nombre des meilleurs superordinateurs du monde sont utilisés dans la recherche par des entrepreneurs ou des universitaires pour étudier les conditions météorologiques, les maladies ou d'autres tâches complexes, Colossus est seul responsable de la formation des différents modèles d'IA de X (anciennement Twitter). Principalement Grok 3, le chatbot "anti-réveil" d'Elon disponible uniquement pour les abonnés X Premium. 🤖

De plus, ServeTheHome a été informé que Colossus forme Modèles d'IA «du futur»; des modèles dont les usages et les capacités sont censés dépasser les capacités actuelles de l’IA. 🚀 La première phase de construction du Colossus est terminée et le cluster est pleinement opérationnel, mais tout n'est pas encore terminé. Le supercalculateur de Memphis sera bientôt disponible mettra à jour pour doubler sa capacité GPU, avec 50 000 GPU H100 supplémentaires et 50 000 GPU H200 de nouvelle génération. 🔥

Ce mise à jour Cela fera également plus que doubler sa consommation d’énergie, ce qui est déjà trop élevé pour les 14 générateurs diesel que Musk a ajoutés au site en juillet. ⚡ Bien que ce soit en deçà de la promesse de Musk de 300 000 H200 au sein de Colossus, cela pourrait faire partie de la phase 3 de mises à jour. 🔋

D’un autre côté, le supercalculateur Cortex de 50 000 GPU de l’usine « Giga Texas » de Tesla appartient également à une société Musk. Cortex est dédié à la formation des technologie La technologie d'IA autonome de Tesla grâce au streaming de caméras et à la détection d'images, ainsi que les robots autonomes de Tesla et d'autres projets d'IA. 🤖🚗

De plus, Tesla verra bientôt la construction du supercalculateur Dojo à Buffalo, New York, un projet de 500 millions de dollars à venir. 💸 Pendant ce temps, les spéculateurs de l’industrie comme Robin Li, PDG de Baidu, prédisent que 99 % des entreprises d’IA pourraient s’effondrer lorsque la bulle éclatera. Il reste à voir si les dépenses record d’Elon Musk en matière d’IA se retourneront contre lui ou seront payantes. ⏳