I segreti di xAI Colossus: 100.000 GPU

Cosa c'è dentro un cluster da 100.000 GPU? 🤔

Patrick di ServeTheHome ci accompagna in un tour con la sua fotocamera attraverso diverse parti del server, offrendo una vista panoramica delle sue operazioni. Anche se alcuni dettagli Dettagli più specifici sul supercomputer, come il suo consumo energetico e la dimensione delle bombe, non possono essere rivelati a causa di un accordo di riservatezza, xAI si è occupata di offuscare e censurare parti del video prima della sua pubblicazione. 🎥

Nonostante questo, la cosa più importante, come i server GPU di Supermicro, è rimasto praticamente intatto per tutta la durata delle riprese. Questi server GPU sono Nvidia HGX H100, una potente soluzione server dotata di otto GPU H100 ciascuna. 🚀 La piattaforma HGX H100 è integrata nel sistema 4U Universal GPU Liquid Raffreddato da Supermicro, fornendo un raffreddamento a liquido facilmente sostituibile a caldo per ciascuna GPU. ❄️

Questi server sono organizzati in rack contenenti otto server ciascuno, per un totale di 64 GPU per fotogramma. I connettori 1U sono inseriti tra ogni HGX H100, garantendo il raffreddamento a liquido necessario per i server. Nella parte inferiore di ogni rack troviamo un'altra unità Supermicro 4U, questa volta dotata di un sistema di pompaggio ridondante e di un sistema di monitoraggio del rack. 🔍

🖥️ Questi rack sono organizzati in gruppi di otto, consentendo 512 GPU per matrice. Ogni server è dotato di quattro alimentatori ridondante. Sul retro degli scaffali di GPU, sono presenti alimentatori trifase, switch Ethernet e un collettore delle dimensioni di un rack che fornisce tutto il raffreddamento a liquido. 💧

Il cluster Colossus conta più di 1.500 rack. GPU, distribuiti in circa 200 set di cornici. Secondo Jensen Huang, CEO di Nvidia, le GPU su questi 200 die sono state installate completamente in sole tre settimane. 🚀

Poiché un supercluster di intelligenza artificiale che addestra costantemente i modelli richiede un'enorme larghezza di banda, xAI è andato oltre nella sua interconnettività di griglia. Ogni scheda grafica ha una NIC (network interface controller) da 400 GbE dedicata, con una NIC aggiuntiva da 400 Gb per server. 🔗 Ciò significa che ogni server HGX H100 dispone di 3,6 Terabit al secondo di Ethernet. Impressionante, non è vero? E sì, l'intero cluster funziona tramite Ethernet, anziché tramite InfiniBand o altre connessioni esotiche standard nel mondo del supercomputing. 🌐

Naturalmente, un supercomputer come il chatbot Grok 3, che addestra modelli di intelligenza artificiale, ha bisogno di più di un semplice GPU per funzionare al meglio. 🔥 Sebbene i dettagli sui server di archiviazione e CPU in Colossus siano piuttosto limitati, grazie al video di Patrick e al articolo del blog, sappiamo che questi server sono solitamente in chassis Supermicro. 🚀

All'interno vengono utilizzati server 1U NVMe-forward con CPU della piattaforma x86, che forniscono sia spazio di archiviazione che capacità. informatica, e sono dotati di raffreddamento a liquido nella parte posteriore. 💧 Inoltre, all'esterno si possono vedere sponde di batterie Tesla Megapack molto compatto. ⚡️

La funzione start-stop dell'array, con la sua latenza di millisecondi tra i banchi, era troppo per la rete elettrica convenzionale o per i generatori diesel di Musk. Per questo motivo vengono utilizzati diversi Tesla Megapack (ciascuno con una capacità di 3,9 MWh) come fonte di energia intermedia tra il griglia elettricità e supercomputer. 🖥️🔋 Ciò garantisce un funzionamento ottimale ed efficiente, evitando interruzioni. 🚦✨

🌟 L'utilizzo del supercomputer stabile di Colossus e Musk 🌟

Il supercomputer xAI Colossus è attualmente, secondo Nvidia, il più grande supercomputer AI al mondo. 🤯 Mentre molti dei supercomputer più importanti del mondo vengono utilizzati nella ricerca da appaltatori o accademici per studiare modelli meteorologici, malattie o altri compiti complessi, Colossus ha la responsabilità esclusiva dell'addestramento dei vari modelli di intelligenza artificiale di X (ex Twitter). Principalmente Grok 3, il chatbot "anti-woke" di Elon disponibile solo per gli abbonati X Premium. 🤖

Inoltre, ServeTheHome è stata informata che Colossus sta formando Modelli di intelligenza artificiale «del futuro»; modelli i cui utilizzi e capacità vanno presumibilmente oltre le attuali possibilità dell'intelligenza artificiale. 🚀 La prima fase di costruzione di Colossus è completata e il cluster è pienamente operativo, ma non è ancora tutto finito. Il supercomputer di Memphis sarà presto disponibile aggiornerà raddoppiare la propria capacità GPU, con ulteriori 50.000 GPU H100 e 50.000 GPU H200 di nuova generazione. 🔥

Questo aggiornamento Inoltre, raddoppierà il suo consumo energetico, che è già troppo per essere gestito dai 14 generatori diesel che Musk ha aggiunto al sito a luglio. ⚡ Sebbene sia inferiore alla promessa di Musk di 300.000 H200 all'interno di Colossus, ciò potrebbe far parte della fase 3 di aggiornamenti. 🔋

D'altro canto, anche il supercomputer Cortex da 50.000 GPU dello stabilimento Tesla "Giga Texas" appartiene alla società Musk. Cortex si dedica alla formazione del tecnologia La tecnologia AI autonoma di Tesla attraverso lo streaming di telecamere e il rilevamento di immagini, nonché i robot autonomi di Tesla e altri progetti di intelligenza artificiale. 🤖🚗

Inoltre, Tesla vedrà presto la costruzione del supercomputer Dojo a Buffalo, New York, un progetto da 500 milioni di dollari in arrivo. 💸 Nel frattempo, speculatori del settore come Robin Li, CEO di Baidu, prevedono che il 99% delle aziende di intelligenza artificiale potrebbero crollare quando la bolla scoppierà. Resta da vedere se la spesa record di Musk per l’intelligenza artificiale si ritorcerà contro o darà i suoi frutti. ⏳