I segreti di xAI Colossus: 100.000 GPU

Cosa c'è dentro un cluster da 100.000 GPU? 🤔

Patrick di ServeTheHome ci accompagna in un tour con la sua fotocamera attraverso diverse parti del server, offrendo una vista panoramica delle sue operazioni. Anche se alcuni dettagli Dettagli più specifici sul supercomputer, come il suo consumo energetico e la dimensione delle bombe, non possono essere rivelati a causa di un accordo di riservatezza, xAI si è occupata di offuscare e censurare parti del video prima della sua pubblicazione. 🎥

Nonostante questo, la cosa più importante, come i server GPU di Supermicro, è rimasto praticamente intatto per tutta la durata delle riprese. Questi server GPU sono Nvidia HGX H100, una potente soluzione server dotata di otto GPU H100 ciascuna. 🚀 La piattaforma HGX H100 è integrata nel sistema 4U Universal GPU Liquid Raffreddato da Supermicro, fornendo un raffreddamento a liquido facilmente sostituibile a caldo per ciascuna GPU. ❄️

Questi server sono organizzati in rack contenenti otto server ciascuno, per un totale di 64 GPU per fotogramma. I connettori 1U sono inseriti tra ogni HGX H100, garantendo il raffreddamento a liquido necessario per i server. Nella parte inferiore di ogni rack troviamo un'altra unità Supermicro 4U, questa volta dotata di un sistema di pompaggio ridondante e di un sistema di monitoraggio del rack. 🔍

🖥️ Questi rack sono organizzati in gruppi di otto, consentendo 512 GPU per matrice. Ogni server è dotato di quattro alimentatori ridondante. Sul retro degli scaffali di GPU, sono presenti alimentatori trifase, switch Ethernet e un collettore delle dimensioni di un rack che fornisce tutto il raffreddamento a liquido. 💧

Il cluster Colossus conta più di 1.500 rack. GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Poiché un supercluster di intelligenza artificiale che addestra costantemente i modelli richiede un'enorme larghezza di banda, xAI è andato oltre nella sua interconnettività di rosso. Ogni scheda grafica ha una NIC (network interface controller) da 400 GbE dedicata, con una NIC aggiuntiva da 400 Gb per server. 🔗 Ciò significa che ogni server HGX H100 dispone di 3,6 Terabit al secondo di Ethernet. Impressionante, non è vero? E sì, l'intero cluster funziona tramite Ethernet, anziché tramite InfiniBand o altre connessioni esotiche standard nel mondo del supercomputing. 🌐

Naturalmente, un supercomputer come il chatbot Grok 3, che addestra modelli di intelligenza artificiale, ha bisogno di più di un semplice GPU per funzionare al meglio. 🔥 Sebbene i dettagli sui server di archiviazione e CPU in Colossus siano piuttosto limitati, grazie al video di Patrick e al articolo del blog, sappiamo che questi server sono solitamente in chassis Supermicro. 🚀

All'interno vengono utilizzati server 1U NVMe-forward con CPU della piattaforma x86, che forniscono sia capacità di archiviazione che di elaborazione e sono dotati di raffreddamento a liquido nella parte posteriore. 💧 Inoltre, all'esterno si possono vedere banchi di batterie Tesla Megapack molto compatti. ⚡️

La funzione start-stop dell'array, con la sua latenza di millisecondi tra i banchi, era troppo per la rete elettrica convenzionale o per i generatori diesel di Musk. Per questo motivo vengono utilizzati diversi Tesla Megapack (ciascuno con una capacità di 3,9 MWh) come fonte di energia intermedia tra il rosso elettricità e supercomputer. 🖥️🔋 Ciò garantisce un funzionamento ottimale ed efficiente, evitando interruzioni. 🚦✨

🌟 L'utilizzo del supercomputer stabile di Colossus e Musk 🌟

Il supercomputer xAI Colossus è attualmente, secondo Nvidia, il più grande supercomputer AI al mondo. 🤯 Mentre molti dei supercomputer più importanti del mondo vengono utilizzati nella ricerca da appaltatori o accademici per studiare modelli meteorologici, malattie o altri compiti complessi, Colossus ha la responsabilità esclusiva dell'addestramento dei vari modelli di intelligenza artificiale di X (ex Twitter). Principalmente Grok 3, il chatbot "anti-woke" di Elon disponibile solo per gli abbonati X Premium. 🤖

Inoltre, ServeTheHome è stata informata che Colossus sta formando Modelli di intelligenza artificiale «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Questo aggiornamento Inoltre, raddoppierà il suo consumo energetico, che è già troppo per essere gestito dai 14 generatori diesel che Musk ha aggiunto al sito a luglio. ⚡ Sebbene sia inferiore alla promessa di Musk di 300.000 H200 all'interno di Colossus, ciò potrebbe far parte della fase 3 di aggiornamenti. 🔋

D'altra parte, anche il supercomputer Cortex da 50.000 GPU nello stabilimento "Giga Texas" di Tesla appartiene alla società Musk. Cortex si dedica alla formazione della tecnologia AI autonoma di Tesla attraverso lo streaming di telecamere e il rilevamento di immagini, nonché ai robot autonomi di Tesla e ad altri progetti di intelligenza artificiale. 🤖🚗

Inoltre, Tesla vedrà presto la costruzione del supercomputer Dojo a Buffalo, New York, un progetto da 500 milioni di dollari in arrivo. 💸 Nel frattempo, speculatori del settore come Robin Li, CEO di Baidu, prevedono che il 99% delle aziende di intelligenza artificiale potrebbero crollare quando la bolla scoppierà. Resta da vedere se la spesa record di Musk per l’intelligenza artificiale si ritorcerà contro o darà i suoi frutti. ⏳