Sekrety xAI Colossus: 100 000 procesorów graficznych

Co znajduje się w klastrze składającym się ze 100 000 procesorów graficznych? 🤔

Patrick z ServeTheHome zabiera nas na wycieczkę z kamerą po różnych częściach serwera, oferując panoramiczny widok na jego działanie. Chociaż niektóre bliższe dane Bardziej szczegółowe informacje na temat superkomputera, takie jak zużycie energii czy rozmiar bomb, nie mogły zostać ujawnione ze względu na umowę o zachowaniu poufności. Przed publikacją nagrania xAI zadbało o zamazanie i ocenzurowanie fragmentów nagrania. 🎥

Mimo to najważniejsze, bo serwery Procesor graficzny od Supermicro, pozostały praktycznie nienaruszone w materiale filmowym. Te serwery GPU są Nvidia HGX H100, wydajne rozwiązanie serwerowe wyposażone w osiem procesorów graficznych H100 w każdym. Platforma HGX H100 jest zintegrowana z uniwersalnym systemem GPU Liquid 4U Schłodzony od Supermicro, zapewniające łatwe w wymianie chłodzenie cieczą dla każdego procesora graficznego. ❄️

Serwery te są zorganizowane w szafach, w których znajduje się po osiem serwerów, co daje łącznie 64 Procesor graficzny na klatkę. Kolektory 1U umieszczone są pomiędzy poszczególnymi jednostkami HGX H100, co zapewnia serwerom niezbędne chłodzenie cieczą. Na dole każdej szafy znajdziemy kolejną jednostkę Supermicro 4U, tym razem wyposażoną w redundantny system pomp i system monitorowania szafy. 🔍

🖥️ Te stojaki są zorganizowane w grupach po osiem, co pozwala na przechowywanie 512 sztuk Procesor graficzny przez macierz. Każdy serwer wyposażony jest w cztery Zasilacze zbędny. Z tyłu regałów Procesor graficzny, znajdują się tam zasilacze trójfazowe, przełączniki Ethernet oraz kolektor wielkości szafy, który zapewnia chłodzenie cieczą. 💧

W gromadzie Colossus znajduje się ponad 1500 stojaków Procesor graficzny, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Ponieważ superklastry AI stale trenujące modele wymagają dużej przepustowości, xAI posunęło się dalej w kwestii wzajemnych połączeń czerwony. Każda karta graficzna ma dedykowaną kartę sieciową 400GbE (kontroler interfejsu sieciowego), a na każdy serwer przypada dodatkowa karta sieciowa 400Gb. 🔗 Oznacza to, że każdy serwer HGX H100 dysponuje 3,6 Terabita na sekundę sieci Ethernet. Robi wrażenie, prawda? I tak, cały klaster działa w oparciu o sieć Ethernet, a nie InfiniBand czy inne egzotyczne połączenia, które są standardem w świecie superkomputerów. 🌐

Oczywiście superkomputer taki jak chatbot Grok 3, który szkoli modele sztucznej inteligencji, potrzebuje czegoś więcej niż tylko Procesor graficzny aby działać jak najlepiej. 🔥 Chociaż szczegóły dotyczące serwerów pamięci masowej i procesorów w Colossus są nieco ograniczone, dzięki filmowi Patricka i wpis na bloguWiemy, że te serwery zwykle znajdują się w obudowach Supermicro. 🚀

Se utilizan servidores NVMe-forward 1U con CPUs de plataforma x86 en su interior, proporcionando tanto almacenamiento como capacidad de computación, y están equipados con refrigeración líquida por la parte trasera. 💧 Además, afuera se pueden ver bancos de baterías Tesla Megapack muy compactos. ⚡️

Charakterystyka rozruchu i zatrzymania macierzy, z milisekundowym opóźnieniem między bankami, była zbyt duża dla konwencjonalnej sieci energetycznej lub generatorów diesla Muska. Dlatego też jako pośrednie źródło energii pomiędzy akumulatorami Tesla Megapack (każdy o pojemności 3,9 MWh) stosuje się kilka akumulatorów Tesla Megapack (każdy o pojemności 3,9 MWh). czerwony elektryczne i superkomputer. 🖥️🔋 Zapewnia to optymalną i wydajną pracę bez przerw. 🚦✨

🌟 Wykorzystanie Colossusa i stabilnego superkomputera Muska 🌟

Superkomputer xAI Colossus jest obecnie, według firmy Nvidia, największym superkomputerem AI na świecie. 🤯 Podczas gdy wiele najnowocześniejszych superkomputerów na świecie jest wykorzystywanych przez wykonawców i naukowców do badań nad wzorcami pogody, chorobami lub innych skomplikowanych zadań, Colossus jest jedynym systemem odpowiedzialnym za szkolenie różnych modeli sztucznej inteligencji firmy X (dawniej Twitter). Głównie Grok 3, „anty-wybudzony” chatbot Elona, dostępny wyłącznie dla abonentów X Premium. 🤖

Ponadto ServeTheHome otrzymało informację, że Colossus prowadzi szkolenia Modele sztucznej inteligencji «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Ten aktualizacja Ponadto zużycie energii wzrośnie ponad dwukrotnie, co i tak jest zbyt dużym obciążeniem dla 14 generatorów diesla, które Musk zainstalował w zakładzie w lipcu. ⚡ Choć nie spełnia obietnicy Muska dotyczącej 300 000 H200 w Colossus, może to być część fazy 3 Aktualizacje. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Ponadto Tesla wkrótce rozpocznie budowę superkomputera Dojo w Buffalo w stanie Nowy Jork. Będzie to projekt wart 500 milionów dolarów. 💸 Tymczasem spekulanci branżowi, tacy jak prezes Baidu Robin Li, przewidują, że 99% firm zajmujących się sztuczną inteligencją może upaść, gdy bańka pęknie. Pozostaje pytanie, czy rekordowe wydatki Muska na sztuczną inteligencję okażą się nietrafione czy się opłacą. ⏳