Sekrety xAI Colossus: 100 000 procesorów graficznych

Co znajduje się w klastrze składającym się ze 100 000 procesorów graficznych? 🤔

Patrick z ServeTheHome zabiera nas na wycieczkę z kamerą po różnych częściach serwera, oferując panoramiczny widok na jego działanie. Chociaż niektóre bliższe dane Bardziej szczegółowe informacje na temat superkomputera, takie jak zużycie energii czy rozmiar bomb, nie mogły zostać ujawnione ze względu na umowę o zachowaniu poufności. Przed publikacją nagrania xAI zadbało o zamazanie i ocenzurowanie fragmentów nagrania. 🎥

Mimo to najważniejsze, bo serwery Procesor graficzny od Supermicro, pozostały praktycznie nienaruszone w materiale filmowym. Te serwery GPU są Nvidia HGX H100, wydajne rozwiązanie serwerowe wyposażone w osiem procesorów graficznych H100 w każdym. Platforma HGX H100 jest zintegrowana z uniwersalnym systemem GPU Liquid 4U Schłodzony od Supermicro, zapewniające łatwe w wymianie chłodzenie cieczą dla każdego procesora graficznego. ❄️

Serwery te są zorganizowane w szafach, w których znajduje się po osiem serwerów, co daje łącznie 64 Procesor graficzny na klatkę. Kolektory 1U umieszczone są pomiędzy poszczególnymi jednostkami HGX H100, co zapewnia serwerom niezbędne chłodzenie cieczą. Na dole każdej szafy znajdziemy kolejną jednostkę Supermicro 4U, tym razem wyposażoną w redundantny system pomp i system monitorowania szafy. 🔍

🖥️ Te stojaki są zorganizowane w grupach po osiem, co pozwala na przechowywanie 512 sztuk Procesor graficzny przez macierz. Każdy serwer wyposażony jest w cztery Zasilacze zbędny. Z tyłu regałów Procesor graficzny, znajdują się tam zasilacze trójfazowe, przełączniki Ethernet oraz kolektor wielkości szafy, który zapewnia chłodzenie cieczą. 💧

W gromadzie Colossus znajduje się ponad 1500 stojaków Procesor graficzny, rozmieszczone w około 200 zestawach szaf serwerowych. Według Jensena Huanga, dyrektora generalnego Nvidii, procesory GPU w tych 200 macierzach zostały w pełni zainstalowane w ciągu zaledwie trzech tygodni. 🚀

Ponieważ superklastry AI stale trenujące modele wymagają dużej przepustowości, xAI posunęło się dalej w kwestii wzajemnych połączeń czerwony. Każda karta graficzna ma dedykowaną kartę sieciową 400GbE (kontroler interfejsu sieciowego), a na każdy serwer przypada dodatkowa karta sieciowa 400Gb. 🔗 Oznacza to, że każdy serwer HGX H100 dysponuje 3,6 Terabita na sekundę sieci Ethernet. Robi wrażenie, prawda? I tak, cały klaster działa w oparciu o sieć Ethernet, a nie InfiniBand czy inne egzotyczne połączenia, które są standardem w świecie superkomputerów. 🌐

Oczywiście superkomputer taki jak chatbot Grok 3, który szkoli modele sztucznej inteligencji, potrzebuje czegoś więcej niż tylko Procesor graficzny aby działać jak najlepiej. 🔥 Chociaż szczegóły dotyczące serwerów pamięci masowej i procesorów w Colossus są nieco ograniczone, dzięki filmowi Patricka i wpis na bloguWiemy, że te serwery zwykle znajdują się w obudowach Supermicro. 🚀

Wykorzystywane są serwery NVMe-forward 1U z procesorami platformy x86 w środku, zapewniające zarówno pamięć masową, jak i moc obliczeniową, wyposażone w chłodzenie cieczą z tyłu. 💧 Ponadto na zewnątrz można zobaczyć bardzo kompaktowe banki baterii Tesla Megapack. ⚡️

Charakterystyka rozruchu i zatrzymania macierzy, z milisekundowym opóźnieniem między bankami, była zbyt duża dla konwencjonalnej sieci energetycznej lub generatorów diesla Muska. Dlatego też jako pośrednie źródło energii pomiędzy akumulatorami Tesla Megapack (każdy o pojemności 3,9 MWh) stosuje się kilka akumulatorów Tesla Megapack (każdy o pojemności 3,9 MWh). czerwony elektryczne i superkomputer. 🖥️🔋 Zapewnia to optymalną i wydajną pracę bez przerw. 🚦✨

🌟 Wykorzystanie Colossusa i stabilnego superkomputera Muska 🌟

Superkomputer xAI Colossus jest obecnie, według firmy Nvidia, największym superkomputerem AI na świecie. 🤯 Podczas gdy wiele najnowocześniejszych superkomputerów na świecie jest wykorzystywanych przez wykonawców i naukowców do badań nad wzorcami pogody, chorobami lub innych skomplikowanych zadań, Colossus jest jedynym systemem odpowiedzialnym za szkolenie różnych modeli sztucznej inteligencji firmy X (dawniej Twitter). Głównie Grok 3, „anty-wybudzony” chatbot Elona, dostępny wyłącznie dla abonentów X Premium. 🤖

Ponadto ServeTheHome otrzymało informację, że Colossus prowadzi szkolenia Modele sztucznej inteligencji «przyszłości»; modele, których zastosowania i możliwości rzekomo wykraczają poza obecne możliwości sztucznej inteligencji. 🚀 Pierwsza faza budowy Colossus jest zakończona, a klaster jest w pełni operacyjny, ale to jeszcze nie koniec. Superkomputer w Memphis wkrótce zostanie zmodernizowany, aby podwoić swoją moc GPU, z dodatkowymi 50 000 procesorów GPU H100 oraz 50 000 procesorów GPU H200 nowej generacji. 🔥

Ten aktualizacja Ponadto zużycie energii wzrośnie ponad dwukrotnie, co i tak jest zbyt dużym obciążeniem dla 14 generatorów diesla, które Musk zainstalował w zakładzie w lipcu. ⚡ Choć nie spełnia obietnicy Muska dotyczącej 300 000 H200 w Colossus, może to być część fazy 3 Aktualizacje. 🔋

Z drugiej strony, superkomputer Cortex z 50 000 procesorów GPU w fabryce Tesli «Giga Texas» również należy do firmy Muska. Cortex zajmuje się szkoleniem autonomicznej technologii sztucznej inteligencji Tesli poprzez transmisję z kamer i wykrywanie obrazów, a także autonomicznych robotów Tesli i innych projektów sztucznej inteligencji. 🤖🚗

Ponadto Tesla wkrótce rozpocznie budowę superkomputera Dojo w Buffalo w stanie Nowy Jork. Będzie to projekt wart 500 milionów dolarów. 💸 Tymczasem spekulanci branżowi, tacy jak prezes Baidu Robin Li, przewidują, że 99% firm zajmujących się sztuczną inteligencją może upaść, gdy bańka pęknie. Pozostaje pytanie, czy rekordowe wydatki Muska na sztuczną inteligencję okażą się nietrafione czy się opłacą. ⏳