Sekrety xAI Colossus: 100 000 procesorów graficznych

Co znajduje się w klastrze składającym się ze 100 000 procesorów graficznych? 🤔

Patrick z ServeTheHome zabiera nas na wycieczkę z kamerą po różnych częściach serwera, oferując panoramiczny widok na jego działanie. Chociaż niektóre bliższe dane Bardziej szczegółowe informacje na temat superkomputera, takie jak zużycie energii czy rozmiar bomb, nie mogły zostać ujawnione ze względu na umowę o zachowaniu poufności. Przed publikacją nagrania xAI zadbało o zamazanie i ocenzurowanie fragmentów nagrania. 🎥

Mimo to najważniejsze, bo serwery Procesor graficzny od Supermicro, pozostały praktycznie nienaruszone w materiale filmowym. Te serwery GPU są Nvidia HGX H100, wydajne rozwiązanie serwerowe wyposażone w osiem procesorów graficznych H100 w każdym. Platforma HGX H100 jest zintegrowana z uniwersalnym systemem GPU Liquid 4U Schłodzony od Supermicro, zapewniające łatwe w wymianie chłodzenie cieczą dla każdego procesora graficznego. ❄️

Serwery te są zorganizowane w szafach, w których znajduje się po osiem serwerów, co daje łącznie 64 Procesor graficzny na klatkę. Kolektory 1U umieszczone są pomiędzy poszczególnymi jednostkami HGX H100, co zapewnia serwerom niezbędne chłodzenie cieczą. Na dole każdej szafy znajdziemy kolejną jednostkę Supermicro 4U, tym razem wyposażoną w redundantny system pomp i system monitorowania szafy. 🔍

🖥️ Te stojaki są zorganizowane w grupach po osiem, co pozwala na przechowywanie 512 sztuk Procesor graficzny przez macierz. Każdy serwer wyposażony jest w cztery Zasilacze zbędny. Z tyłu regałów Procesor graficzny, znajdują się tam zasilacze trójfazowe, przełączniki Ethernet oraz kolektor wielkości szafy, który zapewnia chłodzenie cieczą. 💧

W gromadzie Colossus znajduje się ponad 1500 stojaków Procesor graficzny, rozmieszczonych w około 200 zestawach ramek. Według Jensena Huanga, dyrektora generalnego NvidiaProcesory graficzne na tych 200 matrycach zostały w pełni zainstalowane w ciągu zaledwie trzech tygodni. 🚀

Ponieważ superklastry AI stale trenujące modele wymagają dużej przepustowości, xAI posunęło się dalej w kwestii wzajemnych połączeń siatka. Każda karta graficzna ma dedykowaną kartę sieciową 400GbE (kontroler interfejsu sieciowego), a na każdy serwer przypada dodatkowa karta sieciowa 400Gb. 🔗 Oznacza to, że każdy serwer HGX H100 dysponuje 3,6 Terabita na sekundę sieci Ethernet. Robi wrażenie, prawda? I tak, cały klaster działa w oparciu o sieć Ethernet, a nie InfiniBand czy inne egzotyczne połączenia, które są standardem w świecie superkomputerów. 🌐

Oczywiście superkomputer taki jak chatbot Grok 3, który szkoli modele sztucznej inteligencji, potrzebuje czegoś więcej niż tylko Procesor graficzny aby działać jak najlepiej. 🔥 Chociaż szczegóły dotyczące serwerów pamięci masowej i procesorów w Colossus są nieco ograniczone, dzięki filmowi Patricka i wpis na bloguWiemy, że te serwery zwykle znajdują się w obudowach Supermicro. 🚀

Zastosowano serwery 1U z procesorami platformy x86 obsługującymi technologię NVMe, które zapewniają zarówno pamięć masową, jak i moc obliczeniową. informatykai wyposażone są w chłodzenie cieczą z tyłu. 💧 Dodatkowo na zewnątrz można zobaczyć brzegi baterie Bardzo kompaktowy Tesla Megapack. ⚡️

Charakterystyka rozruchu i zatrzymania macierzy, z milisekundowym opóźnieniem między bankami, była zbyt duża dla konwencjonalnej sieci energetycznej lub generatorów diesla Muska. Dlatego też jako pośrednie źródło energii pomiędzy akumulatorami Tesla Megapack (każdy o pojemności 3,9 MWh) stosuje się kilka akumulatorów Tesla Megapack (każdy o pojemności 3,9 MWh). siatka elektryczne i superkomputer. 🖥️🔋 Zapewnia to optymalną i wydajną pracę bez przerw. 🚦✨

🌟 Wykorzystanie Colossusa i stabilnego superkomputera Muska 🌟

Superkomputer xAI Colossus jest obecnie, według firmy Nvidia, największym superkomputerem AI na świecie. 🤯 Podczas gdy wiele najnowocześniejszych superkomputerów na świecie jest wykorzystywanych przez wykonawców i naukowców do badań nad wzorcami pogody, chorobami lub innych skomplikowanych zadań, Colossus jest jedynym systemem odpowiedzialnym za szkolenie różnych modeli sztucznej inteligencji firmy X (dawniej Twitter). Głównie Grok 3, „anty-wybudzony” chatbot Elona, dostępny wyłącznie dla abonentów X Premium. 🤖

Ponadto ServeTheHome otrzymało informację, że Colossus prowadzi szkolenia Modele sztucznej inteligencji «przyszłości»; modele, których zastosowania i możliwości przypuszczalnie wykraczają poza obecne możliwości sztucznej inteligencji. 🚀 Pierwsza faza budowy Kolosa została ukończona i klaster jest w pełni operacyjny, ale nie wszystko jest jeszcze gotowe. Superkomputer w Memphis wkrótce zostanie zaktualizuję podwoić moc obliczeniową procesorów graficznych, instalując dodatkowe 50 000 procesorów graficznych H100 i 50 000 procesorów graficznych nowej generacji H200. 🔥

Ten aktualizacja Ponadto zużycie energii wzrośnie ponad dwukrotnie, co i tak jest zbyt dużym obciążeniem dla 14 generatorów diesla, które Musk zainstalował w zakładzie w lipcu. ⚡ Choć nie spełnia obietnicy Muska dotyczącej 300 000 H200 w Colossus, może to być część fazy 3 Aktualizacje. 🔋

Z drugiej strony, superkomputer Cortex z 50 000 GPU w fabryce Tesli „Giga Texas” również należy do firmy Muska. Cortex jest przeznaczony do szkolenia technologia Autonomiczna sztuczna inteligencja firmy Tesla wykorzystująca strumieniowe przesyłanie obrazu z kamery i wykrywanie obrazu, a także autonomiczne roboty Tesli i inne projekty sztucznej inteligencji. 🤖🚗

Ponadto Tesla wkrótce rozpocznie budowę superkomputera Dojo w Buffalo w stanie Nowy Jork. Będzie to projekt wart 500 milionów dolarów. 💸 Tymczasem spekulanci branżowi, tacy jak prezes Baidu Robin Li, przewidują, że 99% firm zajmujących się sztuczną inteligencją może upaść, gdy bańka pęknie. Pozostaje pytanie, czy rekordowe wydatki Muska na sztuczną inteligencję okażą się nietrafione czy się opłacą. ⏳