xAI Colossus'un Sırları: 100.000 GPU

100.000 GPU'luk bir kümenin içinde neler var? 🤔

ServeTheHome'dan Patrick, bizi kamerasıyla sunucunun farklı bölümlerinde gezdirerek, sunucunun işleyişine dair panoramik bir görüntü sunuyor. Her ne kadar bazıları detaylar Süper bilgisayarla ilgili güç tüketimi ve bombaların boyutu gibi daha spesifik detaylar gizlilik anlaşması nedeniyle açıklanamadı, xAI videoyu yayınlamadan önce bazı kısımlarını bulanıklaştırdı ve sansürledi. 🎥

Buna rağmen en önemli şey, sunucular olarak Grafik işlemcisi Supermicro'dan alınan görüntüler, görüntülerde neredeyse hiç bozulmadan kaldı. Bu GPU sunucuları şunlardır: Nvidia HGX Her biri sekiz adet H100 GPU'ya sahip güçlü bir sunucu çözümü olan H100. 🚀 HGX H100 platformu, 4U Universal GPU Liquid sistemine entegre edilmiştir Soğutulmuş Supermicro'dan her GPU için kolayca değiştirilebilen sıvı soğutma sağlayan. ❄️

Bu sunucular, her biri sekiz sunucudan oluşan ve toplamda 64 adet olan raflarda düzenlenmiştir. Grafik işlemcisi kare başına. Her bir HGX H100'ün arasına yerleştirilen 1U toplayıcılar, sunucular için gerekli sıvı soğutmayı sağlıyor. Her rafın altında, bu kez yedek pompa sistemi ve raf izleme sistemi ile donatılmış başka bir Supermicro 4U ünitesi buluyoruz. 🔍

🖥️ Bu raflar sekizli gruplar halinde düzenlenmiştir ve 512 rafa izin verir Grafik işlemcisi matris tarafından. Her sunucu dört adet güç kaynakları gereksiz. Rafların arkasında Grafik işlemcisi, üç fazlı güç kaynakları, Ethernet anahtarları ve tüm sıvı soğutmayı sağlayan raf boyutunda bir toplayıcı bulunmaktadır. 💧

Colossus kümesinde 1500'den fazla raf bulunmaktadır Grafik işlemcisi, yaklaşık 200 set halinde dağıtılmıştır. CEO'su Jensen Huang'a göre NvidiaBu 200 kalıptaki GPU'lar sadece üç haftada tamamen kuruldu. 🚀

Sürekli olarak modelleri eğiten bir AI süper kümesi çok fazla bant genişliği gerektirdiğinden, xAI kendi aralarındaki bağlantıda daha da ileri gitti kırmızı. Her grafik kartında özel 400GbE NIC (ağ arayüz denetleyicisi) ve sunucu başına ek 400Gb NIC bulunur. 🔗 Bu, her HGX H100 sunucusunun saniyede 3,6 Terabit Ethernet'e sahip olduğu anlamına gelir. Etkileyici, değil mi? Ve evet, kümenin tamamı süper bilgisayar dünyasında standart olan InfiniBand veya diğer egzotik bağlantılar yerine Ethernet üzerinde çalışıyor. 🌐

Elbette, AI modellerini eğiten Grok 3 chatbot gibi bir süper bilgisayarın sadece Grafik işlemcisi en iyi şekilde işlev görebilmesi için. 🔥 Colossus'taki depolama ve CPU sunucularına ilişkin ayrıntılar biraz sınırlı olsa da, Patrick'in videosu ve blog yazısıBu sunucuların genellikle Supermicro kasalarında olduğunu biliyoruz. 🚀

İçerisinde x86 platform CPU'ları bulunan NVMe-forward 1U sunucular kullanılıyor ve hem depolama hem de işlem kapasitesi sağlanıyor. bilgi işlemve arka tarafta sıvı soğutma ile donatılmıştır. 💧 Ayrıca dışarıda bankalar görebilirsiniz piller Çok kompakt Tesla Megapack. ⚡️

Dizinin, bankalar arasındaki milisaniyelik gecikmesiyle başlayan-durdurma özelliği, geleneksel elektrik şebekesi veya Musk'ın dizel jeneratörleri için fazlaydı. Bu nedenle, her biri 3,9 MWh kapasiteli birkaç Tesla Megapack, ara enerji kaynağı olarak kullanılır. kırmızı elektrik ve süper bilgisayar. 🖥️🔋 Bu sayede kesintiler yaşanmadan optimum ve verimli bir çalışma sağlanır. 🚦✨

🌟 Colossus ve Musk'ın kararlı süper bilgisayarının kullanımı 🌟

xAI Colossus süper bilgisayarı, Nvidia'ya göre şu anda dünyanın en büyük yapay zeka süper bilgisayarı. 🤯 Dünyanın önde gelen süper bilgisayarlarının birçoğu, hava durumu modellerini, hastalıkları veya diğer karmaşık görevleri incelemek için yükleniciler veya akademisyenler tarafından araştırma amaçlı kullanılırken, Colossus yalnızca X'in (eski adıyla Twitter) çeşitli yapay zeka modellerini eğitmekten sorumludur. Esas olarak, Elon'un yalnızca X Premium abonelerine özel olan "uyanıklık karşıtı" chatbot'u Grok 3. 🤖

Ayrıca ServeTheHome, Colossus'un eğitim aldığı bilgisini aldı. Yapay zeka modelleri «geleceğin»; Kullanımları ve kabiliyetleri yapay zekanın mevcut kabiliyetlerinin ötesinde olduğu varsayılan modeller. 🚀 Colossus inşaatının ilk aşaması tamamlandı ve küme tam olarak faaliyete geçti, ancak henüz her şey bitmiş değil. Memphis süper bilgisayarı yakında güncellenecek GPU kapasitesini 50.000 adet H100 GPU ve 50.000 adet yeni nesil H200 GPU ile iki katına çıkaracak. 🔥

Bu güncelleme Ayrıca, Musk'ın temmuz ayında tesise eklediği 14 dizel jeneratörün karşılayamayacağı kadar fazla olan güç tüketimi de iki katından fazla artacak. ⚡ Musk'ın Colossus'un içine 300.000 H200 yerleştirme vaadinin gerisinde kalsa da bu, 3. Aşamanın bir parçası olabilir. güncellemeler. 🔋

Öte yandan Tesla'nın "Giga Texas" tesisindeki 50.000 GPU'luk Cortex süper bilgisayarı da Musk'ın bir şirketine ait. Cortex, eğitime adanmıştır teknoloji Tesla'nın kamera akışı ve görüntü algılama yoluyla geliştirdiği otonom yapay zekanın yanı sıra Tesla'nın otonom robotları ve diğer yapay zeka projeleri. 🤖🚗

Ayrıca Tesla, yakında New York'un Buffalo kentinde 500 milyon dolarlık bir proje olan Dojo süper bilgisayarının inşasına başlayacak. 💸 Bu arada, Baidu CEO'su Robin Li gibi endüstri spekülatörleri, balonun patlamasıyla 99%'lik yapay zeka şirketinin çökebileceğini öngörüyor. Musk'ın yapay zekaya yaptığı rekor harcamanın ters tepip tepmeyeceği veya işe yarayıp yaramayacağı ise henüz belli değil. ⏳