xAI Colossus'un Sırları: 100.000 GPU

100.000 GPU'luk bir kümenin içinde neler var? 🤔

ServeTheHome'dan Patrick, bizi kamerasıyla sunucunun farklı bölümlerinde gezdirerek, sunucunun işleyişine dair panoramik bir görüntü sunuyor. Her ne kadar bazıları detaylar Süper bilgisayarla ilgili güç tüketimi ve bombaların boyutu gibi daha spesifik detaylar gizlilik anlaşması nedeniyle açıklanamadı, xAI videoyu yayınlamadan önce bazı kısımlarını bulanıklaştırdı ve sansürledi. 🎥

Buna rağmen en önemli şey, sunucular olarak GPU Supermicro'dan alınan görüntüler, görüntülerde neredeyse hiç bozulmadan kaldı. Bu GPU sunucuları şunlardır: Nvidia HGX Her biri sekiz adet H100 GPU'ya sahip güçlü bir sunucu çözümü olan H100. 🚀 HGX H100 platformu, 4U Universal GPU Liquid sistemine entegre edilmiştir Soğutulmuş Supermicro'dan her GPU için kolayca değiştirilebilen sıvı soğutma sağlayan. ❄️

Bu sunucular, her biri sekiz sunucudan oluşan ve toplamda 64 adet olan raflarda düzenlenmiştir. GPU kare başına. Her bir HGX H100'ün arasına yerleştirilen 1U toplayıcılar, sunucular için gerekli sıvı soğutmayı sağlıyor. Her rafın altında, bu kez yedek pompa sistemi ve raf izleme sistemi ile donatılmış başka bir Supermicro 4U ünitesi buluyoruz. 🔍

🖥️ Bu raflar sekizli gruplar halinde düzenlenmiştir ve 512 rafa izin verir GPU matris tarafından. Her sunucu dört adet güç kaynakları gereksiz. Rafların arkasında GPU, üç fazlı güç kaynakları, Ethernet anahtarları ve tüm sıvı soğutmayı sağlayan raf boyutunda bir toplayıcı bulunmaktadır. 💧

Colossus kümesinde 1500'den fazla raf bulunmaktadır GPU, yaklaşık 200 raf setine dağıtılmış durumda. Nvidia CEO'su Jensen Huang'a göre, bu 200 dizideki GPU'lar tamamen sadece üç hafta içinde kuruldu. 🚀

Sürekli olarak modelleri eğiten bir AI süper kümesi çok fazla bant genişliği gerektirdiğinden, xAI kendi aralarındaki bağlantıda daha da ileri gitti kırmızı. Her grafik kartında özel 400GbE NIC (ağ arayüz denetleyicisi) ve sunucu başına ek 400Gb NIC bulunur. 🔗 Bu, her HGX H100 sunucusunun saniyede 3,6 Terabit Ethernet'e sahip olduğu anlamına gelir. Etkileyici, değil mi? Ve evet, kümenin tamamı süper bilgisayar dünyasında standart olan InfiniBand veya diğer egzotik bağlantılar yerine Ethernet üzerinde çalışıyor. 🌐

Elbette, AI modellerini eğiten Grok 3 chatbot gibi bir süper bilgisayarın sadece GPU en iyi şekilde işlev görebilmesi için. 🔥 Colossus'taki depolama ve CPU sunucularına ilişkin ayrıntılar biraz sınırlı olsa da, Patrick'in videosu ve blog yazısıBu sunucuların genellikle Supermicro kasalarında olduğunu biliyoruz. 🚀

İçinde x86 platformu CPU'ları bulunan NVMe-forward 1U sunucuları kullanılıyor, hem depolama hem de hesaplama kapasitesi sağlıyor ve arkadan sıvı soğutma ile donatılmış. 💧 Ayrıca dışarıda çok kompakt Tesla Megapack pil bankaları görülebilir. ⚡️

Dizinin, bankalar arasındaki milisaniyelik gecikmesiyle başlayan-durdurma özelliği, geleneksel elektrik şebekesi veya Musk'ın dizel jeneratörleri için fazlaydı. Bu nedenle, her biri 3,9 MWh kapasiteli birkaç Tesla Megapack, ara enerji kaynağı olarak kullanılır. kırmızı elektrik ve süper bilgisayar. 🖥️🔋 Bu sayede kesintiler yaşanmadan optimum ve verimli bir çalışma sağlanır. 🚦✨

🌟 Colossus ve Musk'ın kararlı süper bilgisayarının kullanımı 🌟

xAI Colossus süper bilgisayarı, Nvidia'ya göre şu anda dünyanın en büyük yapay zeka süper bilgisayarı. 🤯 Dünyanın önde gelen süper bilgisayarlarının birçoğu, hava durumu modellerini, hastalıkları veya diğer karmaşık görevleri incelemek için yükleniciler veya akademisyenler tarafından araştırma amaçlı kullanılırken, Colossus yalnızca X'in (eski adıyla Twitter) çeşitli yapay zeka modellerini eğitmekten sorumludur. Esas olarak, Elon'un yalnızca X Premium abonelerine özel olan "uyanıklık karşıtı" chatbot'u Grok 3. 🤖

Ayrıca ServeTheHome, Colossus'un eğitim aldığı bilgisini aldı. Yapay zeka modelleri «geleceğin»; kullanımları ve yetenekleri sözde mevcut yapay zeka yeteneklerinin ötesinde olan modeller. 🚀 Colossus'un ilk inşa aşaması tamamlandı ve küme tamamen çalışır durumda, ancak her şey henüz bitmiş değil. Memphis'teki süper bilgisayar yakında GPU kapasitesini iki katına çıkarmak için güncellenecek; 50.000 ek H100 GPU ve 50.000 yeni nesil H200 GPU ile. 🔥

Bu güncelleme Ayrıca, Musk'ın temmuz ayında tesise eklediği 14 dizel jeneratörün karşılayamayacağı kadar fazla olan güç tüketimi de iki katından fazla artacak. ⚡ Musk'ın Colossus'un içine 300.000 H200 yerleştirme vaadinin gerisinde kalsa da bu, 3. Aşamanın bir parçası olabilir. güncellemeler. 🔋

Öte yandan, Tesla'nın «Giga Texas» tesisindeki 50.000 GPU'lu Cortex süper bilgisayarı da Musk'a ait bir şirkete aittir. Cortex, kamera iletimi ve görüntü algılama yoluyla Tesla'nın otonom yapay zeka teknolojisini ve ayrıca Tesla'nın otonom robotlarını ve diğer yapay zeka projelerini eğitmeye adanmıştır. 🤖🚗

Ayrıca Tesla, yakında New York'un Buffalo kentinde 500 milyon dolarlık bir proje olan Dojo süper bilgisayarının inşasına başlayacak. 💸 Bu arada, Baidu CEO'su Robin Li gibi endüstri spekülatörleri, balonun patlamasıyla 99%'lik yapay zeka şirketinin çökebileceğini öngörüyor. Musk'ın yapay zekaya yaptığı rekor harcamanın ters tepip tepmeyeceği veya işe yarayıp yaramayacağı ise henüz belli değil. ⏳