xAI Colossus'un Sırları: 100.000 GPU

100.000 GPU'luk bir kümenin içinde neler var? 🤔

ServeTheHome'dan Patrick, bizi kamerasıyla sunucunun farklı bölümlerinde gezdirerek, sunucunun işleyişine dair panoramik bir görüntü sunuyor. Her ne kadar bazıları detaylar Süper bilgisayarla ilgili güç tüketimi ve bombaların boyutu gibi daha spesifik detaylar gizlilik anlaşması nedeniyle açıklanamadı, xAI videoyu yayınlamadan önce bazı kısımlarını bulanıklaştırdı ve sansürledi. 🎥

Buna rağmen en önemli şey, sunucular olarak GPU Supermicro'dan alınan görüntüler, görüntülerde neredeyse hiç bozulmadan kaldı. Bu GPU sunucuları şunlardır: Nvidia HGX Her biri sekiz adet H100 GPU'ya sahip güçlü bir sunucu çözümü olan H100. 🚀 HGX H100 platformu, 4U Universal GPU Liquid sistemine entegre edilmiştir Soğutulmuş Supermicro'dan her GPU için kolayca değiştirilebilen sıvı soğutma sağlayan. ❄️

Bu sunucular, her biri sekiz sunucudan oluşan ve toplamda 64 adet olan raflarda düzenlenmiştir. GPU kare başına. Her bir HGX H100'ün arasına yerleştirilen 1U toplayıcılar, sunucular için gerekli sıvı soğutmayı sağlıyor. Her rafın altında, bu kez yedek pompa sistemi ve raf izleme sistemi ile donatılmış başka bir Supermicro 4U ünitesi buluyoruz. 🔍

🖥️ Bu raflar sekizli gruplar halinde düzenlenmiştir ve 512 rafa izin verir GPU matris tarafından. Her sunucu dört adet güç kaynakları gereksiz. Rafların arkasında GPU, üç fazlı güç kaynakları, Ethernet anahtarları ve tüm sıvı soğutmayı sağlayan raf boyutunda bir toplayıcı bulunmaktadır. 💧

Colossus kümesinde 1500'den fazla raf bulunmaktadır GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Sürekli olarak modelleri eğiten bir AI süper kümesi çok fazla bant genişliği gerektirdiğinden, xAI kendi aralarındaki bağlantıda daha da ileri gitti kırmızı. Her grafik kartında özel 400GbE NIC (ağ arayüz denetleyicisi) ve sunucu başına ek 400Gb NIC bulunur. 🔗 Bu, her HGX H100 sunucusunun saniyede 3,6 Terabit Ethernet'e sahip olduğu anlamına gelir. Etkileyici, değil mi? Ve evet, kümenin tamamı süper bilgisayar dünyasında standart olan InfiniBand veya diğer egzotik bağlantılar yerine Ethernet üzerinde çalışıyor. 🌐

Elbette, AI modellerini eğiten Grok 3 chatbot gibi bir süper bilgisayarın sadece GPU en iyi şekilde işlev görebilmesi için. 🔥 Colossus'taki depolama ve CPU sunucularına ilişkin ayrıntılar biraz sınırlı olsa da, Patrick'in videosu ve blog yazısıBu sunucuların genellikle Supermicro kasalarında olduğunu biliyoruz. 🚀

Se utilizan servidores NVMe-forward 1U con CPUs de plataforma x86 en su interior, proporcionando tanto almacenamiento como capacidad de computación, y están equipados con refrigeración líquida por la parte trasera. 💧 Además, afuera se pueden ver bancos de baterías Tesla Megapack muy compactos. ⚡️

Dizinin, bankalar arasındaki milisaniyelik gecikmesiyle başlayan-durdurma özelliği, geleneksel elektrik şebekesi veya Musk'ın dizel jeneratörleri için fazlaydı. Bu nedenle, her biri 3,9 MWh kapasiteli birkaç Tesla Megapack, ara enerji kaynağı olarak kullanılır. kırmızı elektrik ve süper bilgisayar. 🖥️🔋 Bu sayede kesintiler yaşanmadan optimum ve verimli bir çalışma sağlanır. 🚦✨

🌟 Colossus ve Musk'ın kararlı süper bilgisayarının kullanımı 🌟

xAI Colossus süper bilgisayarı, Nvidia'ya göre şu anda dünyanın en büyük yapay zeka süper bilgisayarı. 🤯 Dünyanın önde gelen süper bilgisayarlarının birçoğu, hava durumu modellerini, hastalıkları veya diğer karmaşık görevleri incelemek için yükleniciler veya akademisyenler tarafından araştırma amaçlı kullanılırken, Colossus yalnızca X'in (eski adıyla Twitter) çeşitli yapay zeka modellerini eğitmekten sorumludur. Esas olarak, Elon'un yalnızca X Premium abonelerine özel olan "uyanıklık karşıtı" chatbot'u Grok 3. 🤖

Ayrıca ServeTheHome, Colossus'un eğitim aldığı bilgisini aldı. Yapay zeka modelleri «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Bu güncelleme Ayrıca, Musk'ın temmuz ayında tesise eklediği 14 dizel jeneratörün karşılayamayacağı kadar fazla olan güç tüketimi de iki katından fazla artacak. ⚡ Musk'ın Colossus'un içine 300.000 H200 yerleştirme vaadinin gerisinde kalsa da bu, 3. Aşamanın bir parçası olabilir. güncellemeler. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Ayrıca Tesla, yakında New York'un Buffalo kentinde 500 milyon dolarlık bir proje olan Dojo süper bilgisayarının inşasına başlayacak. 💸 Bu arada, Baidu CEO'su Robin Li gibi endüstri spekülatörleri, balonun patlamasıyla 99%'lik yapay zeka şirketinin çökebileceğini öngörüyor. Musk'ın yapay zekaya yaptığı rekor harcamanın ters tepip tepmeyeceği veya işe yarayıp yaramayacağı ise henüz belli değil. ⏳