Rahasia xAI Colossus: 100.000 GPU

Apa isi klaster 100.000 GPU? 🤔

Patrick dari ServeTheHome mengajak kita bertamasya dengan kameranya melalui berbagai bagian server, menawarkan pemandangan operasinya secara menyeluruh. Meskipun beberapa rincian Rincian lebih spesifik tentang superkomputer tersebut, seperti konsumsi daya dan ukuran bom, tidak dapat diungkapkan karena perjanjian kerahasiaan, xAI berhati-hati untuk mengaburkan dan menyensor beberapa bagian video sebelum dirilis. Bahasa Indonesia:

Meskipun demikian, hal yang paling penting, seperti server GPU dari Supermicro, tetap utuh dalam rekaman. Server GPU ini adalah Nvidia HGX H100, solusi server tangguh yang masing-masing dilengkapi delapan GPU H100. Platform HGX H100 terintegrasi dalam sistem GPU Liquid Universal 4U Didinginkan dari Supermicro, menyediakan pendinginan cair yang dapat ditukar panas dengan mudah untuk setiap GPU. ❄️

Server-server ini disusun dalam rak yang masing-masing berisi delapan server, dengan total 64 GPU per bingkai. Kolektor 1U diapit di antara setiap HGX H100, menyediakan pendinginan cairan yang diperlukan untuk server. Di bagian bawah setiap rak, kami menemukan unit Supermicro 4U lainnya, kali ini dilengkapi dengan sistem pompa cadangan dan sistem pemantauan rak. 🔍

🖥️ Rak ini disusun dalam kelompok delapan, sehingga dapat menampung 512 GPU dengan matriks. Setiap server dilengkapi dengan empat catu daya berulang. Di belakang rak GPU, ada catu daya tiga fase, sakelar Ethernet, dan kolektor berukuran rak yang menyediakan semua pendinginan cair. 💧

Ada lebih dari 1500 rak di cluster Colossus GPU, didistribusikan dalam sekitar 200 set bingkai. Menurut Jensen Huang, CEO Nvidia, GPU pada 200 chip ini terpasang sepenuhnya hanya dalam waktu tiga minggu. 🚀

Karena superkluster AI yang terus-menerus melatih model membutuhkan banyak bandwidth, xAI melangkah lebih jauh dalam interkonektivitasnya merah. Setiap kartu grafis memiliki NIC (pengendali antarmuka jaringan) 400GbE khusus, dengan NIC 400Gb tambahan per server. 🔗 Ini berarti setiap server HGX H100 memiliki 3,6 Terabit per detik Ethernet. Mengesankan, bukan? Dan ya, seluruh kluster berjalan pada Ethernet, bukan InfiniBand atau koneksi eksotis lainnya yang menjadi standar dalam dunia superkomputer. 🌐

Tentu saja, superkomputer seperti chatbot Grok 3, yang melatih model AI, membutuhkan lebih dari sekadar GPU berfungsi secara optimal. 🔥 Meskipun detail tentang penyimpanan dan server CPU di Colossus agak terbatas, berkat video Patrick dan postingan blogKita tahu bahwa server ini biasanya berada dalam rangka Supermicro. 🚀

Server NVMe-forward 1U dengan CPU platform x86 di dalamnya digunakan, menyediakan kapasitas penyimpanan dan pemrosesan. komputasi, dan dilengkapi dengan pendingin cairan di bagian belakang. 💧 Selain itu, di luar Anda dapat melihat bank-bank Baterai Tesla Megapack yang sangat ringkas. ⚡️

Karakteristik mulai-berhenti array, dengan latensi milidetik antar bank, terlalu berat untuk jaringan listrik konvensional atau generator diesel Musk. Oleh karena itu, beberapa Tesla Megapack (masing-masing berkapasitas 3,9 MWh) digunakan sebagai sumber energi perantara antara merah listrik dan superkomputer. 🖥️🔋 Ini memastikan operasi yang optimal dan efisien serta menghindari gangguan. 🚦✨

🌟 Penggunaan Colossus dan superkomputer stabil Musk 🌟

Superkomputer xAI Colossus saat ini, menurut Nvidia, merupakan superkomputer AI terbesar di dunia. 🤯 Sementara banyak superkomputer terkemuka di dunia digunakan dalam penelitian oleh kontraktor atau akademisi untuk mempelajari pola cuaca, penyakit, atau tugas rumit lainnya, Colossus bertanggung jawab penuh untuk melatih berbagai model AI milik X (sebelumnya Twitter). Terutama, Grok 3, chatbot "anti-woke" milik Elon yang hanya tersedia untuk pelanggan X Premium. 🤖

Selain itu, ServeTheHome diberitahu bahwa Colossus sedang melatih Model AI «masa depan»; model yang penggunaan dan kemampuannya diduga berada di luar kemampuan AI saat ini. Tahap pertama pembangunan Colossus telah rampung dan klasternya beroperasi penuh, namun belum semuanya rampung. Superkomputer Memphis akan segera akan memperbarui untuk menggandakan kapasitas GPU-nya, dengan tambahan 50.000 GPU H100 dan 50.000 GPU H200 generasi berikutnya. 🔥

Ini memperbarui Ini juga akan meningkatkan konsumsi dayanya hingga lebih dari dua kali lipat, yang sudah terlalu banyak untuk ditangani oleh 14 generator diesel yang ditambahkan Musk ke situs tersebut pada bulan Juli. ⚡ Meskipun masih jauh dari janji Musk untuk menempatkan 300.000 H200 di dalam Colossus, hal tersebut bisa jadi merupakan bagian dari Fase 3 pembaruan. 🔋

Di sisi lain, superkomputer Cortex berkapasitas 50.000 GPU di pabrik "Giga Texas" Tesla juga milik perusahaan Musk. Cortex didedikasikan untuk melatih teknologi AI otonom Tesla melalui streaming kamera dan penginderaan gambar, serta robot otonom Tesla dan proyek AI lainnya. 🤖🚗

Selain itu, Tesla akan segera melihat pembangunan superkomputer Dojo di Buffalo, New York, proyek senilai $500 juta yang akan segera hadir. Sementara itu, spekulan industri seperti CEO Baidu Robin Li memperkirakan bahwa 99% perusahaan AI bisa runtuh ketika gelembung pecah. Masih harus dilihat apakah rekor pengeluaran Musk untuk AI akan menjadi bumerang atau membuahkan hasil. ⏳