Rahasia xAI Colossus: 100.000 GPU

Apa isi klaster 100.000 GPU? 🤔

Patrick dari ServeTheHome mengajak kita bertamasya dengan kameranya melalui berbagai bagian server, menawarkan pemandangan operasinya secara menyeluruh. Meskipun beberapa rincian Rincian lebih spesifik tentang superkomputer tersebut, seperti konsumsi daya dan ukuran bom, tidak dapat diungkapkan karena perjanjian kerahasiaan, xAI berhati-hati untuk mengaburkan dan menyensor beberapa bagian video sebelum dirilis. Bahasa Indonesia:

Meskipun demikian, hal yang paling penting, seperti server GPU dari Supermicro, tetap utuh dalam rekaman. Server GPU ini adalah Nvidia HGX H100, solusi server tangguh yang masing-masing dilengkapi delapan GPU H100. Platform HGX H100 terintegrasi dalam sistem GPU Liquid Universal 4U Didinginkan dari Supermicro, menyediakan pendinginan cair yang dapat ditukar panas dengan mudah untuk setiap GPU. ❄️

Server-server ini disusun dalam rak yang masing-masing berisi delapan server, dengan total 64 GPU per bingkai. Kolektor 1U diapit di antara setiap HGX H100, menyediakan pendinginan cairan yang diperlukan untuk server. Di bagian bawah setiap rak, kami menemukan unit Supermicro 4U lainnya, kali ini dilengkapi dengan sistem pompa cadangan dan sistem pemantauan rak. 🔍

🖥️ Rak ini disusun dalam kelompok delapan, sehingga dapat menampung 512 GPU dengan matriks. Setiap server dilengkapi dengan empat catu daya berulang. Di belakang rak GPU, ada catu daya tiga fase, sakelar Ethernet, dan kolektor berukuran rak yang menyediakan semua pendinginan cair. 💧

Ada lebih dari 1500 rak di cluster Colossus GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Karena superkluster AI yang terus-menerus melatih model membutuhkan banyak bandwidth, xAI melangkah lebih jauh dalam interkonektivitasnya merah. Setiap kartu grafis memiliki NIC (pengendali antarmuka jaringan) 400GbE khusus, dengan NIC 400Gb tambahan per server. 🔗 Ini berarti setiap server HGX H100 memiliki 3,6 Terabit per detik Ethernet. Mengesankan, bukan? Dan ya, seluruh kluster berjalan pada Ethernet, bukan InfiniBand atau koneksi eksotis lainnya yang menjadi standar dalam dunia superkomputer. 🌐

Tentu saja, superkomputer seperti chatbot Grok 3, yang melatih model AI, membutuhkan lebih dari sekadar GPU berfungsi secara optimal. 🔥 Meskipun detail tentang penyimpanan dan server CPU di Colossus agak terbatas, berkat video Patrick dan postingan blogKita tahu bahwa server ini biasanya berada dalam rangka Supermicro. 🚀

Se utilizan servidores NVMe-forward 1U con CPUs de plataforma x86 en su interior, proporcionando tanto almacenamiento como capacidad de computación, y están equipados con refrigeración líquida por la parte trasera. 💧 Además, afuera se pueden ver bancos de baterías Tesla Megapack muy compactos. ⚡️

Karakteristik mulai-berhenti array, dengan latensi milidetik antar bank, terlalu berat untuk jaringan listrik konvensional atau generator diesel Musk. Oleh karena itu, beberapa Tesla Megapack (masing-masing berkapasitas 3,9 MWh) digunakan sebagai sumber energi perantara antara merah listrik dan superkomputer. 🖥️🔋 Ini memastikan operasi yang optimal dan efisien serta menghindari gangguan. 🚦✨

🌟 Penggunaan Colossus dan superkomputer stabil Musk 🌟

Superkomputer xAI Colossus saat ini, menurut Nvidia, merupakan superkomputer AI terbesar di dunia. 🤯 Sementara banyak superkomputer terkemuka di dunia digunakan dalam penelitian oleh kontraktor atau akademisi untuk mempelajari pola cuaca, penyakit, atau tugas rumit lainnya, Colossus bertanggung jawab penuh untuk melatih berbagai model AI milik X (sebelumnya Twitter). Terutama, Grok 3, chatbot "anti-woke" milik Elon yang hanya tersedia untuk pelanggan X Premium. 🤖

Selain itu, ServeTheHome diberitahu bahwa Colossus sedang melatih Model AI «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Ini memperbarui Ini juga akan meningkatkan konsumsi dayanya hingga lebih dari dua kali lipat, yang sudah terlalu banyak untuk ditangani oleh 14 generator diesel yang ditambahkan Musk ke situs tersebut pada bulan Juli. ⚡ Meskipun masih jauh dari janji Musk untuk menempatkan 300.000 H200 di dalam Colossus, hal tersebut bisa jadi merupakan bagian dari Fase 3 pembaruan. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Selain itu, Tesla akan segera melihat pembangunan superkomputer Dojo di Buffalo, New York, proyek senilai $500 juta yang akan segera hadir. Sementara itu, spekulan industri seperti CEO Baidu Robin Li memperkirakan bahwa 99% perusahaan AI bisa runtuh ketika gelembung pecah. Masih harus dilihat apakah rekor pengeluaran Musk untuk AI akan menjadi bumerang atau membuahkan hasil. ⏳