100,000개의 GPU 클러스터 안에는 무엇이 들어있나요? 🤔

ServeTheHome의 Patrick은 카메라를 들고 서버의 여러 부분을 둘러보며 서버 운영에 대한 파노라마 뷰를 제공합니다. 전력 소비, 폭탄 크기 등 슈퍼컴퓨터에 대한 좀 더 구체적인 세부 사항은 기밀 유지 계약으로 인해 공개할 수 없었지만 xAI는 공개되기 전에 영상의 일부를 흐리게 처리하고 검열했습니다. 🎥

A pesar de esto, lo más importante, como los servidores GPU de Supermicro, se mantuvo prácticamente intacto en el metraje. Estos servidores GPU son 엔비디아 HGX H100, una potente solución de servidor que cuenta con ocho GPU H100 cada una. 🚀 La plataforma HGX H100 está integrada dentro del sistema 4U Universal GPU Liquid 냉각 Supermicro에서 각 GPU에 대해 쉽게 핫스왑 가능한 액체 냉각을 제공합니다. ❄️

이러한 서버는 각각 8개의 서버를 포함하는 랙으로 구성되어 랙당 총 64개의 GPU를 갖습니다. 1U 컬렉터는 각 HGX H100 사이에 끼워져 서버에 필요한 액체 냉각 기능을 제공합니다. 각 랙 하단에는 또 다른 4U Supermicro 장치가 있는데, 이번에는 중복 펌프 시스템과 랙 모니터링 시스템이 장착되어 있습니다. 🔍

🖥️ 이 랙은 8개 그룹으로 구성되어 다이당 512개의 GPU를 수용할 수 있습니다. 각 서버에는 4개의 중복 전원 공급 장치가 장착되어 있습니다. GPU 랙 뒷면에는 3상 전원 공급 장치, 이더넷 스위치 및 모든 액체 냉각을 제공하는 랙 크기의 매니폴드가 있습니다. 💧

En el clúster Colossus hay más de 1500 bastidores de GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de 엔비디아, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

지속적으로 모델을 훈련하는 AI 슈퍼 클러스터에는 높은 대역폭이 필요하기 때문에 xAI는 네트워크 상호 연결성을 더욱 향상시켰습니다. 각 그래픽 카드 전용 400GbE NIC(네트워크 인터페이스 컨트롤러)와 서버당 추가 400Gb NIC가 있습니다. 🔗 이는 각 HGX H100 서버에 초당 3.6테라비트의 이더넷이 있다는 의미입니다. 인상적이죠? 그리고 그렇습니다. 전체 클러스터는 슈퍼컴퓨팅 공간에서 표준으로 사용되는 InfiniBand나 기타 이국적인 연결이 아닌 이더넷에서 실행됩니다. 🌐

물론, AI 모델을 교육하는 Grok 3 챗봇과 같은 슈퍼컴퓨터가 최고의 성능을 발휘하려면 GPU 이상의 것이 필요합니다. 🔥 Colossus의 스토리지 및 CPU 서버에 대한 세부 정보는 다소 제한되어 있지만 Patrick의 비디오와 블로그 게시물, 우리는 이러한 서버가 일반적으로 Supermicro 섀시에 있다는 것을 알고 있습니다. 🚀

x86 플랫폼 CPU를 탑재한 1U NVMe 포워드 서버가 내부에 사용되어 스토리지와 용량을 모두 제공합니다. 컴퓨팅, 후면에 액체 냉각 장치가 장착되어 있습니다. 💧 게다가 밖에서는 은행을 볼 수 있습니다. 배터리 매우 컴팩트한 Tesla Megapack. ⚡️

뱅크 간 대기 시간이 밀리초에 달하는 어레이의 시작-정지 기능은 기존 전력망이나 머스크의 디젤 발전기에 비해 너무 컸습니다. 이러한 이유로 여러 개의 Tesla Megapack(각각 3.9MWh 용량)이 중간 에너지원으로 사용됩니다. 그리드 전기와 슈퍼컴퓨터. 🖥️🔋 이는 중단을 피하면서 최적의 효율적인 작동을 보장합니다. 🚦✨

🌟 Colossus와 Musk의 안정적인 슈퍼컴퓨터 활용 🌟

Nvidia에 따르면 xAI Colossus 슈퍼컴퓨터는 현재 세계에서 가장 큰 AI 슈퍼컴퓨터입니다. 🤯 세계 최고의 슈퍼컴퓨터 중 다수가 날씨 패턴, 질병 또는 기타 복잡한 작업을 연구하기 위해 계약자나 학자의 연구에 사용되는 반면, Colossus는 X(이전 Twitter)의 다양한 AI 모델을 훈련하는 전적인 책임을 지고 있습니다. 주로 X Premium 가입자에게만 제공되는 Elon의 "깨우기 방지" 챗봇인 Grok 3가 있습니다. 🤖

Además, se informó a ServeTheHome que Colossus está entrenando modelos de IA “del futuro”; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se 업데이트할 예정 H100 GPU 50,000개와 차세대 H200 GPU 50,000개를 추가해 GPU 용량을 두 배로 늘렸습니다. 🔥

이것 업데이트 또한 에너지 소비량도 두 배 이상 증가하게 되는데, 이는 머스크가 7월에 현장에 추가한 14개의 디젤 발전기를 처리하기에는 이미 너무 많은 양입니다. ⚡ 비록 Colossus 내에서 300,000개의 H200을 제공하겠다는 Musk의 약속보다 낮지만 이는 업데이트 3단계의 일부일 수 있습니다. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla “Giga Texas” también pertenece a una empresa de Musk. Cortex se dedica a entrenar la 기술 카메라 스트리밍, 이미지 감지를 통한 Tesla의 자율 AI 기술은 물론 Tesla의 자율 로봇 및 기타 AI 프로젝트. 🤖🚗

또한 Tesla는 곧 뉴욕주 버팔로에 5억 달러 규모의 프로젝트인 Dojo 슈퍼컴퓨터 건설을 보게 될 것입니다. 💸 한편 Baidu CEO Robin Li와 같은 업계 투기꾼들은 거품이 꺼지면 AI 회사의 99%가 무너질 수 있다고 예측합니다. 머스크의 AI에 대한 기록적인 투자가 역효과를 낳을지, 아니면 성과를 거둘지는 아직 알 수 없습니다. ⏳