xAI Colossus의 비밀: 100,000개의 GPU

100,000개의 GPU 클러스터 안에는 무엇이 들어있나요? 🤔

ServeTheHome의 Patrick은 카메라를 들고 서버의 여러 부분을 둘러보며 서버 운영에 대한 파노라마 뷰를 제공합니다. 비록 일부 세부 전력 소비, 폭탄의 크기 등 슈퍼컴퓨터에 대한 구체적인 내용은 기밀 유지 계약으로 인해 공개할 수 없었지만, xAI는 공개 전에 동영상의 일부를 흐리게 처리하고 검열했습니다. 🎥

그럼에도 불구하고 가장 중요한 것은 서버와 같은 GPU Supermicro의 이미지는 영상 내내 사실상 그대로 유지되었습니다. 이 GPU 서버는 엔비디아 HGX H100은 각각 8개의 H100 GPU를 갖춘 강력한 서버 솔루션입니다. 🚀 HGX H100 플랫폼은 4U Universal GPU Liquid 시스템에 통합되어 있습니다. 냉각 Supermicro에서 각 GPU에 대해 쉽게 핫스왑 가능한 액체 냉각을 제공합니다. ❄️

이러한 서버는 각각 8개의 서버를 포함하는 랙으로 구성되어 총 64개입니다. GPU 프레임별로. 각 HGX H100 사이에 1U 헤더가 끼워져 있어 서버에 필요한 액체 냉각을 제공합니다. 각 랙의 하단에는 또 다른 Supermicro 4U 장치가 있는데, 이번에는 중복 펌프 시스템과 랙 모니터링 시스템이 장착되어 있습니다. 🔍

🖥️ 이 랙은 8개 그룹으로 구성되어 있어 512개를 수용할 수 있습니다. GPU 매트릭스로. 각 서버에는 4개가 장착되어 있습니다 전원 공급 장치 많은. 랙의 뒤쪽에 GPU, 3상 전원 공급 장치, 이더넷 스위치, 모든 액체 냉각을 제공하는 랙 크기 매니폴드가 있습니다. 💧

콜로서스 클러스터에는 1,500개가 넘는 랙이 있습니다. GPU약 200개의 프레임 세트로 배포됩니다. Jensen Huang CEO에 따르면 엔비디아, 이 200개 다이의 GPU는 단 3주 만에 완전히 설치되었습니다. 🚀

AI 슈퍼클러스터가 지속적으로 모델을 학습하려면 엄청난 대역폭이 필요하므로 xAI는 상호 연결성을 더욱 강화했습니다. 그리드. 각 그래픽 카드에는 전용 400GbE NIC(네트워크 인터페이스 컨트롤러)가 있으며, 서버당 추가 400Gb NIC가 있습니다. 🔗 즉, 각 HGX H100 서버는 초당 3.6테라비트의 이더넷을 보유하고 있습니다. 인상적이죠? 물론입니다. 전체 클러스터는 슈퍼컴퓨팅 분야에서 표준으로 사용되는 InfiniBand나 다른 이국적인 연결이 아닌 이더넷에서 실행됩니다. 🌐

물론 AI 모델을 훈련하는 Grok 3 챗봇과 같은 슈퍼컴퓨터에는 그 이상이 필요합니다. GPU 최상의 기능을 발휘하려면. 🔥 Colossus의 스토리지 및 CPU 서버에 대한 세부 정보는 다소 제한적이지만 Patrick의 비디오와 블로그 게시물, 우리는 이러한 서버가 일반적으로 Supermicro 섀시에 있다는 것을 알고 있습니다. 🚀

x86 플랫폼 CPU를 탑재한 1U NVMe 포워드 서버가 내부에 사용되어 스토리지와 용량을 모두 제공합니다. 컴퓨팅, 후면에 액체 냉각 장치가 장착되어 있습니다. 💧 게다가 밖에서는 은행을 볼 수 있습니다. 배터리 매우 컴팩트한 Tesla Megapack. ⚡️

뱅크 간 대기 시간이 밀리초에 달하는 어레이의 시작-정지 기능은 기존 전력망이나 머스크의 디젤 발전기에 비해 너무 컸습니다. 이러한 이유로 여러 개의 Tesla Megapack(각각 3.9MWh 용량)이 중간 에너지원으로 사용됩니다. 그리드 전기와 슈퍼컴퓨터. 🖥️🔋 이는 중단을 피하면서 최적의 효율적인 작동을 보장합니다. 🚦✨

🌟 Colossus와 Musk의 안정적인 슈퍼컴퓨터 활용 🌟

Nvidia에 따르면 xAI Colossus 슈퍼컴퓨터는 현재 세계에서 가장 큰 AI 슈퍼컴퓨터입니다. 🤯 세계 최고의 슈퍼컴퓨터 중 다수가 날씨 패턴, 질병 또는 기타 복잡한 작업을 연구하기 위해 계약자나 학자의 연구에 사용되는 반면, Colossus는 X(이전 Twitter)의 다양한 AI 모델을 훈련하는 전적인 책임을 지고 있습니다. 주로 X Premium 가입자에게만 제공되는 Elon의 "깨우기 방지" 챗봇인 Grok 3가 있습니다. 🤖

또한 ServeTheHome은 Colossus가 훈련을 받고 있다는 사실을 알게 되었습니다. AI 모델 «미래의»; 현재 AI의 역량을 뛰어넘는 용도와 기능을 가진 모델입니다. 🚀 콜로서스 건설의 첫 번째 단계가 완료되었고 클러스터는 완전히 작동하고 있지만 아직 끝난 것은 아닙니다. 멤피스 슈퍼컴퓨터가 곧 업데이트할 예정 H100 GPU 50,000개와 차세대 H200 GPU 50,000개를 추가해 GPU 용량을 두 배로 늘렸습니다. 🔥

이것 업데이트 또한 에너지 소비량도 두 배 이상 증가하게 되는데, 이는 머스크가 7월 현장에 추가한 14개의 디젤 발전기가 처리하기에는 이미 너무 많은 양입니다. ⚡ 비록 머스크가 Colossus 내에서 300,000 H200을 약속한 수준에는 미치지 못하지만, 이는 3단계의 일부일 수 있습니다. 업데이트. 🔋

한편, Tesla의 'Giga Texas' 공장에 있는 50,000 GPU Cortex 슈퍼컴퓨터도 Musk 회사 소유입니다. Cortex는 교육에 전념하고 있습니다. 기술 카메라 스트리밍, 이미지 감지를 통한 Tesla의 자율 AI 기술은 물론 Tesla의 자율 로봇 및 기타 AI 프로젝트. 🤖🚗

또한 Tesla는 곧 뉴욕주 버팔로에 5억 달러 규모의 프로젝트인 Dojo 슈퍼컴퓨터 건설을 보게 될 것입니다. 💸 한편 Baidu CEO Robin Li와 같은 업계 투기꾼들은 거품이 꺼지면 AI 회사의 99%가 무너질 수 있다고 예측합니다. 머스크의 AI에 대한 기록적인 투자가 역효과를 낳을지, 아니면 성과를 거둘지는 아직 알 수 없습니다. ⏳