Os segredos do xAI Colossus: 100.000 GPUs

O que há dentro de um cluster de 100.000 GPUs? 🤔

Patrick da ServeTheHome nos leva em um tour com sua câmera por diferentes partes do servidor, oferecendo uma visão panorâmica de seu funcionamento. Embora alguns detalhes Mais específicos do supercomputador, como seu consumo de energia e o tamanho das bombas, não puderam ser revelados devido a um acordo de confidencialidade, a xAI se encarregou de desfocar e censurar partes do vídeo antes de seu lançamento. 🎥

Apesar disso, o mais importante, como os servidores GPU da Supermicro, permaneceu praticamente intacto durante toda a filmagem. Esses servidores GPU são Nvidia HGX H100, uma solução de servidor poderosa com oito GPUs H100 cada. 🚀 A plataforma HGX H100 está integrada ao sistema 4U Universal GPU Liquid Resfriado da Supermicro, fornecendo resfriamento líquido facilmente hot-swap para cada GPU. ❄️

Esses servidores são organizados em racks contendo oito servidores cada, totalizando 64 GPU por quadro. Cabeçalhos 1U são colocados entre cada HGX H100, fornecendo o resfriamento líquido necessário para os servidores. Na parte inferior de cada rack, encontramos outra unidade Supermicro 4U, desta vez equipada com um sistema de bomba redundante e um sistema de monitoramento de rack. 🔍

🖥️ Esses racks são organizados em grupos de oito, permitindo 512 GPU por matriz. Cada servidor está equipado com quatro fontes de alimentação redundante. Na parte de trás das prateleiras de GPU, há fontes de alimentação trifásicas, switches Ethernet e um coletor do tamanho de um rack que fornece todo o resfriamento líquido. 💧

Há mais de 1.500 racks no cluster Colossus. GPU, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Como um supercluster de IA que treina constantemente modelos requer uma enorme largura de banda, o xAI foi mais longe em sua interconectividade de vermelho. Cada placa de vídeo tem uma NIC (controlador de interface de rede) dedicada de 400 GbE, com uma NIC adicional de 400 Gb por servidor. 🔗 Isso significa que cada servidor HGX H100 tem 3,6 Terabits por segundo de Ethernet. Impressionante, não é? E sim, todo o cluster roda em Ethernet, em vez de InfiniBand ou outras conexões exóticas que são padrão no mundo da supercomputação. 🌐

É claro que um supercomputador como o chatbot Grok 3, que treina modelos de IA, precisa de mais do que apenas GPU para funcionar da melhor forma possível. 🔥 Embora os detalhes sobre armazenamento e servidores de CPU no Colossus sejam um tanto limitados, graças ao vídeo de Patrick e ao postagem no blog, sabemos que esses servidores geralmente estão em chassis Supermicro. 🚀

Servidores 1U NVMe-forward com CPUs de plataforma x86 são usados ​​internamente, fornecendo capacidade de armazenamento e computação, e são equipados com refrigeração líquida na parte traseira. 💧 Além disso, do lado de fora você pode ver bancos de baterias Tesla Megapack muito compactos. ⚡️

O recurso start-stop do array, com sua latência de milissegundos entre os bancos, era demais para a rede elétrica convencional ou para os geradores a diesel de Musk. Por esta razão, vários Tesla Megapacks (cada um com capacidade de 3,9 MWh) são utilizados como fonte de energia intermediária entre o vermelho eletricidade e o supercomputador. 🖥️🔋 Isso garante um funcionamento ideal e eficiente, evitando interrupções. 🚦✨

🌟 O uso do supercomputador estável de Colossus e Musk 🌟

O supercomputador xAI Colossus é atualmente, segundo a Nvidia, o maior supercomputador de IA do mundo. 🤯 Embora muitos dos principais supercomputadores do mundo sejam usados em pesquisas por empreiteiros ou acadêmicos para estudar padrões climáticos, doenças ou outras tarefas complexas, a Colossus é a única responsável por treinar os vários modelos de IA do X (anteriormente Twitter). Principalmente, Grok 3, o chatbot “anti-woke” de Elon que está disponível apenas para assinantes X Premium. 🤖

Além disso, ServeTheHome foi informado de que o Colossus está treinando Modelos de IA «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Esse atualizar Também mais do que duplicará o seu consumo de energia, o que já é demasiado para os 14 geradores a diesel que Musk adicionou ao local em julho. ⚡ Embora esteja abaixo da promessa de Musk de 300.000 H200 dentro do Colossus, isso pode fazer parte da fase 3 do atualizações. 🔋

Por outro lado, o supercomputador Cortex de 50.000 GPUs da fábrica “Giga Texas” da Tesla também pertence a uma empresa de Musk. A Cortex se dedica a treinar a tecnologia de IA autônoma da Tesla por meio de streaming de câmera e detecção de imagens, bem como os robôs autônomos da Tesla e outros projetos de IA. 🤖🚗

Além disso, a Tesla verá em breve a construção do supercomputador Dojo em Buffalo, Nova York, um projeto de US$ 500 milhões que será lançado em breve. 💸 Enquanto isso, especuladores do setor, como o CEO do Baidu, Robin Li, prevêem que 99% das empresas de IA poderão entrar em colapso quando a bolha estourar. Resta saber se os gastos recordes de Musk em IA serão um tiro pela culatra ou serão recompensados. ⏳