Секреты xAI Colossus: 100 000 графических процессоров

Что находится внутри кластера из 100 000 графических процессоров? 🤔

Патрик из ServeTheHome проводит нас со своей камерой по различным частям сервера, предлагая панорамный вид на его работу. Хотя некоторые подробности Более конкретные сведения о суперкомпьютере, такие как его энергопотребление и размер бомб, не могли быть раскрыты из-за соглашения о конфиденциальности, xAI позаботилась о размытии и цензуре частей видео перед его выпуском. 🎥

Несмотря на это, самое главное, как и серверы графический процессор от Supermicro, оставалась практически нетронутой на протяжении всего отснятого материала. Эти серверы GPU Нвидиа ХГХ H100 — мощное серверное решение с восемью графическими процессорами H100 каждый. 🚀 Платформа HGX H100 интегрирована в систему Universal GPU Liquid высотой 4U. Охлажденный от Supermicro, обеспечивающее легкое жидкостное охлаждение с возможностью горячей замены для каждого графического процессора. ❄️

Эти серверы организованы в стойки, содержащие по восемь серверов в каждой, всего 64. графический процессор по кадру. Между каждым HGX H100 расположены разъемы 1U, обеспечивающие необходимое жидкостное охлаждение серверов. Внизу каждой стойки мы видим еще один блок Supermicro 4U, на этот раз оснащенный резервной насосной системой и системой мониторинга стойки. 🔍

🖥️ Эти стойки организованы в группы по восемь штук, что позволяет разместить 512 графический процессор по матрице. Каждый сервер оснащен четырьмя блоки питания избыточный. На задней стороне стоек графический процессор, имеются трехфазные источники питания, коммутаторы Ethernet и стоечный коллектор, который обеспечивает все жидкостное охлаждение. 💧

В кластере Colossus насчитывается более 1500 стоек. графический процессор, distribuidos en cerca de 200 conjuntos de bastidores. Según Jensen Huang, director ejecutivo de Nvidia, las GPU de estas 200 matrices se instalaron completamente en solo tres semanas. 🚀

Поскольку суперкластер ИИ, который постоянно обучает модели, требует огромной пропускной способности, xAI пошел дальше в плане взаимосвязанности красный. Каждая графическая карта имеет выделенный сетевой адаптер 400GbE (контроллер сетевого интерфейса) с дополнительным сетевым адаптером 400Gb на сервер. 🔗 Это означает, что каждый сервер HGX H100 имеет Ethernet-соединение со скоростью 3,6 терабит в секунду. Впечатляет, не правда ли? И да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических соединениях, которые являются стандартными в мире суперкомпьютеров. 🌐

Конечно, такому суперкомпьютеру, как чат-бот Grok 3, который обучает модели ИИ, нужно нечто большее, чем просто графический процессор функционировать наилучшим образом. 🔥 Хотя подробности о хранилищах и серверах ЦП в Colossus несколько ограничены, благодаря видео Патрика и сообщение в блогемы знаем, что эти серверы обычно поставляются на шасси Supermicro. 🚀

Используются серверы NVMe-forward 1U с процессорами на платформе x86 внутри, обеспечивающими как хранилище, так и вычислительные мощности, и оснащены жидкостным охлаждением сзади. 💧 Кроме того, снаружи можно увидеть очень компактные аккумуляторы Tesla Megapack. ⚡️

Функция «старт-стоп» массива с ее миллисекундной задержкой между блоками была слишком велика для обычной электросети или дизельных генераторов Маска. По этой причине несколько Tesla Megapacks (каждый мощностью 3,9 МВтч) используются в качестве промежуточного источника энергии между красный электричество и суперкомпьютер. 🖥️🔋Это обеспечивает оптимальную и эффективную работу, исключая перебои. 🚦✨

🌟 Использование Colossus и стабильного суперкомпьютера Маск 🌟

По данным Nvidia, суперкомпьютер xAI Colossus в настоящее время является крупнейшим суперкомпьютером искусственного интеллекта в мире. 🤯 В то время как многие из ведущих в мире суперкомпьютеров используются подрядчиками или учеными в исследованиях для изучения погодных условий, болезней или других сложных задач, Colossus несет единоличную ответственность за обучение различных моделей искусственного интеллекта X (ранее Twitter). В основном это Grok 3, чат-бот Илона «против пробуждения», доступный только подписчикам X Premium. 🤖

Кроме того, ServeTheHome сообщили, что Colossus проводит обучение модели искусственного интеллекта «del futuro»; modelos cuyos usos y capacidades supuestamente están más allá de las capacidades actuales de la IA. 🚀 La primera fase de construcción de Colossus está completa y el clúster está completamente operativo, pero aún no está todo terminado. La supercomputadora de Memphis pronto se actualizará para duplicar su capacidad de GPU, con 50.000 GPU H100 adicionales y 50.000 GPU H200 de próxima generación. 🔥

Этот обновлять Это также более чем удвоит энергопотребление, которое уже слишком велико для 14 дизельных генераторов, которые Маск установил на объекте в июле. ⚡ Хотя это и ниже обещания Маска о 300 000 H200 в рамках Colossus, это может быть частью третьей фазы проекта. обновления. 🔋

Por otro lado, la supercomputadora Cortex de 50.000 GPU en la planta de Tesla «Giga Texas» también pertenece a una empresa de Musk. Cortex se dedica a entrenar la tecnología de inteligencia artificial autónoma de Tesla a través de la transmisión de cámaras y la detección de imágenes, así como los robots autónomos de Tesla y otros proyectos de inteligencia artificial. 🤖🚗

Кроме того, Tesla скоро увидит строительство суперкомпьютера Dojo в Буффало, штат Нью-Йорк, проект стоимостью 500 миллионов долларов, который скоро появится. 💸 Между тем, отраслевые спекулянты, такие как генеральный директор Baidu Робин Ли, прогнозируют, что 99% компаний, занимающихся искусственным интеллектом, могут рухнуть, когда лопнет пузырь. Будут ли рекордные траты Маск на ИИ контрпродуктивными или окупятся, еще неизвестно. ⏳