Что находится внутри кластера из 100 000 графических процессоров? 🤔

Патрик из ServeTheHome проводит нас со своей камерой по различным частям сервера, предлагая панорамный вид на его работу. Хотя некоторые подробности Более конкретные сведения о суперкомпьютере, такие как его энергопотребление и размер бомб, не могли быть раскрыты из-за соглашения о конфиденциальности, xAI позаботилась о размытии и цензуре частей видео перед его выпуском. 🎥

Несмотря на это, самые важные вещи, такие как графические серверы Supermicro, на кадрах остались практически нетронутыми. Эти графические серверы Нвидиа ХГХ H100 — мощное серверное решение с восемью графическими процессорами H100 каждый. 🚀 Платформа HGX H100 интегрирована в систему Universal GPU Liquid высотой 4U. Охлажденный от Supermicro, обеспечивающее легкое жидкостное охлаждение с возможностью горячей замены для каждого графического процессора. ❄️

Эти серверы организованы в стойки, каждая из которых содержит по восемь серверов, что в сумме составляет 64 графических процессора на стойку. Коллекторы емкостью 1U расположены между каждым HGX H100, обеспечивая необходимое жидкостное охлаждение серверов. В нижней части каждой стойки мы находим еще один блок Supermicro 4U, на этот раз оснащенный резервной насосной системой и системой мониторинга стойки. 🔍

🖥️ Estos bastidores están organizados en grupos de ocho, lo que permite tener 512 GPU por matriz. Cada servidor está equipado con cuatro fuentes de alimentación redundantes. En la parte posterior de los bastidores de GPU, se encuentran fuentes de alimentación trifásicas, conmutadores Ethernet y un colector del tamaño de un bastidor que proporciona toda la refrigeración líquida. 💧

В кластере Colossus имеется более 1500 стоек с графическими процессорами, распределенных по почти 200 наборам стоек. По словам Дженсена Хуанга, генерального директора Nvidia, графические процессоры на этих 200 кристаллах были полностью установлены всего за три недели. 🚀

Поскольку суперкластеру искусственного интеллекта, который постоянно обучает модели, требуется высокая пропускная способность, xAI пошел еще дальше в обеспечении межсетевого взаимодействия. Каждый видеокарта Он оснащен выделенным сетевым адаптером 400 GbE (контроллер сетевого интерфейса) и дополнительным сетевым адаптером 400 GbE на сервер. 🔗 Это означает, что каждый сервер HGX H100 имеет 3,6 Терабит в секунду Ethernet. Впечатляет, правда? И да, весь кластер работает по Ethernet, а не по InfiniBand или другим экзотическим соединениям, которые являются стандартными в суперкомпьютерном пространстве. 🌐

Конечно, суперкомпьютеру, подобному чат-боту Grok 3, который обучает модели искусственного интеллекта, для максимальной работы требуется нечто большее, чем просто графический процессор. 🔥 Хотя подробная информация о хранилищах и процессорных серверах в Colossus несколько ограничена, благодаря видео Патрика и сообщение в блогемы знаем, что эти серверы обычно поставляются на шасси Supermicro. 🚀

Внутри используются серверы 1U NVMe-forward с процессорами платформы x86, обеспечивающие как хранилище, так и емкость. вычисленияи оснащены жидкостным охлаждением сзади. 💧 Кроме того, снаружи можно увидеть банки батарейки Очень компактный Tesla Megapack. ⚡️

Функция «старт-стоп» массива с ее миллисекундной задержкой между блоками была слишком велика для обычной электросети или дизельных генераторов Маска. По этой причине несколько Tesla Megapacks (каждый мощностью 3,9 МВтч) используются в качестве промежуточного источника энергии между сетка электричество и суперкомпьютер. 🖥️🔋Это обеспечивает оптимальную и эффективную работу, исключая перебои. 🚦✨

🌟 Использование Colossus и стабильного суперкомпьютера Маск 🌟

По данным Nvidia, суперкомпьютер xAI Colossus в настоящее время является крупнейшим суперкомпьютером искусственного интеллекта в мире. 🤯 В то время как многие из ведущих в мире суперкомпьютеров используются подрядчиками или учеными в исследованиях для изучения погодных условий, болезней или других сложных задач, Colossus несет единоличную ответственность за обучение различных моделей искусственного интеллекта X (ранее Twitter). В основном это Grok 3, чат-бот Илона «против пробуждения», доступный только подписчикам X Premium. 🤖

Кроме того, ServeTheHome сообщили, что Colossus обучает модели ИИ «будущего»; модели, использование и возможности которых предположительно выходят за рамки текущих возможностей ИИ. 🚀Первый этап строительства Колосса завершен и кластер полностью работоспособен, но еще не все завершено. Суперкомпьютер Мемфис скоро будет обновлю удвоить мощность графических процессоров, добавив дополнительно 50 000 графических процессоров H100 и 50 000 графических процессоров H200 следующего поколения. 🔥

Этот обновлять Это также более чем удвоит энергопотребление, которое уже слишком велико для 14 дизельных генераторов, которые Маск установил на объекте в июле. ⚡ Хотя это и ниже обещания Маска о 300 000 H200 в рамках Colossus, это может быть частью третьей фазы проекта. обновления. 🔋

С другой стороны, суперкомпьютер Cortex на 50 000 графических процессоров на заводе Tesla «Giga Texas» также принадлежит компании Маска. Cortex занимается обучением технология Автономная технология искусственного интеллекта Tesla посредством потоковой передачи данных с камер и обнаружения изображений, а также автономные роботы Tesla и другие проекты искусственного интеллекта. 🤖🚗

Кроме того, Tesla скоро увидит строительство суперкомпьютера Dojo в Буффало, штат Нью-Йорк, проект стоимостью 500 миллионов долларов, который скоро появится. 💸 Между тем, отраслевые спекулянты, такие как генеральный директор Baidu Робин Ли, прогнозируют, что 99% компаний, занимающихся искусственным интеллектом, могут рухнуть, когда лопнет пузырь. Будут ли рекордные траты Маск на ИИ контрпродуктивными или окупятся, еще неизвестно. ⏳