Секреты xAI Colossus: 100 000 графических процессоров

Что находится внутри кластера из 100 000 графических процессоров? 🤔

Патрик из ServeTheHome проводит нас со своей камерой по различным частям сервера, предлагая панорамный вид на его работу. Хотя некоторые подробности Более конкретные сведения о суперкомпьютере, такие как его энергопотребление и размер бомб, не могли быть раскрыты из-за соглашения о конфиденциальности, xAI позаботилась о размытии и цензуре частей видео перед его выпуском. 🎥

Несмотря на это, самое главное, как и серверы графический процессор от Supermicro, оставалась практически нетронутой на протяжении всего отснятого материала. Эти серверы GPU Нвидиа ХГХ H100 — мощное серверное решение с восемью графическими процессорами H100 каждый. 🚀 Платформа HGX H100 интегрирована в систему Universal GPU Liquid высотой 4U. Охлажденный от Supermicro, обеспечивающее легкое жидкостное охлаждение с возможностью горячей замены для каждого графического процессора. ❄️

Эти серверы организованы в стойки, содержащие по восемь серверов в каждой, всего 64. графический процессор по кадру. Между каждым HGX H100 расположены разъемы 1U, обеспечивающие необходимое жидкостное охлаждение серверов. Внизу каждой стойки мы видим еще один блок Supermicro 4U, на этот раз оснащенный резервной насосной системой и системой мониторинга стойки. 🔍

🖥️ Эти стойки организованы в группы по восемь штук, что позволяет разместить 512 графический процессор по матрице. Каждый сервер оснащен четырьмя блоки питания избыточный. На задней стороне стоек графический процессор, имеются трехфазные источники питания, коммутаторы Ethernet и стоечный коллектор, который обеспечивает все жидкостное охлаждение. 💧

В кластере Colossus насчитывается более 1500 стоек. графический процессор, распределенных примерно по 200 наборам рамок. По словам Дженсена Хуанга, генерального директора Nvidia, графические процессоры на этих 200 кристаллах были полностью установлены всего за три недели. 🚀

Поскольку суперкластер ИИ, который постоянно обучает модели, требует огромной пропускной способности, xAI пошел дальше в плане взаимосвязанности сетка. Каждая графическая карта имеет выделенный сетевой адаптер 400GbE (контроллер сетевого интерфейса) с дополнительным сетевым адаптером 400Gb на сервер. 🔗 Это означает, что каждый сервер HGX H100 имеет Ethernet-соединение со скоростью 3,6 терабит в секунду. Впечатляет, не правда ли? И да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических соединениях, которые являются стандартными в мире суперкомпьютеров. 🌐

Конечно, такому суперкомпьютеру, как чат-бот Grok 3, который обучает модели ИИ, нужно нечто большее, чем просто графический процессор функционировать наилучшим образом. 🔥 Хотя подробности о хранилищах и серверах ЦП в Colossus несколько ограничены, благодаря видео Патрика и сообщение в блогемы знаем, что эти серверы обычно поставляются на шасси Supermicro. 🚀

Внутри используются серверы 1U NVMe-forward с процессорами платформы x86, обеспечивающие как хранилище, так и емкость. вычисленияи оснащены жидкостным охлаждением сзади. 💧 Кроме того, снаружи можно увидеть банки батарейки Очень компактный Tesla Megapack. ⚡️

Функция «старт-стоп» массива с ее миллисекундной задержкой между блоками была слишком велика для обычной электросети или дизельных генераторов Маска. По этой причине несколько Tesla Megapacks (каждый мощностью 3,9 МВтч) используются в качестве промежуточного источника энергии между сетка электричество и суперкомпьютер. 🖥️🔋Это обеспечивает оптимальную и эффективную работу, исключая перебои. 🚦✨

🌟 Использование Colossus и стабильного суперкомпьютера Маск 🌟

По данным Nvidia, суперкомпьютер xAI Colossus в настоящее время является крупнейшим суперкомпьютером искусственного интеллекта в мире. 🤯 В то время как многие из ведущих в мире суперкомпьютеров используются подрядчиками или учеными в исследованиях для изучения погодных условий, болезней или других сложных задач, Colossus несет единоличную ответственность за обучение различных моделей искусственного интеллекта X (ранее Twitter). В основном это Grok 3, чат-бот Илона «против пробуждения», доступный только подписчикам X Premium. 🤖

Кроме того, ServeTheHome сообщили, что Colossus проводит обучение модели искусственного интеллекта «будущего»; модели, применение и возможности которых предположительно выходят за рамки нынешних возможностей ИИ. 🚀 Первый этап строительства Колосса завершен, и кластер полностью готов к работе, но это еще не все. Суперкомпьютер Мемфис скоро будет обновлю удвоить мощность графических процессоров, добавив дополнительно 50 000 графических процессоров H100 и 50 000 графических процессоров H200 следующего поколения. 🔥

Этот обновлять Это также более чем удвоит энергопотребление, которое уже слишком велико для 14 дизельных генераторов, которые Маск установил на объекте в июле. ⚡ Хотя это и ниже обещания Маска о 300 000 H200 в рамках Colossus, это может быть частью третьей фазы проекта. обновления. 🔋

С другой стороны, суперкомпьютер Cortex на 50 000 графических процессоров на заводе Tesla «Giga Texas» также принадлежит компании Маска. Cortex занимается обучением технология Автономная технология искусственного интеллекта Tesla посредством потоковой передачи данных с камер и обнаружения изображений, а также автономные роботы Tesla и другие проекты искусственного интеллекта. 🤖🚗

Кроме того, Tesla скоро увидит строительство суперкомпьютера Dojo в Буффало, штат Нью-Йорк, проект стоимостью 500 миллионов долларов, который скоро появится. 💸 Между тем, отраслевые спекулянты, такие как генеральный директор Baidu Робин Ли, прогнозируют, что 99% компаний, занимающихся искусственным интеллектом, могут рухнуть, когда лопнет пузырь. Будут ли рекордные траты Маск на ИИ контрпродуктивными или окупятся, еще неизвестно. ⏳