Секреты xAI Colossus: 100 000 графических процессоров

Что находится внутри кластера из 100 000 графических процессоров? 🤔

Патрик из ServeTheHome проводит нас со своей камерой по различным частям сервера, предлагая панорамный вид на его работу. Хотя некоторые подробности Более конкретные сведения о суперкомпьютере, такие как его энергопотребление и размер бомб, не могли быть раскрыты из-за соглашения о конфиденциальности, xAI позаботилась о размытии и цензуре частей видео перед его выпуском. 🎥

Несмотря на это, самое главное, как и серверы графический процессор от Supermicro, оставалась практически нетронутой на протяжении всего отснятого материала. Эти серверы GPU Нвидиа ХГХ H100 — мощное серверное решение с восемью графическими процессорами H100 каждый. 🚀 Платформа HGX H100 интегрирована в систему Universal GPU Liquid высотой 4U. Охлажденный от Supermicro, обеспечивающее легкое жидкостное охлаждение с возможностью горячей замены для каждого графического процессора. ❄️

Эти серверы организованы в стойки, содержащие по восемь серверов в каждой, всего 64. графический процессор по кадру. Между каждым HGX H100 расположены разъемы 1U, обеспечивающие необходимое жидкостное охлаждение серверов. Внизу каждой стойки мы видим еще один блок Supermicro 4U, на этот раз оснащенный резервной насосной системой и системой мониторинга стойки. 🔍

🖥️ Эти стойки организованы в группы по восемь штук, что позволяет разместить 512 графический процессор по матрице. Каждый сервер оснащен четырьмя блоки питания избыточный. На задней стороне стоек графический процессор, имеются трехфазные источники питания, коммутаторы Ethernet и стоечный коллектор, который обеспечивает все жидкостное охлаждение. 💧

В кластере Colossus насчитывается более 1500 стоек. графический процессор, распределенных примерно по 200 наборам стоек. По словам Дженсена Хуанга, генерального директора Nvidia, GPU этих 200 матриц были полностью установлены всего за три недели. 🚀

Поскольку суперкластер ИИ, который постоянно обучает модели, требует огромной пропускной способности, xAI пошел дальше в плане взаимосвязанности красный. Каждая графическая карта имеет выделенный сетевой адаптер 400GbE (контроллер сетевого интерфейса) с дополнительным сетевым адаптером 400Gb на сервер. 🔗 Это означает, что каждый сервер HGX H100 имеет Ethernet-соединение со скоростью 3,6 терабит в секунду. Впечатляет, не правда ли? И да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических соединениях, которые являются стандартными в мире суперкомпьютеров. 🌐

Конечно, такому суперкомпьютеру, как чат-бот Grok 3, который обучает модели ИИ, нужно нечто большее, чем просто графический процессор функционировать наилучшим образом. 🔥 Хотя подробности о хранилищах и серверах ЦП в Colossus несколько ограничены, благодаря видео Патрика и сообщение в блогемы знаем, что эти серверы обычно поставляются на шасси Supermicro. 🚀

Используются серверы NVMe-forward 1U с процессорами на платформе x86 внутри, обеспечивающими как хранилище, так и вычислительные мощности, и оснащены жидкостным охлаждением сзади. 💧 Кроме того, снаружи можно увидеть очень компактные аккумуляторы Tesla Megapack. ⚡️

Функция «старт-стоп» массива с ее миллисекундной задержкой между блоками была слишком велика для обычной электросети или дизельных генераторов Маска. По этой причине несколько Tesla Megapacks (каждый мощностью 3,9 МВтч) используются в качестве промежуточного источника энергии между красный электричество и суперкомпьютер. 🖥️🔋Это обеспечивает оптимальную и эффективную работу, исключая перебои. 🚦✨

🌟 Использование Colossus и стабильного суперкомпьютера Маск 🌟

По данным Nvidia, суперкомпьютер xAI Colossus в настоящее время является крупнейшим суперкомпьютером искусственного интеллекта в мире. 🤯 В то время как многие из ведущих в мире суперкомпьютеров используются подрядчиками или учеными в исследованиях для изучения погодных условий, болезней или других сложных задач, Colossus несет единоличную ответственность за обучение различных моделей искусственного интеллекта X (ранее Twitter). В основном это Grok 3, чат-бот Илона «против пробуждения», доступный только подписчикам X Premium. 🤖

Кроме того, ServeTheHome сообщили, что Colossus проводит обучение модели искусственного интеллекта «будущего»; модели, чьи возможности и применение предположительно выходят за рамки современных возможностей ИИ. 🚀 Первая фаза строительства Colossus завершена, и кластер полностью работоспособен, но еще не все закончено. Суперкомпьютер в Мемфисе вскоре будет модернизирован для удвоения его мощности GPU, с дополнительными 50 000 GPU H100 и 50 000 GPU H200 следующего поколения. 🔥

Этот обновлять Это также более чем удвоит энергопотребление, которое уже слишком велико для 14 дизельных генераторов, которые Маск установил на объекте в июле. ⚡ Хотя это и ниже обещания Маска о 300 000 H200 в рамках Colossus, это может быть частью третьей фазы проекта. обновления. 🔋

С другой стороны, суперкомпьютер Cortex на 50 000 GPU на заводе Tesla «Giga Texas» также принадлежит компании Маска. Cortex занимается обучением технологии автономного искусственного интеллекта Tesla с помощью передачи камер и обнаружения изображений, а также автономных роботов Tesla и других проектов искусственного интеллекта. 🤖🚗

Кроме того, Tesla скоро увидит строительство суперкомпьютера Dojo в Буффало, штат Нью-Йорк, проект стоимостью 500 миллионов долларов, который скоро появится. 💸 Между тем, отраслевые спекулянты, такие как генеральный директор Baidu Робин Ли, прогнозируют, что 99% компаний, занимающихся искусственным интеллектом, могут рухнуть, когда лопнет пузырь. Будут ли рекордные траты Маск на ИИ контрпродуктивными или окупятся, еще неизвестно. ⏳