xAI Colossus の秘密: 100,000 GPU

100,000 GPU クラスターの内部には何が入っているのでしょうか? 🤔

ServeTheHome の Patrick が、カメラを持ってサーバーのさまざまな部分を巡るツアーに私たちを連れて行き、サーバーの動作のパノラマ ビューを提供します。多少ですが 詳細 スーパーコンピューターの消費電力や爆弾のサイズなど、より具体的な情報は機密保持契約により明らかにできなかったが、xAI は公開前にビデオの一部のぼかしや検閲を行った。 🎥

それにもかかわらず、最も重要なのは、サーバーのような GPU Supermicro の製品は、映像全体を通じてほぼ無傷のままでした。これらのGPUサーバーは エヌビディア HGX H100 は、それぞれ 8 つの H100 GPU を備えた強力なサーバー ソリューションです。 🚀 HGX H100 プラットフォームは 4U Universal GPU Liquid システム内に統合されています 冷却された Supermicro の製品で、各 GPU に簡単にホットスワップ可能な液体冷却を提供します。 ❄️

これらのサーバーは、それぞれ8台のサーバーが入ったラックにまとめられており、合計64台になります。 GPU フレームごとに。各 HGX H100 の間に 1U ヘッダーが挟まれ、サーバーに必要な液体冷却を提供します。各ラックの下部には、冗長ポンプ システムとラック監視システムを備えた別の Supermicro 4U ユニットがあります。 🔍

🖥️ これらのラックは8つのグループに分かれており、512の GPU マトリックスによって。各サーバーには4つの 電源 冗長です。ラックの裏側に GPU3 相電源、イーサネット スイッチ、およびすべての液体冷却を提供するラック サイズのマニホールドがあります。 💧

Colossus クラスターには 1,500 を超えるラックがあります。 GPU約200セットのフレームで配布されます。 CEOのジェンセン・フアン氏によると、 エヌビディア、これら 200 個のダイ上の GPU は、わずか 3 週間で完全に取り付けられました。 🚀

AIスーパークラスターがモデルを継続的にトレーニングするには膨大な帯域幅が必要となるため、xAIは相互接続性をさらに強化しました。 赤。各グラフィック カードには専用の 400GbE NIC (ネットワーク インターフェイス コントローラー) があり、サーバーごとに追加の 400Gb NIC があります。 🔗 これは、各 HGX H100 サーバーが 3.6 テラビット/秒のイーサネットを備えていることを意味します。すごいですね。そして、はい、クラスター全体は、スーパーコンピューティングの世界で標準となっている InfiniBand やその他の特殊な接続ではなく、イーサネット上で実行されます。 🌐

もちろん、AIモデルを訓練するGrok 3チャットボットのようなスーパーコンピューターには、 GPU 最高の状態で機能する。 🔥 ColossusのストレージとCPUサーバーの詳細はやや限られていますが、Patrickのビデオと ブログ投稿、これらのサーバーは通常、Supermicro シャーシ内にあることがわかっています。 🚀

x86 プラットフォーム CPU を搭載した 1U NVMe フォワード サーバーが内部で使用され、ストレージと容量の両方を提供します。 コンピューティング、後部に水冷が装備されています。 💧 さらに、外には銀行が見えます 電池 非常にコンパクトなテスラメガパック。 ⚡️

このアレイのスタートストップ機能は、バンク間のミリ秒単位の遅延を伴うため、従来の電力網やマスク氏のディーゼル発電機には多すぎた。このため、複数のテスラ メガパック (それぞれの容量は 3.9 MWh) が、テスラ メガパック間の中間エネルギー源として使用されています。 赤 電気とスーパーコンピューター。 🖥️🔋 これにより、最適かつ効率的な運用が保証され、中断が回避されます。 🚦✨

🌟 Colossus と Musk の安定したスーパーコンピューターの使用 🌟

Nvidia によると、xAI Colossus スーパーコンピューターは現在、世界最大の AI スーパーコンピューターです。 🤯 世界有数のスーパーコンピューターの多くは、気象パターン、病気、その他の複雑なタスクを研究するために請負業者や学者による研究に使用されていますが、Colossus は X (旧 Twitter) のさまざまな AI モデルのトレーニングに単独で責任を負っています。主に、X Premium 加入者のみが利用できる Elon の「アンチウェイク」チャットボットである Grok 3 です。 🤖

さらに、ServeTheHomeはコロッサスが訓練中であることを知らされた。 AIモデル 「未来の」;その用途と機能は、現在の AI の能力を超えていると考えられるモデル。 🚀 Colossus 構築の第一フェーズは完了し、クラスターは完全に稼働していますが、まだすべては終わっていません。メンフィスのスーパーコンピューターはまもなく 更新します 50,000 個の H100 GPU と 50,000 個の次世代 H200 GPU が追加され、GPU 容量が 2 倍になります。 🔥

これ アップデート また、エネルギー消費量も2倍以上となり、マスク氏が7月に敷地内に追加した14台のディーゼル発電機ではすでに多すぎて対応できない。 ⚡ マスク氏が約束したコロッサス内での 300,000 H200 を下回っていますが、これはフェーズ 3 の一部となる可能性があります。 アップデート。 🔋

一方、テスラの「ギガテキサス」工場にある5万GPUのCortexスーパーコンピューターもマスク社のものだ。 Cortex は、 テクノロジー カメラストリーミングと画像検出によるテスラの自律型 AI テクノロジー、およびテスラの自律型ロボットやその他の AI プロジェクト。 🤖🚗

さらに、テスラは間もなくニューヨーク州バッファローに5億ドル規模のスーパーコンピューター「Dojo」の建設を予定している。 💸 一方、Baidu CEO の Robin Li のような業界の投機家は、バブルが崩壊すると AI 企業の 99% が崩壊する可能性があると予測しています。マスク氏のAIへの記録的な支出が裏目に出るか、それとも報われるかはまだ分からない。 ⏳