研究者は、Microsoft と OpenAI が AI モデルのマルチデータセンター分散トレーニングを解読した可能性があると主張している…

知っておくべきこと

• Microsoft と OpenAI はすでに、LLM 向けのマルチデータセンター分散トレーニングを実現している可能性があります。
• このニュースは、AIの資金、データセンターの冷却水、進歩の原動力となる電力など、リソースに対するAIの需要の高さに対する投資家の懸念が高まる中で発表された。 
• 特定のデータセンター間で掘削を行う企業の動機を強調する許可申請も提出されている。 

AIの急速な進歩と普及に伴い、さらなる成長と強力なAIシステムを実現するために、インフラの高度化が急務となっています。しかし、資金不足、建設スケジュールの遅延、許可制限、規制、そして電力供給不足により、これらの目標に向けた取り組みは急速に縮小しました。 

この目標達成のため、億万長者のイーロン・マスク氏は最近、テスラCortex AIスーパークラスター・プロジェクトの進捗状況を発表しました。報道によると、このプロジェクトには5万台のNVIDIA H100と、同社製のカスタムAIハードウェアDojo 2万台が投入され、自動運転やエネルギー管理などを実現するとのことです。しかし、初期予測では、このクラスターには2026年までに電力と冷却のためにさらに500MWが必要になるとされています。

MicrosoftやOpenAIなど、AI分野の大手テクノロジー企業は、AIモデルの学習に多額の投資を行ってきました。しかし、単一のデータセンターに限定されているため、そのプロセスは脆弱です。AI分野では後発ではあるものの、Googleは最先端のコンピューティングシステムを保有しており、Microsoft、OpenAI、Anthropicといった競合他社を大きくリードしています。 

しかし、MicrosoftとOpenAIは、AIのさらなる発展に不可欠となる可能性のある、複数データセンターの分散トレーニングを解明したと報じられています。AI分野に精通した技術愛好家、ジェームズ・キャンベル氏がX（旧Twitter）で共有した動画によると、ブティックAI＆半導体研究者のディラン・パテル氏は、MicrosoftとOpenAIがついに複数データセンターにまたがるLLM（法定言語モデル）のトレーニングを実現する現実的な方法を発見したと主張しています。

パテル氏は、今回の減点の要因はマイクロソフトとOpenAIの行動にあると考えている。「マイクロソフトは、データセンター同士を接続するために、光ファイバー会社と100億ドルを超える契約を結んでいる」とパテル氏は付け加えた。「特定のデータセンター間で掘削作業を行っていることを示す許可申請もすでに提出されている」

研究者はさらに、「かなり高い精度」で、この巨大IT企業が積極的に接続を試みている大規模データセンターが、地域全体で少なくとも5つあると主張している。パテル氏は、時間帯によって総電力使用量が1ギガワットを超えると推定している。

パテル氏によれば：

「そうですね、各GPUの消費電力も増加しています。経験則として、H100は700ワット程度ですが、GPUあたりの総消費電力は1200～1400ワット程度です。しかし、次世代のNVIDIA GPUはGPUあたり1200ワット程度です。実際には、合計で2000ワット程度になります。GPUあたりの消費電力は多少変動します。」

既に10万個のクラスターを保有しています。アリゾナのOpenAI、メンフィスのxAIなどです。他にも多くの企業がH100で10万個のクラスターを構築しています。MicrosoftとOpenAI、そして彼らのパートナー企業によって、GB200の10万個のクラスターが複数、少なくとも5つ構築されていると思います。さらに増える可能性もあります。50万個のGB200は1ギガワットに相当し、来年には稼働する予定です。

その翌年、すべてのデータセンター拠点を合計すると、どれだけの電力が消費されることになるのか…各データセンターの総容量ではなく、2022年以降の純増分だけを見ても、依然として数ギガワットを超えています。」

投資家の懸念にもかかわらずマイクロソフトが数十億ドル相当の光ファイバー取引に支出と投資をしていること、さらに同社が10万個のクラスターを構築していると報じられているデータセンターを考慮すると、マイクロソフトとOpenAIは複数データセンターの分散トレーニングを解決した可能性がある。

🎃ブラックフライデーのお得な早期セール🦃

• 💾Seagate Xbox 拡張カード (1TB) |  Best Buy で 129.99 ドル (70 ドルお得!)
• 📺LG 曲面 OLED モニター (32 インチ) | Amazon で $849.99 ($675 お得!)
• 🎮ASUS ROG Ally (Z1 Extreme) | Best Buy で 499.99 ドル (150 ドルお得!)
• 🔊テレビ・モニター用 2.1ch サウンドバー |  Walmart で 36.99 ドル（63 ドルお得！）
• 💻Dell G16 ゲーミング ノートパソコン (RTX 4070) | Dell で 1,299.99 ドル (450 ドルお得!)
• 📺LG C4 OLED 4K TV (42インチ) | Best Buy で 899.99 ドル (500 ドルお得!)
• 💻Samsung Galaxy Book4 Edge (X Elite) | Best Buy で 799.99 ドル (550 ドルお得!)
• 💻Dell XPS 13 (X Elite) | Best Buy で 999.99 ドル (500 ドルお得!)
• 🎧Sennheiser Momentum 4 ANC | Amazon で 219.95 ドル（280 ドルお得！）
• 💻HP Envy 2-in-1 14 (Ryzen 7) | Best Buy で $649.99 (400 ドルお得!)

Windows Centralでは、プライムデーのお得なセールやプライムデーに反するセールをインターネットで探していますが、現在、他にもたくさんの割引セールが開催されています。さらにお得なセールは以下でご覧いただけます。

• Xboxコントローラーのお買い得情報: Walmart | Target | Best Buy | Amazon | Newegg 
• Xbox SSD ストレージのお買い得情報: Walmart | Target | Best Buy | Amazon | Newegg 
• ゲーミングヘッドセットのお買い得情報: Walmart | Dell | Target | Best Buy | Amazon 
• MicroSDストレージのお買い得情報: Walmart | Target | Best Buy | Amazon | Newegg 
• ゲーム用ハンドヘルドのお買い得品: Walmart | Target | Best Buy | Amazon | Newegg 
• ノートパソコンのお買い得情報: Walmart | Target | Best Buy | Amazon | Newegg 
• Copilot+ AIノートパソコンのお買い得情報：Walmart | Target | Best Buy | Amazon | Newegg 
• お得な情報をチェック: Walmart | Target | Best Buy | Amazon | Newegg 
• ミニPCのお買い得情報: Walmart | Target | Best Buy | Amazon | Newegg 
• ゲーミングキーボードのお買い得情報: Walmart | Best Buy | Amazon | Dell | Newegg 
• ゲーミングマウスのお買い得情報: Walmart | Best Buy | Amazon | Dell | Newegg

ケビン・オケムワは、ケニアのナイロビを拠点とするベテランのテクノロジージャーナリストです。Windows Centralで業界の最新トレンドや動向を幅広く取材し、豊富な経験を有しています。イノベーションへの情熱と細部への鋭い洞察力を持つ彼は、OnMSFT、MakeUseOf、Windows Reportといった主要メディアに寄稿し、Microsoftエコシステムを取り巻くあらゆるトピックについて、洞察力に富んだ分析と最新ニュースを提供しています。常に変化するテクノロジーのトレンドを追っている暇な時は、世界を旅したり、音楽を聴いたりしています。