NVIDIA、DGX Spark（ディージーエックス スパーク）の8台クラスターを公式サポート統合メモリ1TBでGLM 5.3（753B）を動かし、デコードは1台比で最大4.43倍と発表

NVIDIAの技術ブログ（2026年10月22日付、公開は日本時間10月23日午前1時）によると、NVIDIAはGTC Berlinで、DGX Spark（ディージーエックス スパーク）を8台つなぐクラスターの公式サポートを発表しました。同ブログによると、統合メモリは合計1TBになり、Z.aiのGLM 5.3（753B）の全体を手元で動かせます。ブログには、8台でのデコード速度、複数モデルの振り分け、ゼロからの事前学習のスケーリング結果も載っています。

3行まとめ

1. NVIDIAが8ノードのDGX Sparkクラスターを公式サポートと発表。1台128GB、4台で512GB、8台で1TBの統合メモリになる
2. 同社の測定では、GLM 5.3（753B）は8台で動作し、Qwen3.8-27Bのデコードは1台の11.86からスイッチ接続の8台で52.58トークン/秒（4.43倍）、nanochatの事前学習は7.79倍
3. NVIDIA Syncでの8ノード対応は「年内に提供予定」。今回確認した公式ページには、価格と日本での提供の記載はなかった

本記事の内容は、日本時間10月23日1時台に公式ページで確認したものです。数字はすべてNVIDIAが自社の環境で測ったと書いているもので、筆者が測ったものではありません。

8台つなぐと何が変わるのか

DGX Spark1台の統合メモリは128GBです。ブログによると、4台で512GB、8台で1TBに届きます。4台構成では起動しなかった種類のモデルが動くようになる、というのが同社の説明です。例として、Z.aiのGLM 5.3（753B）が挙がっています。

同ブログによる実行例は次の2つです。

• GLM 5.3 Flash: 8台クラスターで、生成は毎秒約80トークン。ブログはこれを「早い段階の例」と呼んでいます
• GLM 5.3（nvidia/GLM-5.3-NVFP4）全体: NVFP4形式で約470GB。8台×128GBで動き、ブログは「ローカルで動かせる最大級のオープンモデルの1つ」としています

後者の測定値（MTP3を使用、プリフィルは入力8Kトークン）は次のとおりです。

同時実行を増やすと合計のデコードは31から67に伸びますが、1ユーザーあたりは31から18に下がります。1人で使うなら毎秒31トークンという水準です。

台数を増やすと、どれくらい速くなるのか

ブログは、台数による伸びを見るために、密なモデルのQwen3.8-27B（NVFP4）を、投機的デコードやMTPなしで1〜8台で測っています（llama-benchy、入力8,192・出力256トークン、同時実行1）。

デコードは台数に応じて大きく伸びる一方、プリフィルは8台でも1.94倍にとどまります。倍率は「1台と同じ精度」を基準にしています。「4.43倍」は8台という台数に対する値で、台数並みの8倍に近いわけではない点は読み間違えないようにしたいところです。

新しい通信バックエンド「RoCEnante」とは

ブログによると、スイッチ接続のクラスター向けに、Spark用に最適化した集団通信のバックエンド「RoCEnante」を評価しています。全ノードが入力を互いに送り合い、各ノードがローカルで足し合わせる方式です。リング型のall-reduceより通信の段数が減るため、小さなメッセージ・低い同時実行・少ないノード数のときに遅延が下がります。

• 8台のスイッチ構成でのデコードは、RoCEnanteありで4.43倍、なしで3.05倍。ブログはこれを「スケーリング効率が45%改善」と書いています
• 4台（NVFP4）ではプリフィル約5%・デコード約21%、8台の非量子化モデルではデコード約18%の向上
• FlashInferにマージ済みで、起動時のテストに失敗するとNCCLに自動で切り替わる

代償もブログ自身が書いています。各ノードが全ノードに入力を送るためデータ移動が増え、メッセージやノード数が増えるとリング型の効率のほうが有利になります。高い同時実行、大きなクラスター、リング接続ではNCCLのほうが速いとしており、NCCLは引き続き標準の選択肢です。

スイッチは必要か、リング接続でいいのか

ブログの答えは「用途による」です。

• 4台の推論機として安く組みたい: スイッチなしの物理リング。4台ではNCCLが既定でリング型アルゴリズムを使い、通信の流れと合うと説明されています
• 8台にする／2組の4台に分けたい／MPIのような点対点の通信を使う: スイッチが必要
• RoCEnanteを使いたい: 全ノード間の直接の点対点接続が前提のため、スイッチ構成のみ

先ほどの表のとおり、8台のリングは40.11トークン/秒、スイッチ（RoCEnante）は52.58トークン/秒です。1つのモデルを全ノードに広げる用途ではリングも「優れたデコード性能」とブログは評価しています。

複数モデルの振り分け──NeMo Switchyard

同じ8台を、複数のモデルプールに分けて使う例もあります。NVIDIA NeMo Switchyardは、リクエストまたはセッションごとに軽い分類器が判断して、適切なモデルプールに振り分け、負荷分散装置が複製に配るツールです。GitHubのリポジトリはApache-2.0ライセンスと表示されています。

ブログの試作では、OpenBMBのMiniCPM5 2Bを分類器と簡単な課題の実行役に、Qwen3.8 Flash Nextを難しい課題に使いました。Qwen3.8 Flash Nextは2ノードずつ3複製、MiniCPMは1ノードずつ2複製で、合計8ノードです。

• ツール利用のベンチマーク（ブログは「92件」と書き、結果は「91/100」と記載）で、振り分けたエージェントはQwenのみの構成と同じ点数
• Qwenに回す割合が半分のとき、全体のスループットはQwenのみの約1.5倍
• Qwenに回す割合が4分の1のとき、約3.0倍

ブログは、MiniCPMが複製1つあたり、Qwenよりおよそ1桁多いリクエストを毎秒処理できることが背景だと説明しています。振り分けの方針はYAMLファイルで書き、NVIDIAがサンプルを用意しています。なお、点数の分母は「92件」と「100」で本文の書き方が揃っていません。何を満点としたかは、今回確認した範囲では説明がありません。

ゼロからの事前学習は、ほぼ台数どおりに速くなる

学習は推論と違い、各ノードがモデルを丸ごと持てば、ノード間の通信は1ステップに1回の勾配の同期だけで済みます。ブログは、nanochatモデル（約8.965億パラメータ、20層、隠れ次元1,280、系列長2,048）をゼロから学習し、台数を増やして測りました。

グローバルバッチは1ステップ524,288トークンです。ブログは、小さなモデルをゼロから学習する場として、8台構成は「十分に現実的」と書いています。再現用のコードはGitHubで公開されているとのことです。

いつから、どうやって使えるのか

ブログによると、クラスターの設定と端末の管理はNVIDIA SyncのCluster Assistantが担います。ただし、**NVIDIA Syncでの8ノード対応は「年内に提供予定（coming by the end of the year）」**です。つまり、公式サポートが発表された一方で、Syncで8台を組む機能は今回の公開時点では出ていません。

手順の公式ページ（NVIDIA Build）も確認しました。

• 「Connect Multiple DGX Sparks for Distributed Workloads」（最終更新2026年9月24日）: 対象は2〜4台。NVIDIA Syncなら約10分、手動なら約1時間。各Sparkは2026年4月のDGX OS以降に更新済みである必要があり、スイッチを使う場合は、機器1台につき200Gbit/sのEthernetリンクを1本用意できるスイッチが必要
• 「Serve LLMs with vLLM Across DGX Sparks」（最終更新2026年9月28日）: ガイド付きの手順は2〜4台、コマンド例は2台のみ。4台ではスイッチが必要と書かれている

日本時間1時台に公式ページを開いて気づいた食い違い

日本時間10月23日1時台に3つのページを続けて取得して読むと、ブログの発表と手順ページのあいだに差がありました。ブログは「8ノードの公式サポート」と書いていますが、手順ページ2つはどちらも2〜4台が対象です。ブログ自身が「Syncの8ノード対応は年内」と書いているので、手順ページが後から更新される前提と読むのが自然ですが、その更新日は今回確認した範囲では書かれていません。

もう1つは4台の扱いです。ブログは4台のスイッチなしリング接続を、費用を抑えた構成として勧めています。一方、vLLMの手順ページの前提条件には「4台ではスイッチが必要」とあります。ページの目的（ガイド付きの手順）が違うため矛盾と断定はできませんが、4台を組む人は両方を読んだほうがよさそうです。

この記事で確認できなかったこと

• 価格・購入方法: 今回取得した公式ページ（ブログ、手順ページ2つ、GitHub）には、8台構成に必要なスイッチやケーブルの価格、DGX Sparkの価格の記載は見つかりませんでした
• 日本での提供: 同じく、日本での扱いに触れた記述は今回の取得ページにはありません。DGX Spark 64GB版の提供開始など、別の発表はこちらの記事にまとめています
• 第三者の再現: 数字はすべてNVIDIAの測定で、独立した検証は見ていません。測定時のソフトウェアの版や条件はブログの表の注記に限られます
• ブログの要約欄: ページ冒頭の「AI-Generated Summary」はNemotronによる自動要約で、ページ自身が「不完全な場合がある」と注意しています。本記事は要約ではなく本文と表から書きました
• 試用: 筆者は8台構成を動かしておらず、ここに書いたのは公式ページの記載だけです

ローカルで複数台をつなぐ話題としては、AppleがMac Studio 4台とMLXで816Bのモデルを動かした発表をこちらで扱っています。モデルも測定条件も違うため、数字の直接比較はしていません。

出典と確認時刻

• Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes（NVIDIA Technical Blog） — 2026年10月22日付、日本時間10月23日1時01分に取得
• Connect Multiple DGX Sparks for Distributed Workloads（NVIDIA Build） — 日本時間10月23日1時02分に取得
• Serve LLMs with vLLM Across DGX Sparks（NVIDIA Build） — 日本時間10月23日1時02分に取得
• NVIDIA-NeMo/Switchyard（GitHub） — 日本時間10月23日1時02分に取得

本記事は続報があり次第更新します。