Google、TPUでPyTorchが直接動くTorchTPU上に「vLLM-TorchTPU」と「SGLang-TorchTPU」を公開Ironwoodで100万トークン2.01セント、SGLang版はMetaで本番稼働と発表

Googleは2026年10月20日（Developers Blogの記事の日付。時刻の記載はなし）、PyTorchをTPU上で直接動かす「TorchTPU」の上に作った推論エンジン「vLLM-TorchTPU」と「SGLang-TorchTPU」を発表した。vLLM（ブイエルエルエム）はInferact、SGLang（エスジーラング）はRadixArkと共同で作ったとGoogleは説明している。Googleによると、Ironwood TPUでの公開ベンチマークで100万トークンあたり2.01セントを記録し、SGLang版はMetaで本番稼働中だという。

3行まとめ

1. Googleが2026年10月20日、TorchTPU上のvLLM・SGLang用エンジン（vLLM-TorchTPU／SGLang-TorchTPU）を発表。GitHubにリポジトリがある
2. Googleによると、SemiAnalysis InferenceXのQwen 3.5（Ironwood TPU）で100万トークンあたり2.01セント。SGLang版はMetaで本番稼働中
3. 既存のvLLM-Jax・SGLang-JAXは引き続き保守される。料金や提供地域は今回確認した公式ページに記載なし

本記事の内容は、日本時間10月21日0時台に公式ページで確認したものです。

何が発表されたのか

Google Developers Blogの記事（筆者はQi Zhou氏とChris Chan氏）によると、vLLMとSGLangはすでにJAXベースのバックエンドでTPU上で動いていた。ただ、サービング基盤をPyTorchでカスタマイズ・デバッグしたいという声が開発者から多く、PyTorchをTPUで直接動かすTorchTPUを作り、その上に新しいエンジンを載せたと説明している。

TorchTPUの仕組みについて、同記事は次のように書いている。

• TPUはPyTorchの標準のデバイスとして扱われ、テンソルはラッパー型なしの普通のPyTorchテンソルになる
• コードは即時実行（eager）でも、XLAを使ったtorch.compileでも動く
• 集団通信はtorch.distributedを通す
• Pallasで書いたカスタムカーネルを、コンパイル済みグラフ内のカスタム演算子としてPyTorchから呼べる

各デバイスが自分のPyTorchプロセスを持つため、両エンジンはフレームワーク本来のワーカーモデル、スケジューラ、KVキャッシュ管理、APIサーバーを保ち、その下にTPU向けの実装を足す。多くのモデルは、vLLMやSGLangが持つ標準のPyTorchモデル定義をそのまま使い、カーネルとレイヤー実装にTPU向けの最適化を入れる設計だ。

TorchTPU自体は、同じPyTorch Conference 2026に合わせたGoogle Cloud Blogの記事で「GitHubでオープンソースとして公開」と発表された。TorchTPUの仕組みは4月7日のDevelopers Blogでも紹介されていて、そのときの記事は2026年中のロードマップとして「公開GitHubリポジトリの立ち上げ」を挙げていた。Cloud Blogの発表どおりなら、その項目が実現した形だ。

どんな機能が使えるのか

Googleが挙げる対応機能は次のとおり（Developers Blogの一覧から）。

対応モデルについては「人気のオープンモデル系列の大半に対応」とし、Qwen、DeepSeek、GLM、Kimi、GPT-OSS、Gemma4などを挙げている。新しいオープンモデルの「Day 0」対応にも力を入れるという。

KVキャッシュの移動を担うTPU Syncとは

分離サービングとKVのオフロードは、どちらもKVキャッシュを計算したデバイスから別の場所へ動かす。その転送が計算と重ならないと遅延にそのまま足される、とGoogleは説明する。両エンジンはこの転送に「TPU Sync」を使う。ブログによると、TPU SyncはTPU上のKVキャッシュ転送・管理のためのオープンソースのC++ライブラリで、PyTorchテンソルの背後にあるデバイスバッファを直接読むためホスト側に余計なコピーが要らず、Pythonの外のスレッドで転送を走らせる。vLLM-TorchTPUはvLLMのKVコネクタ経由で、SGLang-TorchTPUは分離用の転送バックエンドとHiCacheのI/Oバックエンドとして使う。

性能と本番利用はどう説明されているか

Googleの説明は次のとおり。

• ベンチマーク: SemiAnalysisのコミュニティ標準プロジェクト「InferenceX」に公開で提出。Ironwood TPU（TPU 7x）でのQwen 3.5の最初の提出を最適化し、高並列度の設定で「全体で最も低い」100万トークンあたり2.01セントになったという
• AgentX: InferenceXのうち、長いコンテキストとマルチターンのエージェント処理を評価するトラックにも新しい結果を出し、Ironwoodがパレート・フロンティアの大半で先行していると書いている
• 本番利用: 両エンジンとも、プレビュー顧客のもとで大規模に稼働中。SGLang-TorchTPUはMetaの本番で動いているという
• Kimi K3: Inferactと、2.8兆パラメータのKimi K3向けに、デコード全体を1つのカーネルで動かすPallasのメガカーネルを統合。Ironwood TPUで1ユーザーあたり毎秒700トークン超を出したという。InferactによるKimi K3の最初のAgentX提出も予備的な段階で、今後の提出で分離サービングの規模を広げるとしている

Metaでの利用について、MetaのPyTorch-TPUリードZongwei Zhou氏は発表内で「SGLang-TorchTPUは今日Metaの本番で動いている」とコメントしている。いずれも発表側の数字と説明であり、本記事では再現していない。

日本の開発者にとっての入口

Googleが案内している入口は3つのGitHubリポジトリだ。

• vLLM-TorchTPU: github.com/vllm-project/vllm-torchtpu
• SGLang-TorchTPU: github.com/sgl-project/sglang-torchtpu
• TorchTPU: github.com/google-pytorch/torch_tpu

あわせてvLLM側は「貢献者向けのTPU計算資源プール」を設けるとしている。両エンジンの開発に貢献する開発者へ無料でTPUの計算資源を提供するもので、申請フォームへのリンクが記事にある。

Google Cloud Blogの側は、TorchTPUをHugging Face（Transformers v5ではdevice_map="tpu"でTPUに載せられる）、Ray、TorchTitan、llm-d、LiteRTなどと組み合わせる全体像を示している。llm-d 1.0（Red Hat、IBMとの公開）や、TorchTitan経由の学習でQwen 3 8Bが最大52%のMFU（モデルFLOPs利用率）を示し、最大8,192個のIronwood TPUまでほぼ線形にスケールしたという数字も同ブログにある。本記事の主題はvLLMとSGLangの2エンジンなので、これらは出典の案内にとどめる。

前のJAX版との違いと、残るもの

Developers Blogによると、vLLM-JaxとSGLang-JAXは「引き続き保守・サポートされ、コミュニティが使える」。つまり今回は置き換えではなく、PyTorch側の選択肢が加わった形だ。違いは、モデル定義と実行の流れをPyTorchのまま扱える点にある。

公式ページを読み比べて目に留まった3点

日本時間10月21日0時台に公式ページを取得して読み比べたところ、次の点が目に留まった。

1. TPU Syncの位置づけ: 発表記事は、両エンジンがKVキャッシュの転送にTPU Syncを使い、両エンジンともプレビュー顧客のもとで本番稼働中だと説明している。一方、取得したgithub.com/google/tpu-syncのREADMEには「現在活発に開発中で、一般利用はまだ推奨しない。採用したい場合は先にオーナーへ連絡するか、自己責任で」という注意書きがあった。PyTorch版のホイールについても「リリース工程はまだ性能のE2Eテストで保護されておらず、torchのパスは成熟途中」と書かれ、公開PyPIへの掲載は「近く」とある。個人で試すなら、この注意書きは先に読んでおきたい
2. 日付: Developers Blogの記事は10月20日付、Google Cloud Blogの記事は本文の表示が「October 21, 2026」付（ページの埋め込みデータ上の公開日は2026-10-20）。時差による表記の違いかもしれないが、理由は書かれていない。本記事は発表日を、Developers Blogの日付の10月20日としている
3. 関連発表のリンク: Developers Blogが「関連発表」として挙げるInferactとRadixArkの記事（vllm.ai／lmsys.orgのURL）は、取得した時点（日本時間0時台）ではどちらもHTTP 404だった。公開前か、公開直後の反映遅れかは確認できていない

今回確認できなかったこと

• 料金・提供地域: 今回取得した公式ページ（Developers Blog、Google Cloud Blog、TorchTPUの4月の記事、TPU SyncのGitHub）に、Ironwood TPUの利用料金や提供リージョン、日本での提供状況の記載はない。ベンチマークの2.01セントについて、発表は「100万トークンあたりのコスト（cost per million tokens）」と書くのみで、利用者が支払う料金との関係は説明していない。条件の詳細（並列度、入出力長など）は、Googleが指すInferenceXのページで確認する必要がある
• 共同開発元の発表: 上記のとおり、InferactとRadixArkの発表ページは取得できなかった
• 第三者による検証: Metaでの本番稼働とベンチマークの数字は、Googleとパートナーの説明による。筆者は動作を試していない
• 「プレビュー顧客」の範囲: 発表は「プレビュー顧客」での本番稼働と書くのみで、誰が何社使っているかは書いていない（名前が出るのはMetaだけ）

出典と確認時刻

• Announcing New vLLM and SGLang Inference Engines on TPU — Google Developers Blog（日本時間2026年10月21日0時06分に取得）
• TorchTPU is now open source: Run native PyTorch on TPUs — Google Cloud Blog（同0時07分）
• TorchTPU: Running PyTorch Natively on TPUs at Google Scale — Google Developers Blog（4月7日付の記事・同0時07分）
• google/tpu-sync — GitHub（同0時07分）

本記事は続報があり次第更新します。