富士通が「PHOTON」発表Transformerに代わるLLMアーキテクチャ、GPU当たり最大475倍のマルチクエリー性能

富士通が2026年6月24日、大規模言語モデル（LLM）向けの新アーキテクチャ「PHOTON」を発表した。現在主流のTransformerに代わる設計で、GPU当たり最大475倍のマルチクエリー推論性能を実現したとしている。

• Transformerのトークン単位処理を廃し、「意味のまとまり」で階層的に処理
• 1.2Bパラメータモデルで、GPU当たり最大475倍のマルチクエリー性能を確認（メモリ削減10.8倍とスループット43.8倍の複合値。品質はTransformer比でベンチマーク平均が下回るトレードオフあり）
• KVキャッシュ使用量を大幅削減し、同一GPUメモリで複数クエリを並列処理
• ACL 2026（7月2日、サンディエゴ）のオーラルセッションで論文発表予定（arXivプレプリントは発表の半年前から公開済み）

PHOTONとは何か

PHOTON（Parallel Hierarchical Operation for TOp-down Networks）は、富士通が開発したLLM向けの新しいアーキテクチャ。

現在のLLMはほぼすべてTransformerベースで動いている。Transformerは文章を細かいトークン単位に分解し、すべてのトークン間の関係を計算する。入力が長い場合や同時処理が多い場合、メモリアクセスが増加して処理速度が低下する。

PHOTONはこのアプローチを変え、テキストを「意味のまとまり」として捉えて階層的に処理する。富士通によると、これにより計算量を削減し、KVキャッシュ（推論時にメモリを大量消費する主要因）の使用量も大幅に抑えられるという。

「Transformerでトークンを1つずつ生成する」という現在の主流の作りを見直す研究は、PHOTON以外にもある。Googleの「Diffusion Gemma」は、Hugging Faceのモデルカードによると、Gemma 4をベースにしたまま、生成の仕方を「1トークンずつ」から「トークンのブロックを並列にノイズ除去して作り、ブロック単位で順に進める」方式に変えたモデルである（関連記事: Google、ローカル動作の拡散型テキスト生成モデル「Diffusion Gemma」を公開）。スタンフォード大学などの研究者が提案した「Test-Time Training（TTT）」層は、論文（arXiv:2407.04620）のアブストラクトによると、自己注意（self-attention）の計算量が文脈長の2乗で増える問題に対し、推論時の入力でも隠れ状態を自己教師あり学習で更新し続けることで、線形の計算量のまま長い文脈を扱うことを狙う（関連記事: AIが『問題を解きながら賢くなる』──テスト時学習（Test-Time Training）とは）。PHOTONは、富士通が「意味のまとまり」と呼ぶ単位にトークンを圧縮して階層的に処理するという、これらとは別の切り口の提案にあたる。

検証結果

富士通の発表によると、600M・900M・1.2Bパラメータの3サイズで検証を実施。

• 1.2BモデルでGPU当たり最大475倍のマルチクエリー性能を確認
• わずか9クエリーの統合で、従来のTransformerと同等の生成品質を達成
• 同一GPUメモリ上で複数の結果を並列取得可能に

応用先

富士通が挙げている応用分野は以下の通り。

• 長文書の処理
• 多数ユーザーからの同時利用対応
• マルチエージェント処理
• 生成AI推論の高速化と低コスト化

Transformerの後継を掲げる別系統の設計としては、Pathway社が「post-Transformer」の再帰型アーキテクチャと位置づける「Dragon Hatchling（BDH）」を拡張した推論モデル「BDH-CQ」もある。論文（arXiv:2608.09888）のアブストラクトによると、中間の推論を言語化せず、高次元の潜在空間での反復計算でクエリを解く（関連記事: 150Mパラメータでタスク1件0.07銭──Pathwayの再帰アーキテクチャBDH-CQが「未学習のARC-AGI-1」を自作して測った理由）。

ACL 2026で発表予定

論文「PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation」は、2026年7月2日に米国サンディエゴで開催されるACL 2026のオーラルセッションで発表予定。ACLは自然言語処理分野の主要国際会議であり、オーラル採択は査読を通過していることを意味する。

なお富士通は、2026年8月23〜25日に開かれた半導体チップのシンポジウム「Hot Chips 2026」で、PHOTONとは別件の次世代Arm CPU「FUJITSU-MONAKA」について講演している（Hot Chips公式プログラムで2026年9月25日確認。関連記事: Hot Chips 2026で各社が見せた次世代AIシリコン──Intel・Google・富士通の中身を一次資料で追う。同記事はMONAKAの仕様を二次媒体の記事本文で確認しており、富士通自身の一次資料には到達できていないと明記している）。

追記（2026年8月14日）：論文はarXivで公開済みだった

初出時に本記事は「論文の全文はACL 2026発表時（7月2日）以降に公開されると見られる」と書いたが、これは誤りだった。論文はプレプリントとしてarXivに公開されており、v1が2025年12月22日、v2が2026年1月8日の投稿（arXiv掲載ページで2026年8月14日確認）。富士通の発表（6月24日）より半年近く前から全文が読める状態にあった。以下はarXiv v2の本文を読んで確認した内容。

「475倍」は何を何と比べた数字か

論文が475倍としているのは生成速度そのものではなく、「単位メモリ当たりのスループット（tokens/s/GiB）」である。測定条件は以下の通り。

この設定でvanilla Transformerが2.56K tokens/s/GiB、PHOTONが1216.67K tokens/s/GiB。内訳は、必要メモリが0.390GiB→0.036GiB（約10.8分の1）、スループットが43.8倍で、この2つの積（10.8 × 43.8 ≒ 473、本サイトによる計算）が「475倍」の中身にあたる。473と論文記載の475のズレは、10.8倍・43.8倍がいずれも論文中の丸めた表示値であることに由来する（丸める前のTPM生値どうし、1216.67 ÷ 2.56 ＝ 約475.3で、論文の「475倍」に一致する）。

論文はもう一方の設定としてprefill-heavy（入力2048→出力128）も測定しており、475倍は出力が長い側の条件で出た数字である。またアブストラクト・イントロダクション・結論の3箇所に登場する「最大10³倍」については、論文はどの実験条件で得られた数値かを明記していない。再帰的生成（RecGen）を扱う§3.2で論文自身が示す最大の倍率は、600Mモデル・decode-heavy条件での1,856倍（13,642.50 ÷ 7.35 tokens/s/GiB、論文本文に「up to 1,856×」と明記）であり、10³倍（＝1,000倍）とは一致しない。10³倍がどの条件を指すのかは、本稿では特定できていない。

「PHOTONはCUDAベースか」という点について、論文が実験環境として明記しているのは「NVIDIA DGX H200」のみで、CUDAカーネルや推論フレームワーク（PyTorch・Triton等）といったソフトウェア面の実装への言及は、arXiv v2の本文・付録にはない。富士通の発表ページにもCUDAへの言及はない（いずれも2026年9月25日確認）。実験がNVIDIAのGPUで行われたことまでは言えるが、実装がCUDAに依存する形かどうかは、本稿が確認した資料からは特定できない。

品質側は「Transformerと同等」ではない

同じ1.2Bで論文が報告している品質指標は次の通り（「3ベンチの平均」行のみ、論文Table 1に対応する記載がないため本サイトが算出した値）。

パープレキシティは約21%悪化し、ゼロショット3ベンチの平均（本サイト算出）も6.7ポイント下回る。論文が主張しているのは品質での優位ではなく、「スループットと品質のトレードオフ」における優位である。

富士通のプレスリリースにある「わずか9クエリーを統合することで従来のTransformerと同水準」という記述については、本稿がarXiv v2を確認した範囲では、複数の生成を統合して品質を回復させる実験（best-of-n、self-consistency、多数決など）に該当する箇所を見つけられなかった。プレスリリース側にのみある情報なのか、本稿の読み落としなのかは判断できていない。

論文自身が挙げている3つの限界

Limitations節に記載されているのは以下の3点。

1. 事前学習コーパスが1種類、下流ベンチマークも比較的少数のため、データ構成やタスク種別を変えても同じ傾向が出るかは未確認
2. 最大モデルが1.2Bパラメータであり、より大きなスケールで効率と品質のトレードオフがどうなるかは未解明
3. チャンクサイズやコンバータ幅といった設計・学習上の主要な選択について、網羅的な感度分析は行っていない

2番目は、本記事が初出時に「100B超のスケールで同様の倍率が出るかは読み取れない」と書いた点を、論文自身が限界として認めている形になる。

「475倍」の検証範囲と確認できていないこと

• 本記事の情報は富士通の公式発表（2026年6月24日）に基づく。
• 「475倍」は1.2Bパラメータモデルでの検証結果。現在の主要LLM（100B超）のスケールで同様の倍率が出るかは、発表文からは読み取れない。
• 実用化時期について、富士通は具体的な言及をしていない。
• 論文の全文はACL 2026発表時（7月2日）以降に公開されると見られる。現時点で第三者による独立検証は行われていない。
• 上記1行は初出時の記述で、誤りだった。 論文はarXivに2025年12月22日（v1）から公開されている。追記節を参照。
• 追記節の数値はすべてarXiv v2本文の記載に基づく（2026年8月14日確認）。ACL Anthology上の正式版は本稿では確認できていない。arXiv掲載ページのコメント欄にも採録先の記載はない。
• 7月2日に予定されていたACL 2026本番でのオーラル発表が実際に行われたかどうかは、本稿では確認できていない（本稿確認時点＝2026年8月14日）。
• 富士通プレスリリースにある「9クエリー統合」の記述はarXiv v2本文には見当たらないが、プレスリリース側の記載自体は本サイトで実在を確認済み。arXiv側の実験と対応する記述を本稿が見落としている可能性は残る。

5件の訂正記録（2026年8月14日）

• 2026-08-14: 品質指標表の「上記3ベンチの平均」行の数値（PHOTON 38.75 / vanilla 45.43）を削除し、論文Table 1の値から本サイトが算出した正しい平均（PHOTON 52.08 / vanilla 58.83）に修正のうえ、算出主体（本サイト算出であり論文に平均列はない）を明記した。旧数値はarXiv本文に一度も出現せず、出典の無い数値だった。
• 2026-08-14: 「アブストラクトにある『最大10³倍』はRecGenを併用した場合の数値」という断定を削除し、論文は10³倍がどの実験条件の数値かを明記していないこと、RecGen節（§3.2）で論文が明記する最大値は600M・decode-heavy条件で1,856倍であり10³倍とは一致しないことを明記する記述に修正した。
• 2026-08-14: 「10.8 × 43.8 ≒ 473」の算出が本サイトによる計算であることを明記し、論文記載の475倍とのズレが表示上の丸めに由来する旨を追記した。
• 2026-08-14: Subquadratic社の資金調達への橋渡し文を削除した。PHOTONについて新しい事実を含まない上、本記事が確定させた事実（ACL 2026オーラル採択＝査読は公表前に完了、arXivプレプリントも富士通の発表半年前から公開）と整合しなかったため。
• 2026-08-14: 「出典・但し書き」節末尾にあった第三者検証に関する重複行（直前行と同内容）を削除し、代わりにACL 2026本番セッションの開催有無・9クエリー実験の見落とし可能性についての確認状況を追記した。