富士通が「PHOTON」発表──Transformerに代わるLLMアーキテクチャ、GPU当たり最大475倍の推論性能

富士通が2026年6月24日、大規模言語モデル（LLM）向けの新アーキテクチャ「PHOTON」を発表した。現在主流のTransformerに代わる設計で、GPU当たり最大475倍のマルチクエリー推論性能を実現したとしている。

• Transformerのトークン単位処理を廃し、「意味のまとまり」で階層的に処理
• 1.2Bパラメータモデルで、GPU当たり最大475倍のマルチクエリー性能を確認（メモリ削減10.8倍とスループット43.8倍の複合値。品質はTransformer比でベンチマーク平均が下回るトレードオフあり）
• KVキャッシュ使用量を大幅削減し、同一GPUメモリで複数クエリを並列処理
• ACL 2026（7月2日、サンディエゴ）のオーラルセッションで論文発表予定（arXivプレプリントは発表の半年前から公開済み）

PHOTONとは何か

PHOTON（Parallel Hierarchical Operation for TOp-down Networks）は、富士通が開発したLLM向けの新しいアーキテクチャ。

現在のLLMはほぼすべてTransformerベースで動いている。Transformerは文章を細かいトークン単位に分解し、すべてのトークン間の関係を計算する。入力が長い場合や同時処理が多い場合、メモリアクセスが増加して処理速度が低下する。

PHOTONはこのアプローチを変え、テキストを「意味のまとまり」として捉えて階層的に処理する。富士通によると、これにより計算量を削減し、KVキャッシュ（推論時にメモリを大量消費する主要因）の使用量も大幅に抑えられるという。

検証結果

富士通の発表によると、600M・900M・1.2Bパラメータの3サイズで検証を実施。

• 1.2BモデルでGPU当たり最大475倍のマルチクエリー性能を確認
• わずか9クエリーの統合で、従来のTransformerと同等の生成品質を達成
• 同一GPUメモリ上で複数の結果を並列取得可能に

応用先

富士通が挙げている応用分野は以下の通り。

• 長文書の処理
• 多数ユーザーからの同時利用対応
• マルチエージェント処理
• 生成AI推論の高速化と低コスト化

ACL 2026で発表予定

論文「PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation」は、2026年7月2日に米国サンディエゴで開催されるACL 2026のオーラルセッションで発表予定。ACLは自然言語処理分野の主要国際会議であり、オーラル採択は査読を通過していることを意味する。

追記（2026年8月14日）：論文はarXivで公開済みだった

初出時に本記事は「論文の全文はACL 2026発表時（7月2日）以降に公開されると見られる」と書いたが、これは誤りだった。論文はプレプリントとしてarXivに公開されており、v1が2025年12月22日、v2が2026年1月8日の投稿（arXiv掲載ページで2026年8月14日確認）。富士通の発表（6月24日）より半年近く前から全文が読める状態にあった。以下はarXiv v2の本文を読んで確認した内容。

「475倍」は何を何と比べた数字か

論文が475倍としているのは生成速度そのものではなく、「単位メモリ当たりのスループット（tokens/s/GiB）」である。測定条件は以下の通り。

この設定でvanilla Transformerが2.56K tokens/s/GiB、PHOTONが1216.67K tokens/s/GiB。内訳は、必要メモリが0.390GiB→0.036GiB（約10.8分の1）、スループットが43.8倍で、この2つの積（10.8 × 43.8 ≒ 473、本サイトによる計算）が「475倍」の中身にあたる。473と論文記載の475のズレは、10.8倍・43.8倍がいずれも論文中の丸めた表示値であることに由来する（丸める前のTPM生値どうし、1216.67 ÷ 2.56 ＝ 約475.3で、論文の「475倍」に一致する）。

論文はもう一方の設定としてprefill-heavy（入力2048→出力128）も測定しており、475倍は出力が長い側の条件で出た数字である。またアブストラクト・イントロダクション・結論の3箇所に登場する「最大10³倍」については、論文はどの実験条件で得られた数値かを明記していない。再帰的生成（RecGen）を扱う§3.2で論文自身が示す最大の倍率は、600Mモデル・decode-heavy条件での1,856倍（13,642.50 ÷ 7.35 tokens/s/GiB、論文本文に「up to 1,856×」と明記）であり、10³倍（＝1,000倍）とは一致しない。10³倍がどの条件を指すのかは、本稿では特定できていない。

品質側は「Transformerと同等」ではない

同じ1.2Bで論文が報告している品質指標は次の通り（「3ベンチの平均」行のみ、論文Table 1に対応する記載がないため本サイトが算出した値）。

パープレキシティは約21%悪化し、ゼロショット3ベンチの平均（本サイト算出）も6.7ポイント下回る。論文が主張しているのは品質での優位ではなく、「スループットと品質のトレードオフ」における優位である。

富士通のプレスリリースにある「わずか9クエリーを統合することで従来のTransformerと同水準」という記述については、本稿がarXiv v2を確認した範囲では、複数の生成を統合して品質を回復させる実験（best-of-n、self-consistency、多数決など）に該当する箇所を見つけられなかった。プレスリリース側にのみある情報なのか、本稿の読み落としなのかは判断できていない。

論文自身が挙げている3つの限界

Limitations節に記載されているのは以下の3点。

1. 事前学習コーパスが1種類、下流ベンチマークも比較的少数のため、データ構成やタスク種別を変えても同じ傾向が出るかは未確認
2. 最大モデルが1.2Bパラメータであり、より大きなスケールで効率と品質のトレードオフがどうなるかは未解明
3. チャンクサイズやコンバータ幅といった設計・学習上の主要な選択について、網羅的な感度分析は行っていない

2番目は、本記事が初出時に「100B超のスケールで同様の倍率が出るかは読み取れない」と書いた点を、論文自身が限界として認めている形になる。

「475倍」の検証範囲と確認できていないこと

• 本記事の情報は富士通の公式発表（2026年6月24日）に基づく。
• 「475倍」は1.2Bパラメータモデルでの検証結果。現在の主要LLM（100B超）のスケールで同様の倍率が出るかは、発表文からは読み取れない。
• 実用化時期について、富士通は具体的な言及をしていない。
• 論文の全文はACL 2026発表時（7月2日）以降に公開されると見られる。現時点で第三者による独立検証は行われていない。
• 上記1行は初出時の記述で、誤りだった。 論文はarXivに2025年12月22日（v1）から公開されている。追記節を参照。
• 追記節の数値はすべてarXiv v2本文の記載に基づく（2026年8月14日確認）。ACL Anthology上の正式版は本稿では確認できていない。arXiv掲載ページのコメント欄にも採録先の記載はない。
• 7月2日に予定されていたACL 2026本番でのオーラル発表が実際に行われたかどうかは、本稿では確認できていない（本稿確認時点＝2026年8月14日）。
• 富士通プレスリリースにある「9クエリー統合」の記述はarXiv v2本文には見当たらないが、プレスリリース側の記載自体は本サイトで実在を確認済み。arXiv側の実験と対応する記述を本稿が見落としている可能性は残る。

5件の訂正記録（2026年8月14日）

• 2026-08-14: 品質指標表の「上記3ベンチの平均」行の数値（PHOTON 38.75 / vanilla 45.43）を削除し、論文Table 1の値から本サイトが算出した正しい平均（PHOTON 52.08 / vanilla 58.83）に修正のうえ、算出主体（本サイト算出であり論文に平均列はない）を明記した。旧数値はarXiv本文に一度も出現せず、出典の無い数値だった。
• 2026-08-14: 「アブストラクトにある『最大10³倍』はRecGenを併用した場合の数値」という断定を削除し、論文は10³倍がどの実験条件の数値かを明記していないこと、RecGen節（§3.2）で論文が明記する最大値は600M・decode-heavy条件で1,856倍であり10³倍とは一致しないことを明記する記述に修正した。
• 2026-08-14: 「10.8 × 43.8 ≒ 473」の算出が本サイトによる計算であることを明記し、論文記載の475倍とのズレが表示上の丸めに由来する旨を追記した。
• 2026-08-14: Subquadratic社の資金調達への橋渡し文を削除した。PHOTONについて新しい事実を含まない上、本記事が確定させた事実（ACL 2026オーラル採択＝査読は公表前に完了、arXivプレプリントも富士通の発表半年前から公開）と整合しなかったため。
• 2026-08-14: 「出典・但し書き」節末尾にあった第三者検証に関する重複行（直前行と同内容）を削除し、代わりにACL 2026本番セッションの開催有無・9クエリー実験の見落とし可能性についての確認状況を追記した。