研究公開 2026-06-29更新 2026-08-27· 約9分

スタートアップSubquadratic、Transformerの二次スケーリング問題を『突破した』と主張——$29Mシード調達

Subquadratic（SubQ）がAttention計算を二次から線形に変えたと主張。100万トークンで52倍高速・コスト1/5とする。MIT Technology Reviewが報じた第三者検証では『概ね確認された』とされるが、査読済み論文は未発表。

執筆・編集：AI時短ラボ

そもそも「二次スケーリング」とは何か
SubQの主張
評価の意味と限界
実現した場合の影響
正直に言うと

Miami拠点のスタートアップSubquadratic（SubQ）が、Transformerの中核であるAttention計算を「sparse attention（疎なAttention）」という手法に置き換えたと主張し、独立した第三者機関Appenによる評価結果を公表した。MIT Technology Reviewが6月19日付で報じた。同社は1カ月ほど前にステルスモードを脱して大きな主張を発表した際は懐疑的な反応を集めており、今回の記事はその後に公開された追加の検証結果を扱ったものだ。

3行まとめ

SubQはAttention計算を「sparse attention（疎なAttention）」に置き換えたと主張。第三者機関Appenの評価では、理論上の速度テストでFlashAttention比56倍、コーディングのLiveCodeBenchで89.7%というスコアが報告されている（MIT Technology Review報道）

Appenの生成AI研究ディレクターは「アーキテクチャの妥当性を裏付けるものだった」と評価する一方、独立研究者は「二次のAttentionのボトルネックを解決したという強い主張を、公開されている証拠はまだ正当化していない」と述べている

査読済み論文は未発表。SubQはゼロからの訓練ではなく中国のオープンソースモデルQwenの重みを流用しており、「$29Mのシード資金調達」という情報は本記事の出典では確認できなかった

そもそも「二次スケーリング」とは何か

現在の大規模言語モデル（LLM）の中核であるTransformerには、Attentionと呼ばれる仕組みがある。入力テキスト中のすべてのトークン（単語や文字の断片）が、他のすべてのトークンとの関連度を計算する。この「全対全」の計算（dense attention）は、トークン数nに対してO(n²)——つまり入力が2倍になると計算量は4倍になる。MIT Technology Reviewの説明によれば、1万語のテキストだけでもおよそ5000万回の掛け算が発生し、これがLLMの電力消費が大きい主な理由だとされる。

これが、長い文脈を扱うLLMのコストと速度を制約する根本的な原因とされてきた。文脈長が数千トークンの範囲ではさほど問題にならないが、100万トークン級になるとコストが急激に膨らむ。各社が長文脈対応を進めるなかで、この二次スケーリングの壁をどう克服するかは業界共通の課題である。

SubQの主張

MIT Technology Reviewの報道によれば、SubQは「dense attention」の代わりに一部のトークンの組み合わせだけを計算する「sparse attention（疎なAttention）」という手法を採用したと主張している。この考え方自体は新しいものではなく、記事は「ありとあらゆる手法がすでに試みられてきた」という独立研究者Will Depue氏（元OpenAI）の言葉を紹介しつつ、これまでのsparse attention手法は標準的なdense attentionと同等の品質を再現できていなかったと説明する。SubQはこの品質面の課題を解決したと主張している。

第三者機関Appenが実施した評価では、次の結果が報告されている（MIT Technology Review報道）。

理論上の速度を測るベンチマークで、SubQは既存のsparse attention手法「FlashAttention」を使うモデルより56倍高速だった
コーディング能力を測るLiveCodeBenchでSubQは**89.7%**のスコアを獲得し、トップクラスのモデルと同水準だった
大量データからの情報検索能力を測るNeedle-in-a-Haystackテストで、文脈長600万〜1200万トークンの条件下で**98%**のスコアを記録した
コストについては、CEOのJustin Dangel氏が「Nvidia開発のテストRULER 128でAnthropicのOpus 4.6を動かすと2,600ドルかかるのに対し、SubQでは8ドルだった」と述べている（第三者による費用検証としては未確認の自社発言）
SubQの文脈窓は最大1,200万トークンで、主要モデルの多くが採用する100万トークンの12倍にあたる

「$29Mのシードラウンドを調達した」という情報は、本記事の出典（MIT Technology Review）では確認できなかった。

Appenの生成AI研究ディレクターJeanine Sinanan-Singh氏は「（結果を見て）本当に興奮した、彼らのアーキテクチャの妥当性を裏付けるものだった」「効率と速度で苦労しているモデルが多いなかで、これはゲームチェンジャーになりうると思った」と述べつつ、「衝撃的な結果を自分で言うのは、あまり説得力がない」とも語っている。

評価の意味と限界

MIT Technology Reviewの記事は、この検証結果にいくつかの留保を付けている。

第一に、独立研究者のWill Depue氏は「彼らは何か本物で有用なものを作ったのかもしれない。しかし公開されている証拠は、二次のAttentionのボトルネックを解決したという、より強い主張をまだ正当化していない」と述べている。第二に、SubQはまだ広く一般に公開されておらず、待機リストが長く、多くの人が実際に試せる状態にはない。第三に、記事はSubQがゼロから訓練したのではなく、中国のオープンソースモデルQwenの重みを流用してブートストラップしたことを明らかにしている。これは他のモデル開発企業でも一般的な手法だが、「LLMの仕組みを完全に再発明した」というSubQ自身の主張とは矛盾する、と記事は指摘している。

実現した場合の影響

仮にSubQの主張が技術的に検証され、実用に耐えることが確認された場合、影響は大きい。

長文脈LLMのコスト構造が変わる：100万トークン級の文脈を扱う推論コストが大幅に下がれば、長文書の要約、大規模コードベースの解析、長時間会話の保持といった用途が現実的な価格帯に入る
モデル訓練コストへの波及：Attentionの計算効率化は推論だけでなく訓練にも影響し得る
競合と既存プレイヤーの対応：OpenAI、Anthropic、Googleなど各社がどう反応するかも注目点になる

ただし、これらはすべて「主張が実証された場合」の話である。

正直に言うと

この話は現時点ではスタートアップによる主張の段階にある。以下の点を整理しておきたい。

査読済み論文は未発表：技術的な詳細や再現手順が公開されていないため、第三者が独立に検証することができない
Appenの評価とDepue氏の評価は温度差がある：Appen側の担当者は好意的なコメントを寄せている一方、独立研究者のDepue氏は「二次のAttentionのボトルネックを解決したという強い主張を、公開されている証拠はまだ正当化していない」と述べている
ゼロからの再発明ではない：SubQは中国のオープンソースモデルQwenの重みを流用してブートストラップしており、「LLMの仕組みを完全に作り変えた」という主張とは矛盾すると記事は指摘している
資金調達額は本記事の出典では確認できなかった：「$29Mのシード資金調達」という情報の裏付けはMIT Technology Reviewの本文には無い
MIT Technology Reviewが報じた事実は重要だが、同誌が技術を保証しているわけではない

続報——特に技術論文の公開、独立した学術機関による再現検証——を待って判断するのが妥当だろう。

（本記事はMIT Technology Review 2026年6月19日付の報道に基づく。SubQの技術詳細は未公開のため、主張の正確性について本記事は判断を留保している。）

シェア: ポストはてブ

出典・参照資料

二次資料A startup claims it broke through a bottleneck that's holding back LLMs — MIT Technology Review ↗

更新・訂正履歴

2026-08-27MIT Technology Review本文を取得したところ、記事の核となる技術用語・数値・引用が出典と一致しなかったため、広範囲を書き換えた。主な修正点。(1)出典本文はSubQの手法を一貫して「sparse attention（疎なAttention、dense attentionとの対比）」と呼んでおり、「linear attention（線形Attention、O(n)）」という表現・計算量表記は出典中に一度も登場しない。記事タイトル・本文全体で使っていた「二次→線形（O(n)）」という枠組みは出典の説明と異なるため、「疎なAttention（sparse attention）」に修正した。あわせて先行研究として挙げていたLinear Attention/Performer/RetNet/Mambaの列挙も出典に記載が無いため削除し、出典が挙げるFlashAttention（比較対象として明記されている手法）に置き換えた。(2)「52倍高速」としていたが、出典本文の実際の数値は「SubQ was 56 times faster than models using FlashAttention」＝56倍（FlashAttentionとの比較、理論上の速度テストの数値）だったため修正した。(3)「コストは従来の1/5」という記述は出典中に該当箇所が見当たらず確認できなかったため削除し、出典が挙げる具体例（RULER 128というNvidia開発のテストで、Anthropic Opus 4.6の実行に2,600ドルかかったのに対しSubQは8ドルだったというCEO Justin Dangel氏の発言）に置き換えた。(4)「データ注釈企業Appenによる第三者検証で主張が『概ね確認された（largely confirmed）』とされる」という記述について、出典本文に'largely confirmed'という語句・同義の記述は見当たらず、この引用は確認できなかったため削除した。
2026-08-27（承前）実際にAppenのJeanine Sinanan-Singh氏（生成AI研究ディレクター）が述べていたのは「it validated their architecture」「Wow, this could be a game changer」という発言であり、これに置き換えた。(5)「$29Mのシードラウンドを調達した」という記述は出典本文のどこにも見当たらず（'$29'や'seed'という語句が本文に無い）確認できなかったため、事実として断定する記述を削除し「出典では確認できなかった」と明記した。(6)出典が明記している重要な留保点（SubQはゼロから訓練したのではなく中国のオープンソースモデルQwenの重みを流用してブートストラップしている、という独立研究者Will Depue氏の指摘）が記事に欠けていたため追記した。