4つのエキスパートを狂わせるだけで出力が59倍に膨れ上がる──MoE型LLMを狙う『Groundhog Bit-Flip Attack』

計算コストを抑えながらモデルを大規模化する「Mixture-of-Experts(MoE)」アーキテクチャは、ルーティング機構によって入力ごとに一部の専門家サブネットワークだけを選択的に活性化する仕組みだ。全パラメータを毎回使う密なモデルと比べて、必要な部分だけを動かすことで効率よく大規模化できるため、近年の大型LLMの多くがこの構造を採用している。この適応的な設計そのものが、新しい攻撃対象になりうることを実証した論文が、2026年8月26日にarXivで公開され、EMNLP 2026に採択されている。

ルーティングを歪めて「終わらないループ」を作る

論文はまずMoEの特性を説明する。

"specific experts become disproportionately correlated with certain tokens (e.g., end-of-sequence), allowing adversaries to manipulate model behavior via lightweight perturbations."

特定のエキスパートが、特定のトークン(たとえば文末を示すend-of-sequenceトークン)と不釣り合いに強く相関するようになり、攻撃者は軽量な摂動によってモデルの振る舞いを操作できてしまう。この脆弱性を突く攻撃として提案されたのが「Groundhog Bit-Flip Attack(GBFA)」だ。

"we present \textbf{Groundhog Bit-Flip Attack (GBFA)}, the first bit-flip-based \textit{ Denial-of-Wallet availability attack} against MoE-based LLMs."

MoE型LLMに対する、初めてのビットフリップ(メモリ上のビットを反転させる)ベースの「Denial-of-Wallet(財布への攻撃、つまりAPI利用料金を不当に膨らませる可用性攻撃)」だという。攻撃名の「Groundhog(グラウンドホッグ)」は、同じ日が延々と繰り返される映画『恋はデジャ・ブ』(原題:Groundhog Day)から取られている。生成が終わらず同じような出力ループが延々と繰り返される様を、この映画の設定になぞらえた命名だ。

関連するエキスパートの活性化に紐づくルーティング層のビットを特定して反転させることで、対話・推論・エージェント的タスクという3種類のLLMモードすべてにおいて、意味的な忠実さをおおむね保ったまま、デコードのトークン使用量を大幅に拡張させることができるという。「意味的な忠実さをおおむね保ったまま」という点が実務上厄介で、出力の内容自体は破綻していないため、単純な出力品質の監視だけでは異常に気づきにくい。文末トークンの生成確率だけを狙って歪めることで、モデルが「話を終えられない」状態に陥る、という攻撃の性質そのものが、コスト超過を目的とした可用性攻撃(Denial-of-Wallet)に向いている理由になっている。

数字:平均4個未満のエキスパート無効化で出力が59倍に

"Across four main real-world MoE-based LLMs, manually deactivating on average fewer than \textbf{4 experts} drives average output inflation to $\mathbf{5912%}$, with the majority of test samples reaching max tokens."

4つの実運用MoE型LLMを横断して、平均でわずか4個未満のエキスパートを手動で無効化するだけで、平均の出力膨張は5912%——およそ59倍——に達し、テストサンプルの大半が最大トークン数に到達した。MoEモデルは数十から百を超える規模のエキスパートを持つことが一般的で、その全体からすれば4個未満という数はごく一部にすぎない。それだけの少数を狙い撃つだけでこれほどの膨張が起きるのは、特定のエキスパートに文末トークンの生成が偏って割り当てられているという、ルーティング機構の設計そのものに起因する脆弱性だと言える。ごく少数の専門家サブネットワークを狙い撃ちするだけで、モデルの応答が本来の長さの数十倍にまで膨れ上がる、という結果だ。

MoEをAPI提供する側が把握しておくべきこと

MoEアーキテクチャのモデルをAPI経由で運用・提供している場合、この論文が示す「わずかなビット反転で出力が数十倍に膨張する」という攻撃モデルは、従量課金制のAPIコストを想定外に膨らませる可能性がある。ビットフリップ攻撃自体はハードウェアレベルの物理的な攻撃手法(Rowhammerなど)を前提とすることが多く、実行のハードルは高いが、MoEというアーキテクチャの構造的な脆さとして把握しておく価値がある。MoEの基本的な仕組みについてはMoE(Mixture of Experts)とはを、企業向けの生成AIセキュリティリスク全般については生成AIのセキュリティリスクを参照してほしい。

4つの実機モデル名は要旨に出てこない

本記事は、当サイトが論文の要旨を読んで書いている。実験対象とした4つの実運用MoE型LLMの具体的な名称、ビットフリップを実行するための前提条件(物理的なアクセスが必要かどうかなど)、対話・推論・エージェント的タスクそれぞれでの個別の膨張率は、要旨には詳細が記載されておらず、本文PDF(9ページ・図3点)を読み込んでいないため確認できていない。ビットフリップ攻撃一般の実行難易度についての記述は本記事側での補足であり、この論文がGBFAの実行可能性についてどう評価しているかは要旨からは確認できていない。Zenn記事検索(2026年8月27日実施)では「Groundhog Bit-Flip」に該当する日本語記事は見つからなかった。