MoE（Mixture of Experts）とは──「総パラメータ」と「アクティブパラメータ」の読み分け方まで

MoE（Mixture of Experts、専門家混合）とは、モデルの内部を多数の小さな「専門家ネットワーク」に分割し、入力ごとにその一部だけを動かす構造です。総パラメータ数を巨大にしながら、1回の推論で動く計算量を小さく抑えられるため、2026年現在の大規模言語モデルの主流アーキテクチャになっています。この記事では、仕組みの直感的な理解に加えて、モデル発表資料に並ぶ「総パラメータ」と「アクティブパラメータ」の読み分け方まで解説します。

• MoEはモデルを多数の「専門家」に分割し、入力ごとに一部だけを動かす構造です
• 「総パラメータ」はモデル全体の規模、「アクティブパラメータ」は1トークンあたり実際に動く量で、別物です
• 実例：Kimi K3は総2.8兆パラメータ、896の専門家のうち16だけが稼働します（2026年7月の公式発表値）

MoEとは何か──「全員会議」をやめて「担当者だけ呼ぶ」構造

従来の密モデル（dense、パラメータ全部が毎回計算に参加するモデル）は、どんな簡単な入力にも全社員が出席する「全員会議」のような動き方をします。MoEはここを変えます。モデル内部の変換を担う層を多数の「専門家」に分割し、ルーター（ゲート）と呼ばれる小さなネットワークが「この入力はどの担当者に任せるか」を毎回選びます。Hugging Faceの解説記事では、この役割を「どのトークンをどの専門家に送るかを決めるゲートネットワーク（ルーター）」と説明しています。

考え方自体は新しいものではありません。2017年にGoogleのShazeerらが発表した論文「Sparsely-Gated Mixture-of-Experts Layer」が、MoEを大規模ニューラルネットで実用化した現在の流れの起点とされています。

なぜMoEが主流になったのか

理由はコストです。大規模言語モデルはパラメータ数を増やすと性能が上がりやすい一方、denseでは推論の計算コストもほぼ比例して増えてしまいます。MoEは「持っている知識の量（総パラメータ）」と「1回の計算量（アクティブパラメータ）」を切り離せます。モデル全体を兆単位まで大きくしても、1トークンの処理で動くのはごく一部なので、推論コストの伸びを抑えられるわけです。

実例を見ます。2026年7月に公開されたKimi K3は、公式ブログの発表値で総2.8兆パラメータ、896の専門家のうち1トークンあたり16だけがアクティブ（約1.8%）とされています。ひとつ前の世代のKimi K2でも、Moonshot AIの公式リポジトリの仕様表に「総パラメータ1T・アクティブ32B・384エキスパート中8選択」と明記されています。桁が大きく違う「総」と「アクティブ」が並んで書かれるのが、MoEモデルの発表資料の特徴です。Kimi K3の展開状況は別記事で追っています。

denseモデルと比べて弱点はないのか

あります。Hugging Faceの解説が挙げる代表的な注意点は2つです。第一に、推論で動くのは一部でも、パラメータ全体をメモリに載せる必要があるため、必要なメモリ量は総パラメータ相当になります。手元のGPUで動かす用途では、同じアクティブ規模のdenseよりMoEの方がメモリ要求が重い、という逆転が起きます。第二に、スパースなモデルはファインチューニング（追加学習）で過学習しやすい傾向が歴史的に報告されています。「MoEが常に上位互換」ではなく、用途で向き不向きが分かれる構造です。

発表資料はここを見る──「総」と「アクティブ」の読み分け方

新しいモデルの発表資料では、次の3点を分けて読むのがおすすめです。

1. 総パラメータ：モデルが持つ容量の上限の目安です。動かすのに必要なメモリ量もここで決まります。
2. アクティブパラメータ：1トークンの推論で実際に動く量です。推論速度やAPI料金の体感に近いのはこちらです。
3. 専門家の数と選択数：「896中16」のような形で書かれ、どれだけ間引いて動かすか（スパース度）が分かります。

読み方のコツはひとつです。見出しの「◯兆パラメータ」だけで性能を判断しないこと。denseの◯BとMoEの総◯Bは同じ土俵の数字ではないので、比較したいときはまずアクティブパラメータを並べ、そのうえでベンチマークや実際の使用感を見る、という順番が安全です。関連用語の整理はAI用語集もご覧ください。

正直な但し書き

• Kimi K3の「総2.8兆・896中16」は2026年7月の公式発表値で、本稿は発表直後に書いています。詳細仕様は今後の公式技術ブログやモデルカードで更新される可能性があるため、引用時は必ず一次ソースをご確認ください。
• 「総パラメータが大きい＝高性能」でも「アクティブが少ない＝低性能」でもありません。性能は学習データや手法にも左右され、パラメータ数だけでは決まりません。
• MoEとdenseのどちらが優れるかは用途で分かれます。省メモリで手元で動かすならdense系、大規模モデルをAPIで使うならMoEが多い、という現状の傾向はありますが、断定はできません。

出典

• Kimi K2 公式リポジトリ（Moonshot AI / GitHub）
• Mixture of Experts Explained（Hugging Face）
• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer（Shazeer et al., 2017 / arXiv）
• What is mixture of experts?（IBM）