「FreeToken」とは何か──ワークステーションGPU1枚で753BのMoEモデルを動かす、帯域適応型の推論システム

オープンウェイトの最先端モデルは増えているが、それを動かすサーバーは基本的にデータセンター前提で作られている。2026年8月17日にarXivで公開された論文「FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution」（arXiv:2608.16157、cs.DCカテゴリ、単一バージョンv1）は、手元のPCを「非力なGPU」としてではなく、統一された弾力的な推論プラットフォームとして扱い直すエッジネイティブなMoE（Mixture of Experts）推論システムを提案している。

論文のarXiv要旨ページを直接確認すると、著者は11人。Shuo Yang氏（本論文の提出者）、Xiaoze Fan氏、Melissa Pan氏、Haocheng Xi氏、Zhe Wang氏、Shanlin Sun氏、Kurt Keutzer氏、Song Han氏、Matei Zaharia氏、Chenfeng Xu氏、Ion Stoica氏が名を連ねている。arXiv HTML版の本文を確認すると、共著者の所属機関を記載する欄（Affiliation）はテンプレートのまま空欄になっており、論文自身は所属先を明記していない。ただし連絡先（correspondence）としてShuo Yang氏がberkeley.eduのメールアドレス、Chenfeng Xu氏がutexas.eduのメールアドレスを記載していることは本文から確認できる。

3行まとめ

• FreeTokenは、llama.cpp・Ollama・KTransformers・MoE-Infinityと比較して、RTX 5090上でQwen3.6-35B-A3Bを77-83 tok/s（1.5-2.3倍高速）で動かすエッジ向けMoE推論システム。8GBのRTX 4060ノートPCでも35Bモデルを39.3 tok/sで動かせるという
• 論文全文によれば、エージェント的なワークロード（マルチターン）でもデコード速度の低下は単発実行比12%以内に収まり、最悪ケースのTTFT（最初のトークンが出るまでの時間）は全ワークロードで44秒未満。比較対象は少なくとも1つの設定で150秒を超え、実際のエージェントクライアントのタイムアウトを引き起こす水準だとしている
• 開発元は独自サイト「flashml.ai」を運営しており、論文自身が「flashml.aiでシステムを公開している」と明記している

モデルの配置・読み込み・CPU/GPU実行を全部設計し直す

論文が前提としているのは、ローカルAIには2つの現実があるという点だ。1つは、エージェントのワークロードは実行パターンが絶えず変化すること。もう1つは、エッジのハードウェアはマシンごとにリソースの偏りが異なる、ヘテロジニアス（不均質）な構成であることだ。FreeTokenは、モデルのレイアウトと読み込み、エキスパートの常駐管理、CPU-GPU実行、エージェント状態の再利用、ランタイムのメモリ管理という推論スタック全体を、この2つの現実に合わせて共同設計している。1つの固定されたオフロード戦略に縛られるのではなく、その時点で実際に使える資源に計算とモデル状態を継続的にマッピングし直す、という考え方だ。

論文によれば、FreeTokenは20種類以上のMoEモデルと、実際のコーディング・ツール使用エージェントを、8GBのノートPC用GPUから1台のワークステーションGPUまで幅広いハードウェアで動かせるとしている。より重要なのは「これらのマシンが実質的に何を扱えるようになるか」を変えたという主張だ。ノートPCで35Bモデル、ゲーミングデスクトップで284Bモデル、そして1枚のワークステーションGPUで753BのGLM-5.2まで動かせる、と報告されている。

論文全文には、要旨には出てこない実測のスループット・レイテンシ数値が並んでいる。評価対象は6台のマシン（8GBのRTX 4060ノートPCから1台のRTX PRO 6000ワークステーションまで）、3モデル（Qwen3.6-35B-A3B・DeepSeek-V4-Flash・GLM-5.2）、比較対象はllama.cpp・Ollama・KTransformers・MoE-Infinityの4つ。

（出典：FreeToken論文全文「1 Introduction」）

「エージェント的なワークロードでもデコード速度の劣化が単発実行比12%以内」「最悪ケースのTTFTが全ワークロードで44秒未満（比較対象は少なくとも1設定で150秒超）」という安定性の主張も、この実測データの一部として論文に記載されている。

GitHubで10,361スター――4日で1,600増えた勢い

この記事を書くにあたって、論文本文（arXivのHTML版）に記載されているGitHubリンク（FlashML-org/FreeToken）を実際に開き、リポジトリの状態を確認した。2026年8月31日時点で、スター数は10,361、フォーク数は955、ウォッチャー数は84。リポジトリの作成日は2026年7月20日（UTC 20:44）で、ライセンスはApache License 2.0だった。前回2026年8月27日の確認時点でのスター数は8,771だったため、4日間で約1,600増えている計算になる。

READMEの「About」欄を確認すると、FreeTokenの技術的な特徴として次の5点が挙げられている。

• Fast Edge-Native Runtime：帯域適応型のCPU–GPU協調実行、全レイヤーのダブルバッファ方式prefillストリーミング、グローバルLRU方式のエキスパートキャッシュ、独自の「FTW」高速重みフォーマットを組み合わせる
• Semantic-Aware Caching：ツール呼び出しや思考ブロックなど、エージェント的な文脈編集が起きても再計算を避けられる「セマンティック・アンカー・チェックポイント」を持つ
• Elastic Memory Management：エンジンの再起動や重みの再読み込みなしに、VRAMをエキスパートキャッシュとKVメモリの間で動的に再配分できる
• Broad MoE & Ecosystem Support：DeepSeek-V4-Flash・Qwen3.6-35B-A3B・GLM-5.2などに対応し、量子化形式はMXFP4・NVFP4・FP8・BF16をサポート。Anthropic／OpenAI互換APIを備え、Codex・Claude Code・OpenCode・OpenClaw・DeepSeek Harnessといった実際のコーディング・ツール利用エージェントと接続できるとしている
• Diverse Consumer Hardware：NVIDIA RTX 30／40／50シリーズのGPUをネイティブサポートすると明記されている

今回の候補選定メモには「Googleサジェストに『freetoken qwen3 8』『freetoken gguf』といった量子化コミュニティの検索が乗っているが、論文のFreeTokenと同一プロジェクトかは未確認」という注記があったが、実際にリポジトリを確認した限り、この規模のスター数と活発な更新頻度は、量子化・ローカルLLMコミュニティですでに広く使われているツールであることと矛盾しない。同一プロジェクトである可能性は高いが、Qwen3.8を実際にFreeToken経由で動かしているユーザーの投稿そのものは確認していない。

デスクトップアプリはWindows・Linux向け、macOS対応の記載はない

開発元サイトflashml.aiを直接確認すると、ページ内に埋め込まれたJSON-LD（構造化データ）には、対応OSとして「Windows, Linux」の2つのみが明記されている。ページ内のダウンロード判定スクリプトも、ユーザーエージェントがWindowsまたはLinuxの場合のみ対応ビルドを案内し、macOS・iOSなど他のOSでは自動判定が「null」を返す作りになっている。ダウンロード形式はWindows用インストーラー（.exe）、Ubuntu用（.deb）、Arch Linux用（.pkg.tar.zst）、および汎用Linuxの.AppImageの4種類で、確認時点のバージョン表記は「0.2.0-beta.15」だった。価格はJSON-LD上で0 USD、つまり無償と明記されている。エンジン本体（FreeTokenのコアリポジトリ）はオープンソースだが、デスクトップアプリのダウンロード配布は別リポジトリ（FlashML-org/FreeToken-Web）のリリースページ経由で行われている。

手元のMacで動かして確かめたわけではない

この記事はarXivの論文要旨・HTML版本文とGitHubのリポジトリページ、開発元サイトflashml.aiをもとに書いている。10,361スターという数字は実際にリポジトリページで確認したものであり、77–83 tok/sや39.3 tok/sといった実測値も論文本文にそのまま記載されている数字だが、これらの測定は論文の著者自身が行ったものであり、この記事の執筆にあたって自分の手元のMacやゲーミングPCで実際にFreeTokenをインストールして動かし、同じ数値が再現できるかを検証したわけではない（そもそもflashml.aiのダウンロード判定はmacOSを対象外にしている）。「Codexの本番トレース中央値33 tok/s」という比較基準についても、その出典（論文が引用する別の研究）まではさかのぼって確認していない。

なお、以前のバージョンでは著者を「UC Berkeley・MITと関わりのある研究者」と紹介していたが、今回arXiv本文の所属欄（Affiliation）を確認したところ空欄のままで、論文自体は所属機関を明記していないことが分かった。確認できたのは連絡先メールアドレスがberkeley.edu（Shuo Yang氏）とutexas.edu（Chenfeng Xu氏）であることのみで、UC BerkeleyやMITという特定の機関名を断定する根拠は本文からは見つからなかったため、この記事では機関名の記載を取り下げている。

関連記事

• ローカルLLMとは何か──自分のPCでAIを動かす仕組み・利点・始め方を解説
• ローカルLLMおすすめモデル10選──無料で動かせるAI【2026年版】
• MiniMax M3──428Bパラメータ・100万トークン文脈のオープンウェイト中国モデル