ベースモデルを凍結し、LoRAをターンごとに切り替える──Macaron-V1が選んだ「継続学習」への回り道

デプロイ後も学習を続けるモデルを作ろうとすると、「ベースモデルの重みをどう更新するか」という問題に必ず突き当たる。2026年8月10日にarXivで公開された技術レポート「Macaron-V1」は、ベースモデル自体は凍結したまま、LoRA（Low-Rank Adaptation）アダプタの構成を切り替えることで、継続的な学習と複数機能の両立を狙うアプローチを提案している。

2つのシステム目標：適応と協調

論文は、Macaron-V1を組織する2つの目標をこう説明している。

"Macaron-V1 is an open agent-model family for experiential intelligence: learning from experience in real environments and continuing to learn after deployment. It is organized around two system goals. Adaptation is pursued through recursive improvement of versioned model-harness pairs, where experience from one configuration is evaluated under an external contract and used to construct its successor. Collaboration is pursued via the Mixture-of-LoRA (MoL) architecture that freezes a base model, composes specialist LoRA adapters, and selects one LoRA per user turn."

（Macaron-V1は、経験からの知能（experiential intelligence）のためのオープンなエージェントモデル群だ——実環境での経験から学び、デプロイ後も学習を継続する。2つのシステム目標を軸に組織されている。「適応（Adaptation）」は、バージョン管理されたモデル・ハーネスのペアの再帰的な改善を通じて追求される。あるバージョンの経験は外部の契約（external contract）の下で評価され、次のバージョンを構築するために使われる。「協調（Collaboration）」は、ベースモデルを凍結し、専門特化したLoRAアダプタを組み合わせ、ユーザーのターンごとに1つのLoRAを選択するMixture-of-LoRA（MoL）アーキテクチャを通じて追求される）

「適応」はモデル・ハーネスのペア自体をバージョンアップしていく縦の軸、「協調」は1つの凍結されたベースモデルの上で複数の専門アダプタを使い分ける横の軸、という2軸構成になっている。

フラッグシップは748B、ローカル向けは50B

具体的なモデル構成についても記載がある。

"The flagship Macaron-V1-Venti (748B) combines a 744B GLM-5.2 base with four LoRAs for chat, agent, coding, and GenUI; the Qwen3.6-35B-based Macaron-V1-Tall (50B) uses the same design for local deployment."

（フラッグシップのMacaron-V1-Venti（748B）は、744BのGLM-5.2ベースモデルに、チャット・エージェント・コーディング・GenUI向けの4つのLoRAを組み合わせる。Qwen3.6-35Bをベースとしたローカル配置向けのMacaron-V1-Tall（50B）も、同じ設計を採用している）

ベースモデルにGLM-5.2（Zhipu AI）とQwen3.6（Alibaba）という、いずれも中国発のオープンウェイトモデルを採用している点は、Macaron-V1自体がこれらのモデルの「上位互換」というより「別のアーキテクチャ層を足したもの」という位置づけであることを示している。

構成要素は多岐にわたる

論文は、Macaron-V1を支えるアルゴリズム・インフラの要素を列挙している。

"The algorithm combines Model-Harness Co-design and recursive self-improvement loop, including the UI4A component-native GenUI harness, a stateful action substrate, versioned Harness Context Protocol contract, and the agentic RL framework MindForge. The supporting infrastructure includes the post-training platform MinT, the long-context RL method LongStraw, and stability techniques for sparse MoE and DSA base models."

（アルゴリズムは、モデル・ハーネス共同設計と再帰的な自己改善ループを組み合わせる。これには、コンポーネントネイティブなGenUIハーネス「UI4A」、状態を持つアクション基盤、バージョン管理された「Harness Context Protocol」契約、エージェント向け強化学習フレームワーク「MindForge」が含まれる。支えるインフラには、事後学習プラットフォーム「MinT」、長文脈強化学習手法「LongStraw」、スパースMoEとDSAベースモデル向けの安定化技術が含まれる）

固有名詞の多さ（UI4A、MindForge、MinT、LongStraw等）から、この論文が単一の手法を提案するのではなく、複数のサブシステムを組み合わせた「システム全体」の技術レポートであることがうかがえる。

評価結果は「検証」にとどまり、複利効果は未解決の問い

論文の結論部分は、評価結果の位置づけについて率直な留保を付けている。

"We evaluate Macaron-V1 on Personal Intelligence, GenUI, and general capability benchmarks against frontier baselines. Our results validate the current system, while compounding gains from continual learning and collective intelligence remain open questions."

（Personal Intelligence・GenUI・一般的な能力ベンチマークにおいて、Macaron-V1をフロンティアのベースラインと比較評価した。結果は現行システムを検証するものであるが、継続学習と集合知からの複利的な効果については、未解決の問いとして残っている）

つまり、現時点のシステムが機能することは示せたが、「継続的に学習を重ねることで、時間とともにどれだけ賢くなっていくか」という、このアプローチの本来の狙いにあたる部分については、まだ実証されていない、と著者ら自身が明記している。

本文Table 8──6モデルとの実際のスコア比較

論文本文（Table 8）には、Macaron-V1-VentiをGLM-5.2・GPT-5.5・Opus 4.8・Gemini 3.1・Qwen 3.7・Minimax M3と比較した実際のベンチマーク点数が掲載されている。代表的な行を抜粋すると次の通り（0〜100スケール、行ごとにベンチマークとプロトコルが異なるため論文自身「この表は総合ランキングを定義しない」と注記している）。

※は論文が「他所で公開された値をそのまま引用した（imported public value）」と注記している数値。UI4A-BenchはGenUI特化のベンチマークで、Macaron-V1-Ventiが他モデルに20点以上の差をつけている一方、SWE-Verifiedでは同じ表の中でOpus 4.8（88.6）がMacaron-V1-Venti（85.6）を上回っており、ベンチマークによって優劣が入れ替わる。

さらにTable 9では、ローカル向けのMacaron-V1-Tall（50B）と、そのベースモデルであるQwen3.6-35B-A3B単体を比較しており、UI4A-Benchでは59.3対33.9、PinchBenchでは86.2対82.5と、ベースモデル単体よりも一貫して上回ったと報告されている。

LoRAをMoE的に疎に組み合わせる発想

筆者は、LoRAをファインチューニングの軽量な手段として理解していたが、Macaron-V1のように「複数のLoRAをターンごとに切り替えて使い分ける」という発想は、単一の巨大モデルに全機能を詰め込むのではなく、専門特化したアダプタ群を疎に組み合わせるという、MoE（Mixture of Experts）的な発想をLoRAレベルで実現しようとする試みに見える。ただし論文自身が「複利効果は未解決」と明言している通り、この設計が実際に長期的な学習効果を生むかどうかは、今後の実運用データを待つ必要がある。

本文Table 11の「公開アダプタのメタデータ」節を読むと、LoRAの具体的な設定値まで公開されていることが分かる。Macaron-V1-Venti（GLM-5.2ベース）はrank=16・alpha=32・dropout=0で、注意機構とMLPの投影層（q_a・q_b・kv_a・kv_b・o・gate・up・down）を対象にし、1アダプタあたりの保存パラメータ数は約76.9億（BF16）。一方Macaron-V1-Tall（Qwen3.6-35B-A3Bベース）はrank=64・alpha=128・dropout=0と、より高いランクを使い、MoEのexpertパラメータ（experts.gate_up_proj・experts.down_proj）も対象に含める一方、1アダプタあたりの保存パラメータ数は約37.8億（L0/L1/L3はBF16、L2のみF32）と、Ventiより小さい。4つの専門アダプタ（L0=Chat・L1=Agent・L2=Coding・L3=GenUI）は共通の学習レシピを使い、AdamWオプティマイザ・学習率5×10⁻⁶・バッチサイズ4・4エポック・線形ウォームアップ付きコサインスケジュール（ウォームアップ比率0.1）という具体的な設定値が、L2（Coding）を基準に共有されている、と本文に明記されている。

重みは公開済み、UI4A・MindForgeの内部実装までは追っていない

本記事は、arXivのHTML版本文（2026年8月24日改訂のv2）を実際に開いて、要旨だけでなくTable 1〜17を含む記述を確認した上で書いている。モデルの重みはHugging Face（mindlab-research/Macaron-V1-Ventiほかを含むコレクションmindlab-research/macaron-v1）で、コード基盤の一部はGitHub（MindLab-Research/Mixture-of-LoRA-Harness）でそれぞれ公開されていることを確認した。ただし、UI4A・MindForge・MinT・LongStrawといった各サブシステムの内部実装をコードベースまで遡って読み込む検証や、実際にHugging Faceから重みをダウンロードして推論を試す検証は今回行っていない。「external contract」の具体的な評価基準（本文Table 6の「6つの構成的公理」や、Table 7の「7つの会話シナリオ」として言及されている）についても、この記事では見出しレベルの紹介にとどめ、各公理・シナリオの詳細な定義文までは訳出していない。またTable 8の数値のうち「※」が付いた値は論文自身が「他所で公開された値をそのまま引用した」と明記しており、Macaron-V1側の値と全く同じ条件で測定されたわけではない点は、この記事で使った比較表でも引き継がれる制約だ。Zenn記事検索（2026年8月27日実施）では「Macaron-V1」に該当する日本語記事は見つからなかった。

関連記事

• ローカルLLMとは何か──自分のPCでAIを動かす仕組み・利点・始め方を解説
• ファインチューニング やり方・費用・いつ使うべきか【2026年入門】
• 中国Zhipu AIがGLM-5.2を公開──100万トークン対応・MIT重み公開予定のコーディング特化モデル