「Agent Memory Distillation」とは何か──学習不要で、4Bの小型モデルにGPT-5-miniの「成功パターン」を渡す

論文「Agent Memory Distillation（AMD）」は、パラメータの再学習をせずに、大きな教師エージェントの成功軌跡から3種類の階層的メモリを作り、小型の生徒エージェントに渡す手法。GPT-5-miniを教師に4B〜8Bの学生モデル4種で検証したところ、AppWorldで27.2ポイント、BFCL V3で11.2ポイントの平均正解率改善を報告している。

エージェント向けのメモリシステムは性能改善の手段として期待されているが、その効果は小型の言語モデルではほとんど検証されてこなかった。小型モデルは、自力で十分な数の「成功した軌跡」を生成すること自体が難しいからだ。2026年8月7日にarXivで公開された論文「Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory」(著者はKAISTのTaeil Kim氏・Kangsan Kim氏、KAIST/DeepAuto.aiのSung Ju Hwang氏)は、この空白を埋める手法「AMD（Agent Memory Distillation）」を提案している。本記事はarXiv掲載のPDF全文を読んで書いている。

AMDは、パラメータの再学習をせずに大きな教師エージェント(GPT-5-mini)の成功軌跡から3種類の階層的メモリを作り、4B〜8Bの小型エージェント4種に渡す手法

AppWorldベンチマークでQwen3-4Bの正解率が14.88%→49.40%(教師のGPT-5-mini は50.00%)に上昇し、教師とほぼ並ぶ結果になったと論文は報告している

別の実験では「より強い教師モデルほど生徒の伸びが大きいわけではない」ことも示されており、教師選びには相性がある

学習不要で、3種類の階層的メモリを渡す

AMDは、大きな教師エージェントから小さな生徒エージェントへ、構造化された知識を階層的メモリを通じて転移する、学習不要（training-free）のフレームワークだ。成功した教師の軌跡から、3種類の相補的なメモリを構築する。

Workflowメモリ: タスクレベルの戦略をエンコードする
Subtaskメモリ: 中間的な粒度での具体的な振る舞いの例を提供する
Functionメモリ: 関数ごとの呼び出し規約とよくある落とし穴を捉える

WorkflowメモリとSubtaskメモリは各タスクの開始時に能動的に注入され、Functionメモリはツール呼び出しでエラーが起きたときに反応的に検索される、という使い分けになっている。

AppWorld・BFCL V3・ToolSandboxでの改善幅

論文は3つのツール利用ベンチマークで、GPT-5-miniを教師に、4B〜8Bパラメータの学生モデル4種類(Qwen3-4B、Qwen3-8B、Llama3.1-8B、Gemma4-E4B)を使って評価している。AppWorldはメール・メッセージ・決済など複数のアプリを横断して複雑なタスクをこなすマルチアプリ・エージェントのベンチマーク、BFCL V3は正しい関数と引数を呼び出せるかを見るファンクションコーリングのベンチマーク、ToolSandboxはLLMがシミュレートするユーザーとの対話の中でツールを呼び出す、状態を持つ会話型ベンチマークだと説明されている。論文のTable 1に掲載されている主要な結果(正解率、単位%)は次の通り。

モデル	手法	AppWorld	BFCL V3	ToolSandbox	平均
GPT-5-mini(教師)	-	50.00	36.50	28.68	38.39
Qwen3-4B	Zero-shot	14.88	15.50	16.28	15.55
Qwen3-4B	AMD	49.40	38.50	20.16	36.02
Gemma4-E4B	Zero-shot	24.40	37.25	18.22	26.62
Gemma4-E4B	AMD	54.17	46.00	21.71	40.63
Qwen3-8B	Zero-shot	25.60	38.00	20.16	27.92
Qwen3-8B	AMD	51.79	45.50	25.58	40.96
Llama3.1-8B	Zero-shot	8.93	9.00	5.43	7.79
Llama3.1-8B	AMD	27.38	14.50	6.20	16.03

4モデル平均でAppWorld+27.2ポイント、BFCL V3+11.2ポイント、ToolSandbox+3.4ポイントの正解率改善となり、既存のメモリベースのベースライン(ReasoningBank、MemP、SASM)を一貫して上回ったとしている。特にAppWorldでは、Gemma4-E4B(54.17%)とQwen3-8B(平均40.96%)が教師のGPT-5-mini(平均38.39%)の平均正解率を上回り、Qwen3-4Bも49.40%と教師の50.00%にほぼ並んだ。論文はこれを「生徒モデルが教師の軌跡を単に模倣しているのではなく、転移可能な意思決定パターンを学習している」根拠として挙げている。さらなる分析では、Subtaskメモリが最も大きな貢献をしていること(WorkflowだけからSubtaskを加えるとAppWorldでQwen3-4Bが+25.0ポイント伸びる、と論文のTable 2に示されている)、そして4Bサイズの学生モデルがAMDから最も恩恵を受けることが示されたという。

教師モデルは強ければ良いわけではない

論文のTable 3では、教師モデルを変えた場合の効果も比較している。GPT-5.5(自身のAppWorld正解率91.08%)を教師にするとQwen3-4B生徒は47.02%まで伸びる一方、DeepSeek V4 Pro(教師自身の正解率81.55%、GPT-5.5より高くない)を教師にすると生徒は38.10%にとどまり、GPT-5-mini(教師自身の正解率はわずか50.00%)を教師にした場合の49.40%より低い結果になったと報告されている。つまり教師モデル自身の性能が高いほど生徒が伸びるとは限らず、論文はこれを「教師の有効性は教師自身の能力と、生徒モデルとの相性の両方に依存する」と結論づけている。

「小さいモデルを賢くする」の別解

小型モデルを実用レベルまで引き上げる方法としては、これまで主に2つの道があった。1つは大きいモデルの出力を教師データとしてパラメータごと再学習させる「知識蒸留（distillation）」、もう1つはRAG（検索拡張生成）のように外部知識を検索して文脈に足す方法だ。AMDが提案しているのは、この中間にあたるアプローチだと読める。パラメータの再学習は行わないが、単なる知識の検索でもなく、「教師エージェントがどう振る舞ったか」という手続き的なパターンそのものを構造化して渡す。ワークフロー・サブタスク・関数呼び出しという3段階の粒度に分けているのは、タスク全体の戦略（大きな絵）と、個別の関数を正しく呼ぶための細かい作法（小さな注意点）を、それぞれ別の仕組みで扱った方が効率が良い、という設計判断の表れだと考えられる。GPT-5-miniのような比較的安価なモデルを教師に使えるなら、学習コストをかけずに手元の小型モデルを実用域に近づける選択肢として、ローカルLLMを運用する個人・小規模チームにとっても参考になる方向性だ。

論文自身が「Limitations」として挙げている3つの制約

論文の末尾には著者ら自身による「Limitations」セクションがあり、この記事ではその内容をそのまま紹介する。第一に、AMDが検証されているのはPython APIや構造化された関数呼び出しを伴うテキストベースのツール利用ベンチマークのみで、視覚的な観測をもとに行動する必要があるマルチモーダル環境や、あらかじめ決まった関数呼び出しの集合ではなくコードをゼロから生成する必要があるコーディングタスクへの汎化は未検証だと明記されている。第二に、メモリは固定された教師の軌跡から一度だけオフラインで構築され、推論時には固定されたまま使われる。そのため生徒モデル自身が推論時に成功・失敗した経験を取り込むことはできず、教師のデモンストレーションと生徒が実際に遭遇するタスクとの分布のズレにも適応できないと述べられている。第三に、AMDの効果は教師の軌跡の質と適合性に依存し、Table 3で示した通り「教師モデル自身が強いほど生徒が伸びる」とは限らないため、教師選びが結果を左右する。

この記事の範囲で確認できなかった点も書いておく。実運用でのメモリ管理コスト(メモリの検索・注入にかかる追加のレイテンシやトークン消費)については、論文中に定量的な数値は見当たらなかった。また「Under review」(査読中)の論文であり、この記事の執筆にあたって査読結果や第三者による再現実験は確認していない。筆者自身はこのAMDのコードを手元で動かしておらず、GitHub上のコード(プロジェクトページからリンクされている)の中身までは読み込んでいない。

「Agent Memory Distillation」とは何か──学習不要で、4Bの小型モデルにGPT-5-miniの「成功パターン」を渡す

学習不要で、3種類の階層的メモリを渡す

AppWorld・BFCL V3・ToolSandboxでの改善幅

教師モデルは強ければ良いわけではない

「小さいモデルを賢くする」の別解

論文自身が「Limitations」として挙げている3つの制約

関連記事

出典・参照資料

AIニュースの解説を動画でも

コメント

AIについて聞きたいことはありますか？

関連記事

ベンチマークの点数ではなく「最後までやりきる力」──Apodex 1.1が持ち出した新指標『Working Capability』

LLMアプリの「落ちたら最初から」を無くす設計案──AgentRが提案するステートフル・アーキテクチャ

「ASI-Bench」とは何か──手法のヒントを取り上げるほどAIのスコアが50.91から26.62まで落ちるベンチマーク

Skillsが効くのは「知識を足すから」ではなく「手順の道しるべになるから」──8,135件のトライアルが示した実態

「LLMRouter」とは何か──「どのAIに投げるか」を選ぶ仕組みを、16種類以上まとめて比較できる基盤

モデルを変えずにTerminal-Bench 2.1で95.3%──「ハーネス側だけ」を作り込んだStateMの実験費用は15ドル

「AI4AI at Test-Time」とは何か──強いモデルが弱いモデルのためにharnessを設計する、学習不要の能力転移

「Agentic ESOpt」とは何か──強化学習ではなく「進化戦略」でエージェントを鍛える、GPUに優しいやり方

「Agent Memory Distillation」とは何か──学習不要で、4Bの小型モデルにGPT-5-miniの「成功パターン」を渡す

学習不要で、3種類の階層的メモリを渡す

AppWorld・BFCL V3・ToolSandboxでの改善幅

教師モデルは強ければ良いわけではない

「小さいモデルを賢くする」の別解

論文自身が「Limitations」として挙げている3つの制約

関連記事

出典・参照資料

AIニュースの解説を動画でも

コメント

AIについて聞きたいことはありますか？

新しい記事をメールで受け取る

関連記事

ベンチマークの点数ではなく「最後までやりきる力」──Apodex 1.1が持ち出した新指標『Working Capability』

LLMアプリの「落ちたら最初から」を無くす設計案──AgentRが提案するステートフル・アーキテクチャ

「ASI-Bench」とは何か──手法のヒントを取り上げるほどAIのスコアが50.91から26.62まで落ちるベンチマーク

Skillsが効くのは「知識を足すから」ではなく「手順の道しるべになるから」──8,135件のトライアルが示した実態

「LLMRouter」とは何か──「どのAIに投げるか」を選ぶ仕組みを、16種類以上まとめて比較できる基盤

モデルを変えずにTerminal-Bench 2.1で95.3%──「ハーネス側だけ」を作り込んだStateMの実験費用は15ドル

「AI4AI at Test-Time」とは何か──強いモデルが弱いモデルのためにharnessを設計する、学習不要の能力転移

「Agentic ESOpt」とは何か──強化学習ではなく「進化戦略」でエージェントを鍛える、GPUに優しいやり方