成功パターンを真似させるほど、間違ったツールへの自信が育つ──エージェントの『Skill Imitation Trap』

「過去の成功パターンをスキルとして記憶させれば、エージェントは着実に賢くなる」——この前提を検証した論文が、2026年8月23日にarXivで公開され、EMNLP2026 Findingsに採択されている。結果は前提を裏切るものだった。

「成功だけから学ぶ」ことの落とし穴

論文はまず、広く使われている自己進化のパラダイムを整理する。

"Prevailing agent self-evolution paradigms typically rely on a core assumption: equipping LLMs with skill memories derived from successful trajectories will monotonically improve their problem-solving capabilities."

支配的なエージェント自己進化のパラダイムは、成功した軌跡から導かれたスキル記憶をLLMに装備させれば、問題解決能力が単調に改善していく、という中核的な前提に依拠している。しかし、この前提を検証したところ、別の実態が見えてきた。

"probe analyses reveal that extracting skills solely from successful trajectories traps the model in a \textbf{Skill Imitation Trap}."

プローブ分析(内部を掘り下げる分析)により、成功した軌跡だけからスキルを抽出することが、モデルを「Skill Imitation Trap(スキル模倣の罠)」に陥らせることが明らかになった。過去の成功に似ているが実際には別のツールが必要なタスクに直面したとき、より多くのスキルを検索するほど、逆説的に誤ったツール呼び出しへの自信が増してしまう。

"retrieving more skills paradoxically increases the model's confidence in wrong tool calls---procedure skills raise the wrong-tool margin by $47%$ over a memory-free baseline."

より多くのスキルを検索することは、逆説的に誤ったツール呼び出しへのモデルの自信を高めてしまう。手続き的なスキルは、メモリなしのベースラインと比べて「誤ったツールへの偏り(wrong-tool margin)」を47%も引き上げる。「似ているから真似する」という発想そのものが、条件が違う場面での誤った確信を強化してしまう、という構造だ。

対策BASM:スキルに「境界」を付与する

対策として提案されたのが「Boundary-Aware Skill Memory(BASM、境界を意識したスキル記憶)」だ。各スキルに、適用条件・リスクの手がかり・回避すべきルール・回復のためのメモといった明示的な「境界フィールド」を付与する。これによって、検索されたスキルは無条件の行動テンプレートから、状態に応じたガイダンスへと変わる。条件が満たされているときだけスキルを適用し、満たされていないときは不適切なツール呼び出しを抑制し、実行が失敗したときは的を絞った修復を行う、という3段構えの制御になる。

数字:AppWorldで最大23.8%改善

"it improves task success rate by up to $23.8%$ on AppWorld, accuracy by up to $5.0%$ on BFCL, and reduces attack success rate by $4.6%$ on AgentDojo, while simultaneously reducing average AppWorld steps by up to $6.6%$ relative to the memory-free baseline."

3つのエージェントベンチマーク・4つのモデル規模を横断して、BASMは成功だけから抽出したスキルメモリのベースラインを一貫して上回る。AppWorldでタスク成功率を最大23.8%、BFCLで正答率を最大5.0%改善し、AgentDojoでは攻撃成功率を4.6%削減した。さらに、メモリなしのベースラインと比べてAppWorldの平均ステップ数を最大6.6%削減している。

成功事例をそのままテンプレート化しない

自作のAIエージェントに「過去の成功事例を参考にさせる」設計をしている場合、この論文は「似ている過去の成功例」があるほどエージェントの自信が(誤った方向にも)強化されうるという構造的なリスクを指摘している。成功パターンをそのままテンプレートとして与えるのではなく、「いつ使うべきか・いつ使うべきでないか」という適用条件を明示的に付与する設計は、実装コストを増やしてでも検討する価値がある。エージェントのスキル設計の効果を測ったSkillsBench研究については入れすぎたAIエージェントの「スキル」が正答率を落とす理由も参照してほしい。

47%という数字の算出方法までは追えていない

本記事は、当サイトが論文の要旨を読んで書いている。「wrong-tool margin」という指標の具体的な算出方法、4つのモデル規模の名称、AppWorld・BFCL・AgentDojoそれぞれの評価タスクの詳細は、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。BASMの「境界フィールド」がどのように自動生成されるのか、あるいは人手で付与されるのかについても要旨からは判断できない。Zenn記事検索(2026年8月27日実施)では「Skill Imitation Trap」に該当する日本語記事は見つからなかった。