ターミナル作業の訓練データ、生成の仕方が悪いと『解けない問題』になる──FACETが守る『指示・環境・正解・検証器』の一貫性

ターミナル（コマンドライン）を操作するAIエージェントを訓練するには、大量の「実行可能な」教師データが必要になる。だが、そうしたタスクを自動生成しようとすると、「指示文」「初期環境」「正解の手順」「採点する検証器」という4つの要素の間に食い違いが生じ、そもそも解けない、あるいは正しく採点できないタスクが生まれてしまう。2026年8月19日にarXivで公開された論文「FACET」は、この問題に対処する具体的な設計を提示している。著者13名の所属は中国科学技術大学（University of Science and Technology of China）MoE Key Lab of BIPCとShanghai AI Laboratory。

3行まとめ

• FACETは、指示・環境・正解・検証器の4要素を「先に実行環境を確定させ、それを共有の土台にする」順序で生成し、食い違いを構造的に避けるタスク合成フレームワーク
• 論文全文によれば、FACETで合成したタスクからわずか1,200件の成功軌跡を使ってQwen3.5-4B/9B/27Bをファインチューニングしただけで、Terminal-Bench 2.1のスコアが3サイズすべてで一貫して向上（4B: 17.60→24.72、9B: 27.34→35.58、27B: 40.82→47.57）
• ファインチューニング後の27BモデルはTerminal-Bench 2.1で47.57を記録し、約15倍大きいQwen3.5-397B（49.06）にわずか1.49ポイント差まで迫っている

4つの要素がバラバラの前提で作られると、タスクは壊れる

論文はまず、問題の構造をこう説明する。

"Training terminal agents requires scalable executable supervision, yet synthesizing high-quality terminal tasks remains challenging. Each task couples an instruction, an initialized environment, a reference solution, and an executable verifier; if these artifacts are generated from inconsistent assumptions, the resulting task may be unsolvable or incorrectly evaluated."

（ターミナルエージェントの訓練には、スケール可能な実行可能教師データが必要だが、高品質なターミナルタスクを合成することは依然として難しい。各タスクは、指示文・初期化された環境・参照解答・実行可能な検証器を組み合わせたものだ。もしこれらの成果物が、互いに矛盾する前提から生成されてしまうと、結果として得られるタスクは解けないものになるか、誤って評価されるものになりかねない）

指示文だけを見ればもっともらしいタスクでも、実際の環境の初期状態と食い違っていたり、検証器が正解とは違う基準で採点していたりすると、そのタスクは「解けない問題」または「間違った採点をする問題」になってしまう、という指摘だ。

多段階の合成プロセスで、情報が失われる問題

論文はさらに、既存の多段階生成プロセスが抱える別の問題にも触れている。

"Meanwhile, multi-stage synthesis can discard the goals, dependencies, state transitions, and procedural constraints encoded in the original sources."

（一方で、多段階の合成プロセスは、元となる情報源に含まれていた目標・依存関係・状態遷移・手順上の制約を、途中で失ってしまうことがある）

複数の段階を経てタスクを生成する過程で、最初の情報源が持っていた文脈やニュアンスが、途中でどんどん失われていく、という問題だ。

FACETの2段階アプローチ：情報の保存と、環境を先に固める

FACETが提案する解決策は、次の2つの原則に基づいている。

"We present FACET (Fine-grained Agentic Construction of Executable Tasks), a framework that addresses both information preservation and cross-artifact consistency. FACET reconstructs related agent skills into coherent, information-rich scenarios, then realizes and repairs the execution environment before generating the final task artifacts. The resulting container state serves as shared grounding for the instruction, solution, and verifier, while execution-based validation and targeted repair correct artifact-specific failures without unnecessarily regenerating valid components."

（FACET（Fine-grained Agentic Construction of Executable Tasks）を紹介する。これは、情報の保存と成果物間の一貫性の両方に対処するフレームワークだ。FACETは、関連するエージェントスキルを、一貫性があり情報量の豊かなシナリオへと再構成した上で、最終的なタスクの成果物を生成する前に、実行環境を実際に構築し、修復する。こうして得られたコンテナの状態が、指示文・解答・検証器にとって共有の「接地点（grounding）」となる。実行に基づく検証と、的を絞った修復によって、有効なコンポーネントを不必要に再生成することなく、成果物ごとの不具合を修正する)

ポイントは「先に実行環境（コンテナの状態）を確定させ、それを指示文・正解・検証器すべてが共通の土台として参照する」という順序だ。これにより、後から生成される3つの要素（指示・解答・検証）が、バラバラの前提に基づいてしまうリスクを構造的に避けている。

訓練データとしての効果と、複数スケールでの改善

論文は、このフレームワークで生成したタスクが、実際にモデルの訓練に有効であることも示している。

"FACET produces complex terminal tasks with dense executable checks, and successful trajectories collected from these tasks provide effective, data-efficient supervision. Fine-tuning models across multiple scales consistently improves performance on Terminal-Bench 2.1, while analyses of alternative generation schemes support the importance of environment-grounded construction for task validity and solution-verifier alignment."

（FACETは、密な実行可能チェックを備えた複雑なターミナルタスクを生成し、これらのタスクから収集された成功軌跡は、効果的でデータ効率の良い教師データを提供する。複数のスケールのモデルをファインチューニングした結果、Terminal-Bench 2.1でのパフォーマンスは一貫して改善した。また、代替の生成方式との比較分析は、タスクの妥当性と解答・検証器の整合性にとって、環境に接地した構築が重要であることを裏付けている）

「複数のスケールのモデルで一貫して改善した」という記述は、この効果が特定のモデルサイズに限った現象ではなく、ある程度普遍的な傾向であることを示唆している。論文全文には、この「複数のスケール」の中身と具体的な改善幅が数字で示されている。

（出典：FACET論文全文「Fine-Tuning Results」節）

学習に使ったのは、約6,000件の検証済みタスクから収集したロールアウトのうち、完全に成功した軌跡1,200件のみ（LLaMA-Factoryでファインチューニング）。この少量のデータで、27Bモデルは47.57まで到達し、論文はこれを「約15倍大きいQwen3.5-397B（同一評価設定で49.06）にわずか1.49ポイント差」と比較している。パラメータ数が10倍以上違うモデルとの差を1.5ポイントまで縮められた、という点は、タスク合成の質がモデルサイズを部分的に代替しうることを示す数字だと言える。

FACET-TerminalのGitHubリポジトリによれば、公開されているタスクデータセット「FACET-Terminal-Tasks-6k」の実際の件数は6,020件で、4B・9B・27Bの3モデルとあわせてHugging Face上で公開されている。また同リポジトリは、FACETの論文が2026年8月21日付のHugging Face Daily Papersで当日2位にランクインしたことも記録している。

タスク生成自体の質が評価の信頼性を左右するという繰り返しの論点

筆者は、AIエージェントに訓練用のタスクを作らせる、という発想自体にはあまり馴染みがなかったが、この論文が指摘する「指示・環境・正解・検証器の食い違い」という問題は、人間が手作業でテストケースを作る場合にも起こりがちな失敗だと感じる。「先に環境を確定させ、そこから他の要素を導く」という順序の徹底は、地味だが実務的に効く設計判断だと考えられる。本サイトの別記事で扱ったSWE-Bench ProMax（既存ベンチマークのテスト品質問題を指摘した論文）とも通じる問題意識——「タスクの生成・キュレーション自体の質が、評価や訓練の信頼性を左右する」という視点は、この分野で繰り返し浮上しているテーマだ。

スキル再構成の具体的な手順とコードの中身は確認できていない

論文全文を確認したことで、改善幅の具体的な数値と対象モデル（Qwen3.5-4B/9B/27B）は判明した。一方、「関連するエージェントスキルを再構成する」具体的な手順や、「実行に基づく検証と的を絞った修復」がコードレベルでどう実装されているかについては、論文の該当節を本記事の執筆時間内では読み込みきれておらず確認できていない。公式プロジェクトページ（stokou.github.io/FACET-Terminal）の実在は確認したが、そこからコード・データセットを実際にダウンロードして中身を検証したわけでもない。Zenn記事検索（2026年8月27日実施）では「FACET」に該当する日本語記事は見つからなかった（一般語との混同を避けるため、論文タイトルの引用符付き完全一致で検索した）。

関連記事

• Claude Codeとは──コード生成に留まらない「仕事を渡せる」AIエージェント
• AIコーディングアシスタント比較──Copilot/Cursor/Claude Code【2026年】
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】