Microsoft、エージェントの採点を強化学習の報酬に使う学習コード「ThinkingBox-Training（シンキングボックス・トレーニング）」を公開Qwen3.8-27Bは50ステップで毎回成功のタスクが38から107に

Microsoftは現地時間2026年10月22日（日本時間10月23日朝）、AIエージェントの作業結果をデータベースの最終状態で採点し、その採点を強化学習の報酬に使う学習コード「ThinkingBox-Training（シンキングボックス・トレーニング）」をGitHubで公開した。同社はHugging Faceの共同ブログで、オープンモデルのQwen（クウェン）3.8-27Bを50ステップ学習させたところ、平均成功率が51.70%から60.78%に、20回の試行すべてで成功したタスクが38件から107件に増えたと報告している。

3行まとめ

1. Microsoftが2026年10月22日、DBの最終状態を採点して報酬にする学習コード「ThinkingBox-Training」をMITライセンスでGitHubに公開した
2. Qwen3.8-27Bは50ステップのGRPOで平均成功率51.70%→60.78%、507件中20回全成功は38→107件（同社測定）
3. 一方で1回でも成功したタスクは453→446件に減少。学習に使った187タスクの本体は非公開で、公開はサンプルのみ

本記事の内容は、日本時間2026年10月23日7時台に公式ページで確認したものです。

何が公開されたのか

公開されたのは、MicrosoftのCopilot Studioチームが作ったエージェント評価基盤「ThinkingBox」の学習版だ。ブログによると、元の ThinkingBox は「エージェントが終わったと言っているのに、データベースは違う状態のまま」という事態を見つけるための採点器だった。ベンチマーク「ThinkingBox-Bench」の507タスクは、それぞれ本物のバックエンドとツールをエージェントに渡し、作業後にデータベースで何が変わったかを検査する。

ブログの著者らは、ほとんどのタスクでこの検査が最終状態から1か0を返せることに気づき、そのまま報酬関数に使えると考えた。報酬は途中の手順ではなく、タスクごとの検査の結果だけで決まる。ブログの説明では、正しい最終状態に至れば経路は問わず、誤った変更・不足・余計な副作用があれば失敗になる。

GitHubのREADMEによると、リポジトリには次のものが入っている。

• データの選別と分割（data/）
• ThinkingBox のロールアウトと Verl との連携（trainer/）
• 学習・評価・導入用のスクリプトと、Verl v0.9.0への3つの互換パッチ
• 準備・学習・評価の各ガイド（docs/）

READMEとブログはライセンスをMITと記している（ベンチマークのデータは CDLA-Permissive-2.0）。

学習の流れ：「簡単すぎず難しすぎない」タスクだけを選ぶ

ブログが強調しているのは、報酬の仕組みより、どのタスクで学習させるかの選別だ。GRPOという手法では、1つのタスクを8回試し、全部失敗または全部成功だと、試行同士の優劣がなく学べるものがない。ブログは、全部失敗・全部成功のグループを入れ替える方式（DAPO方式）も使ったと書いている。

そこで著者らは「オフラインの方策相対難易度」と呼ぶ選別を学習の前に1回だけ行った。

1. 候補タスクを元のモデルで繰り返し試し、成功回数から成功確率をJeffreys事後分布（Beta分布）で推定する
2. 0〜1を5つの帯に分け（境界は0.08・0.40・0.60・0.90）、事後分布の確率が最も多く載る帯に各タスクを振り分ける
3. 「ほぼ解けない」（0.08未満）と「ほぼ毎回解ける」（0.90以上）は捨て、残りを学習に使う
4. 学習中は選んだタスクの集合を固定し、再選別しない

ブログによると、この結果Qwen3.8-27B用の学習プールは187タスクになった。ベンチマークの507タスクは学習に一切含めず、評価専用にしている。

学習の設定は次のとおりだ（ブログの記載）。

報酬の大半は決まった検査（LLMの判定なし）で出る。データベースの状態から判断できない一部の要件だけ、二択の評価基準をGPT-5 Chatに答えさせる、とブログは説明している。

成績：毎回成功は約2.8倍、でも「1回でも成功」は減った

ブログのTable 1（507タスク×各20回、計10,140回の試行）は次のとおりだ。数字はすべてMicrosoftの報告である。

ブログは「モデルが広くなったのではなく、繰り返し成功できるようになった」とまとめ、確率の分布が繰り返し成功する経路に寄り、確率の低い経路の一部が消えた可能性を、一つの説明として挙げている。領域別では、pass@1と20回全成功は小売・自動車保険・旅行・ネオバンク・コンサルの5領域すべてで上がり、pass@20は小売・旅行・自動車保険で下がった（自動車保険は−7.0ポイント）。小売は20回全成功が+24.5ポイントで最大だった。

事例として、出張者が部屋のダウングレードを頼み、会社の規則では先にマネージャー承認が必要なタスクが紹介されている。学習前は20回中15回、承認なしで予約を変更し返金まで出した。学習後は20回すべてで予約と支払いの状態を保った（期待どおりの記録がすべて一致したのは19回）。

他のモデルとの位置関係

ブログのTable 2から、同じベンチマークでの数字を抜粋する。

学習後のQwen3.8-27Bは、20回すべて成功の件数でGPT-5.6 Solを上回り、pass@1ではGPT-5.6 Solを1.13ポイント下回る。一方でClaude Opus 5.5（241件）やGPT-6 Astra（231件）とは大きな差が残る。ブログも「平均と再現性では順位が変わる」と書いている。

費用の見積もり

ブログは評価にかかる費用の概算も示している。ドル額は請求書ではなく、比較用の指標だと同社は断っている。

「毎回成功するタスク1件あたり」は、評価全体の費用を20回全成功の件数で割ったものだ。ブログは$8.00をGPT-5.4（$6.80）、GPT-6 Astra（$7.45）、Claude Opus 5.5（$7.80）に近いと述べている。この計算は推論費用だけで、学習の実行費用と学習データを選ぶための試行の費用は含まれていない。

試すには何が要るのか

ブログとREADMEによると、動作環境の前提は次のとおりだ。

• Linux（ブログはWSLでも試したと記載）、Python 3.12、パッケージ管理に uv
• CUDA/NCCL環境のあるNVIDIA GPU。検証済みの構成はH100×8枚の3ノード。小さい構成は、モデルの大きさ・文脈長・同時ロールアウト数しだいと書かれている
• Qwen3.8-27Bのチェックポイント（手元に置く）
• 模擬ユーザーと判定役のためのOpenAI互換のエンドポイント
• ThinkingBox本体とデータの2つのリポジトリ（READMEは決まったコミットとタグの取得を指示）

READMEには、GPUを確保せず起動コマンドだけ表示する --dry-run と、同梱の39件のサンプルタスクを読み込む確認手順がある。ブログも、学習の起動前に dry-run で内容を確かめるよう案内している。

観測：公開ページで確認できたこと

日本時間10月23日7時29分にGitHubのリポジトリを開いた時点では、コミットは17件、Starは3、Forkは0だった。外部での利用実績を示す材料は、この時点のページからは読み取れない。ブログ側の公開時刻は、ページのメタデータでは2026年10月22日22時24分（UTC）、日本時間では10月23日7時24分だった。私たちは学習を実行しておらず、成績の数字はすべて公式ページの記載である。

数字を読むときに押さえておきたいこと

• 全部の数字が同社の測定。 第三者による再現は今回取得したページには見当たらない。
• 広がりは増えていない。 pass@20は453件から446件に減った。ブログはこれを、確率の低い経路の一部が学習で消えたためという説明の一つとして挙げているだけで、原因は確かめていない。
• 評価は同じ枠組みの別領域。 ブログは、ベンチマークの領域・データベース・規則・ほとんどのツールは学習で見ていないと説明する一方、ThinkingBoxの枠組み、模擬ユーザーの仕組み、採点の方式、いくつかの共通ツール、似たタスクの形式は学習と評価で共通だと認め、「転移の主張の範囲はこれで限られる」と書いている。
• 学習データ本体は未公開。 ブログによると、公開のサンプルタスクは動作確認用で、報告した実験の187タスクではない。自分の許可済みのタスク源を用意し、公開ベンチマークと重ならないようにする必要がある。したがって、公開コードだけで同じ数字が出るとは限らない。
• 論文との数字の差。 arXivの論文要旨（2026年10月1日改訂のv4）は、Kimi-K3のpass@1を57.37%から「pass^20 17.60%」に落ちると書いている。ブログではKimi-K3の20回全成功は68件（13.41%）で、同じ数字ではない。READMEは、Qwen3.8-27Bの成績表について、繰り返し試行の値は論文の公開後に同じ507×20の評価結果から集計し直したものだと説明している。違いの理由が集計方法のためかは、今回確認したページからは判断できない。Claude Opus 5の47.53%は論文とブログで一致している。
• 学習済みモデルの配布先。 今回確認した公式ページ（ブログ2本・GitHub・arXivの要旨）には、学習後のQwen3.8-27Bの重みの配布先は見当たらなかった。

日本からの利用についての記載は、今回確認したページにはない。コードはGitHubで公開されており、動かせるかは上の計算資源の条件しだいだ。

前の発表との違い

ブログは、10月3日の第1弾「The Agent Said It Was Done. The Database Disagreed.」の続編と位置づけている。第1弾は18モデルを507タスク×20回で評価し、平均精度の裏にある再現性の差を示す内容だった。ブログによると、Claude Opus 5.5はClaude Opus 5よりpass@1が0.66ポイント高いのに、20回全成功の件数はどちらも241件で同じだった。今回の発表は、その採点器を評価だけでなく学習の報酬にも使い、再現性が上がるかを確かめたものだ。

エージェントの学習や評価の研究としては、長い作業で文脈を圧縮するタイミングをエージェント自身に決めさせる Apple機械学習研究のSELFCOMPACT の記事もある。

出典と確認時刻

• Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox（Hugging Face公式ブログ、Microsoft）：日本時間2026年10月23日7時28分に確認
• microsoft/thinkingbox-training（GitHub）：同7時29分に確認
• One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows（arXiv:2608.19741）：同7時29分に確認

本記事は続報があり次第更新します。