ALTK-Evolve（エーエルティーケー・エボルブ）とは何ですか？

IBM Researchのライブラリです。エージェントの過去の試行を分析し、成功と失敗を短い行動ルール（指針）にまとめ、以降の会話のシステムプロンプトに追記します。IBMの10月20日付ブログによると、モデルの重みの更新も人手の注釈も要りません。ブログのτ²-bench実験では、指針の抽出とエージェント本体の両方に同じモデル（GPT-4.1）を使っています。

τ²-bench retailで何%を記録したのですか？

IBMのブログによると、GPT-4.1を使った基本的なReActエージェントが、retailのbase split（114タスク×4試行）でPass^4 67.5%でした。Pass^4は4回の試行すべてで解けたタスクの割合です。IBMは、10月12日時点のリーダーボードのスナップショットにあるretailの全エントリを上回ると説明しています。

この成績はτ²-benchの公式リーダーボードに載っていますか？

今回取得した10月21日0時台の時点では、確認できていません。retailの提出（Pull Request #542）とairlineの提出（#551）は、どちらもsierra-research/tau2-benchでOpenのままでした。PR本文には、プロンプトを変更したためUnverified（未検証）として掲載される見込みと書かれています。

同じ手法でフロンティアモデルも良くなりますか？

IBMのブログによると、airlineでGPT-5.5を使った実験では、指針なしのPass^4 55.0%が70.0%に上がりました（held-out 20タスク）。base split全体（50タスク）の提出値はPass^4 82.0%で、IBMはこれを公開ボードのフロンティア勢（66〜72%）より上と書いています。

研究

IBM Research、学習した指針をプロンプトに足すだけでGPT-4.1の接客AIがτ²-bench（タウツーベンチ）retailのPass^4 67.5%に同社比較で1位、ただしリーダーボード提出は未マージ

2026年10月20日公開執筆：AI時短ラボ約12分で読めます

日刊AIニュース10月20日（火）号：前日のAIのニュース12本を短くまとめました（約8分）›

IBM Researchは10月20日、モデルの重みを更新せず学習した指針をプロンプトに足すALTK-Evolveで、GPT-4.1のエージェントがτ²-bench retailのPass^4 67.5%に達し、10月12日時点のリーダーボードのスナップショットとの比較で1位だと公表した。提出のPull Requestは取得時点でどちらもOpenで、プロンプトを変えたため『Unverified』扱いの見込みと書かれている。

IBM Research、学習した指針をプロンプトに足すだけでGPT-4.1の接客AIがτ²-bench（タウツーベンチ）retailのPass^4 67.5%に──同社比較で1位、ただしリーダーボード提出は未マージ

ALTK-Evolveは何をするのか
成績はどう変わったのか
コストと会話の長さはどうなったか
フロンティアモデルでも効くのか
「リーダーボード1位」はどこまで言えるのか
数字を読むときの限界
前の発表と何が違うのか
出典と確認時刻
この記事でよく聞かれること

IBM Researchは2026年10月20日（米国時点）、モデルの重みを更新せず、過去の試行から学んだ指針をプロンプトに足すだけのライブラリ「ALTK-Evolve（エーエルティーケー・エボルブ）」で、GPT-4.1を使った接客エージェントがτ²-bench（タウツーベンチ）のretailで Pass^4 67.5% になったと、Hugging Faceのブログで公表した。IBMは、同社が10月12日に取得したリーダーボードのスナップショットでretailの全エントリを上回ったと書いている。一方、そのリーダーボードへの提出（Pull Request）は、今回確認した時点でどちらも未マージだった。

3行まとめ

IBM Researchによると、GPT-4.1のエージェントはτ²-bench retailで Pass^4 67.5%（114タスク×4試行）。10月12日時点のリーダーボード比較で1位と同社は説明

手法は、過去の試行から作った指針を、システムプロンプトに追記するだけ。held-outの40タスクでは Pass^4 が57.5%から67.5%に上がった。retailのコストは1会話$0.084から$0.139（+65%）

提出のPR #542（retail）と #551（airline）は取得時点でOpen。プロンプトを変えたため「Unverified」扱いの見込みとPR本文にある

本記事の内容は、日本時間10月21日0時台に公式ページで確認したものです。

ALTK-Evolveは何をするのか

IBMのブログによると、ALTK-Evolveはエージェントの訓練用タスクでの試行を分析し、モデル自身に成功と失敗を「短い行動ルール」へ要約させる。例としてブログは、顧客の認証、取引の確認、返品の扱いに関するルールを挙げている。それらを、τ²-benchの業務ポリシーの後ろにマークダウンの箇条書きで足す。

ブログに載っている指針の例は次のとおり。

Authenticate the user before taking any order-related action.

（注文に関わる操作の前に、ユーザーを認証する。）

ブログによると、指針の抽出とエージェント本体には同じモデル（GPT-4.1）を使い、重みの更新も人手の注釈もしていない。顧客役のシミュレーターにはGPT-5.5、1タスクあたり4試行。ベンチマーク標準のReActエージェント（THINK→ACTの2段階）はそのままで、変えたのはプロンプトへの追記だけと説明している。

τ²-benchはSierraのベンチマークで、LLMが演じる顧客、ドメインのツール、守るべき書面ポリシーを組み合わせる。最終的なデータベースの状態が期待どおりのときだけ解けたと数える厳格な二値判定だと、ブログは説明している。ここで使うのは、retail（小売）とairline（航空）の2領域。

成績はどう変わったのか

ブログのTable 2は、held-out（訓練に使わなかった）テストタスクでの結果。retailは40タスク、airlineは20タスクで、各4試行。

領域	設定	平均精度	Pass^4
Retail（40）	指針なし	78.1%	57.5%
	sup3（31件）	78.8%	60.0%
	lossless（292件）	82.5%	67.5%
Airline（20）	指針なし	57.5%	35.0%
	sup3（14件）	60.0%	45.0%
	lossless（101件）	65.0%	40.0%

sup3は、3つ以上の別々の訓練タスクから抽出された指針だけに絞った設定。losslessは、整理後に残った指針をすべて入れた設定。IBMは、retailでは指針が多いほど良く、airlineでは少数精鋭のsup3のほうがPass^4が高いと書き、指針の量は領域ごとに調整するものだとしている。

airlineは20タスクなので、Pass^4が1タスク分動くと5ポイント動く。retailは40タスクで、1タスクは2.5ポイント（筆者の計算）。小さなテスト集合だという点は、読むときに頭に置いておきたい。

コストと会話の長さはどうなったか

ブログのTable 3によると、1会話あたりのコスト（エージェントと顧客シミュレーターの合計、base split全体）は次のとおり。

領域	設定	1会話あたり	指針なし比
Retail	指針なし	$0.084	—
	sup3	$0.095	+12%
	lossless	$0.139	+65%
Airline	指針なし	$0.081	—
	sup3	$0.097	+19%
	lossless	$0.107	+32%

増えるのはプロンプトの入力トークンで、会話が長くなるわけではないとIBMは説明する。指針なしでも指針ありでも解けたタスクだけを比べると、アシスタントのターン数はretailのlosslessで10.59から10.16に減っている。IBMは、指針のブロックは全呼び出しで同一なので、実運用ではプロンプトキャッシュで相当部分を回収できると見ている。これは同社の見立てで、ブログ内に測定値は示されていない。

フロンティアモデルでも効くのか

IBMはGPT-5.5でairlineを再実験している。指針は、そのエージェント自身の試行から作り直した。held-outの20タスクで、Pass^4は指針なしの55.0%から、sup2（103件）・lossless（146件）の両方で70.0%になった。この設定では支持数3以上の指針が出ず、最大が2だったため、絞り込み版はsup3ではなくsup2になった。

「リーダーボード1位」はどこまで言えるのか

ブログの比較は、base split全体（訓練＋テスト）で、10月12日時点のスナップショットに対して行われている。IBMの記述は次のとおり。

Retail: GPT-4.1で Pass^4 67.5%。IBMによると、全フロンティアモデルと、τ²-benchのretail合成データで微調整されたRAFT-30B-A3B（61.4%）を上回る
Airline: GPT-5.5で Pass^4 82.0%。公開ボードのフロンティア勢（66〜72%）を上回り1位。GPT-4.1のsup3版は44%で8位

PR #542の本文には、retailの結果として Pass^1 81.14%、Pass^2 75.00%、Pass^3 70.83%、Pass^4 67.54%、1会話あたり平均$0.1084と書かれている。ブログのTable 3のlossless（$0.139）とは数字が違う。今回取得したブログ本文には、この差の説明は見当たらなかった。測定条件の違いかもしれないが、ここでは理由を断定しない。

私は10月21日0時台、ブログとPR 2件を同じ時刻帯に取得して突き合わせた。ブログの見出しは「tops the leaderboard」だが、PRの画面はどちらもOpen・レビュー0件・マージ前だった。見出しの「leaderboard」は、IBM自身が10月12日時点の公開ボードに自分の数字を並べた比較を指す、と読むのが自然だと感じた。

数字を読むときの限界

訓練タスクを含む評価: PR #542・#551は、指針を訓練分割から学習し、評価のbase splitにはその訓練タスクが含まれると書いている。ブログは、base splitのリーダーボード数字はテスト分割だけの数字とは異なると断り、別にテスト分割の結果も載せている。ブログの「test-set leakageなし」は、指針を訓練分割だけから作ったという意味で書かれている。リーダーボードの数字自体は、指針を作った訓練タスクも含めた集計だという前提で読む必要がある
未マージ・Unverified見込み: 2件のPRはどちらもOpen。PR本文は、プロンプト変更（modified_prompts: true）のためUnverifiedで掲載される見込みと書く。今回取得したページには、Sierra側の審査結果は載っていなかった
自己申告の数字: 数字はすべてIBMとPR作成者の公表値。私は再現していない
タスク数が小さい: held-outのairlineは20タスク。ブログはGPT-5.5のlosslessが再実行で同じ結果になったと書くが、指針なしの設定は再実行でぶれたとも書いている
使ったモデル: 顧客シミュレーターにGPT-5.5を使った条件での数字。他の条件での結果は今回の出典に載っていない
提供・料金: ライブラリはGitHubにApache-2.0ライセンスで公開されている。日本向けの案内は、今回取得したブログ本文とGitHubのページには見当たらなかった（「日本」「Japan」で検索）

前の発表と何が違うのか

ブログは、以前はコーディングエージェントでこの手法を示したと書き、今回は顧客対応に広げたと説明している。前作の一つ「How Much Memory Does Your Agent Actually Need?」は、指針をどれだけ渡すかを論じている。同記事は、小さい・弱いモデルには高信頼の少数の指針に絞り、必要に応じてタスクごとに検索して渡す方が良いと述べ、AppWorldでのgpt-oss-120bのタスク完了率（TGC）+16.1ポイントを挙げる。今回のブログも、airlineでsup3のPass^4が高かった結果を、指針の渡し方は調整するものだという前作の知見と重なるものとして書いている。

出典と確認時刻

IBM Research「ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model」: https://huggingface.co/blog/ibm-research/altk-evolve-bc （公開は10月20日15:19 UTC＝日本時間10月21日0:19。取得は日本時間0:21）
τ²-bench PR #542（retail）: https://github.com/sierra-research/tau2-bench/pull/542 （日本時間0:22取得）
τ²-bench PR #551（airline）: https://github.com/sierra-research/tau2-bench/pull/551 （日本時間0:22取得）
ALTK-Evolve（GitHub）: https://github.com/AgentToolkit/altk-evolve （日本時間0:22取得）
IBM Research「How Much Memory Does Your Agent Actually Need?」: https://huggingface.co/blog/ibm-research/altk-evolve-hmm （日本時間0:22取得）

確認時刻はいずれも日本時間2026年10月21日0時台です。本記事は続報があり次第更新します。

この記事でよく聞かれること

ALTK-Evolve（エーエルティーケー・エボルブ）とは何ですか？: IBM Researchのライブラリです。エージェントの過去の試行を分析し、成功と失敗を短い行動ルール（指針）にまとめ、以降の会話のシステムプロンプトに追記します。IBMの10月20日付ブログによると、モデルの重みの更新も人手の注釈も要りません。ブログのτ²-bench実験では、指針の抽出とエージェント本体の両方に同じモデル（GPT-4.1）を使っています。
τ²-bench retailで何%を記録したのですか？: IBMのブログによると、GPT-4.1を使った基本的なReActエージェントが、retailのbase split（114タスク×4試行）でPass^4 67.5%でした。Pass^4は4回の試行すべてで解けたタスクの割合です。IBMは、10月12日時点のリーダーボードのスナップショットにあるretailの全エントリを上回ると説明しています。
この成績はτ²-benchの公式リーダーボードに載っていますか？: 今回取得した10月21日0時台の時点では、確認できていません。retailの提出（Pull Request #542）とairlineの提出（#551）は、どちらもsierra-research/tau2-benchでOpenのままでした。PR本文には、プロンプトを変更したためUnverified（未検証）として掲載される見込みと書かれています。
同じ手法でフロンティアモデルも良くなりますか？: IBMのブログによると、airlineでGPT-5.5を使った実験では、指針なしのPass^4 55.0%が70.0%に上がりました（held-out 20タスク）。base split全体（50タスク）の提出値はPass^4 82.0%で、IBMはこれを公開ボードのフロンティア勢（66〜72%）より上と書いています。