Terminal-Bench開発元が作った評価基盤「Harbor」──Claude Code・OpenHands・Codex CLIを同じコマンドで数千並列評価する

3行まとめ

1. Harborは、AIコーディングエージェントのベンチマーク「Terminal-Bench」を作ったチーム（laude-institute）が公開している、エージェントとモデルを評価・最適化するためのフレームワーク。GitHub API実測でスター数4,701、直近の更新は本記事執筆日と同じ2026-08-27。
2. 公式READMEは用途を「Claude Code・OpenHands・Codex CLIなど任意のエージェントを評価する」「自作のベンチマークと環境を作って共有する」「Daytona・Modal・LangSmith・Blaxel・Novita Sandbox・Tensorlakeなどのプロバイダを通じて数千の環境で並列実験する」「RL最適化用のロールアウトを生成する」の4つに整理している。
3. Terminal-Bench自体は2025年1月作成のリポジトリで、GitHub API実測ではその後harbor-framework/terminal-bench-1へと移管されている。今回Macaron-V1やStateMが評価基盤として使っている「Terminal-Bench 2.1」は、この移管後の後継バージョンにあたる。

Harborが解決する問題

laude-instituteが公開しているGitHubリポジトリharborのREADMEは、Harborを「Terminal-Benchの開発者らによる、エージェントと言語モデルを評価・最適化するためのフレームワーク」と位置づけている。用途としてREADMEが挙げているのは次の4つ。

• Claude Code、OpenHands、Codex CLIなど任意のエージェントを評価する
• 自作のベンチマークと実行環境を作って共有する
• Daytona・Modal・LangSmith・Blaxel・Novita Sandbox・Tensorlakeなどのプロバイダを通じて、数千の環境で並列に実験する
• RL最適化用のロールアウトを生成する

インストールはuv tool install harborまたはpip install harbor。READMEに掲載されているTerminal-Bench-2.0の実行例は次の通り。

export ANTHROPIC_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \
   --agent claude-code \
   --model anthropic/claude-opus-4-1 \
   --n-concurrent 4

これはDockerを使ってローカルでベンチマークを起動する。クラウドプロバイダ（例：Daytona）上で実行する場合は--envフラグを追加する。

export ANTHROPIC_API_KEY=<YOUR-KEY>
export DAYTONA_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \
   --agent claude-code \
   --model anthropic/claude-opus-4-1 \
   --n-concurrent 100 \
   --env daytona

READMEはSWE-BenchやAider Polyglotのようなサードパーティのベンチマークもharbor datasets listで一覧でき、harbor run -d "<dataset@version>" -m "<model>" -a "<agent>"という共通コマンドで評価できるとしている。

なぜHarborを作ったのか──公式サイトの「Motivation」

harborframework.comの公式ドキュメント冒頭「Motivation（動機）」ページには、READMEには無い開発の経緯が書かれている。

When we released Terminal-Bench in May, we were surprised to see it used in unexpected ways like building custom evals, optimizing prompts, running RL, generating SFT traces, and CI/CD agent testing. We also learned that defining and managing containerized tasks at scale is hard. We built Harbor to make it easy.

（Terminal-Benchを5月にリリースしたところ、独自の評価基盤の構築、プロンプト最適化、RL実行、SFT用トレース生成、CI/CDでのエージェントテストといった、想定外の使われ方をしているのを見て驚いた。また、コンテナ化されたタスクを大規模に定義・管理するのが難しいことも学んだ。それを簡単にするためにHarborを作った）

つまりHarborは、Terminal-Benchというベンチマーク単体が想定外の用途で使われていった結果、汎用的な「評価・最適化フレームワーク」として独立発展したものだと分かる。

同じドキュメントページには、対応プロバイダの一覧もREADMEより詳しく書かれている。README本文では「Daytona・Modal・LangSmith・Blaxel・Novita Sandbox・Tensorlake」の6社が挙がっていたが、ドキュメントサイトでは次の12種類が列挙されていた：Daytona、Modal、E2B、Runloop、Tensorlake、LangSmith、Blaxel、Novita Sandbox、EC2、Beam、Hyperbrowser、Vercel Sandbox。ドキュメントページの方がREADMEより新しい情報を反映している可能性がある。

機能追加の時系列（公式サイトNewsページより）

公式サイトの「News」ページには、2026年に入ってからの機能追加が日付付きで並んでいる。

この時系列を見ると、直近半年は「タスクの検証方法」「結果の共有方法」まわりの機能拡張が続いていることが分かる。

Terminal-Benchとの関係──リポジトリの移管

GitHub APIで両リポジトリのメタデータを実測すると、興味深い経緯が見える。

つまり、もともとlaude-institute名義だったTerminal-Benchのリポジトリは、現在はharbor-frameworkという組織に集約されており、terminal-benchは「terminal-bench-1」という名前に変わっている。READMEが挙げるバージョン例は「terminal-bench@2.0」で、GitHub Releases APIで確認できたharbor本体の直近リリースはv0.22.0（2026-08-22公開）。Macaron-V1のベンチマーク表やStateMのDeepSeek再現実験が評価プロトコルとして使っている「TerminalBench 2.1」は、このterminal-bench-2系列のさらに後継版とみられるが、Harbor本体のREADMEやGitHub API経由で確認できた範囲では「2.1」という版のリリース日そのものは特定できなかった。

引用情報

READMEはZenodoのDOI（10.5281/zenodo.20953922）付きの引用情報を掲載しており、これは「concept DOI」で常に最新リリースを指し、全バージョンをまたいだ引用を集約する、と注記されている。特定バージョンを引用する場合はZenodoレコード側のバージョン別DOIを使う、という案内も添えられている。

@software{Harbor_Framework,
author = {{Harbor Framework Team}},
title = {{Harbor: A framework for evaluating and optimizing agents and models in container environments}},
year = {2026},
version = {v0.16.1},
doi = {10.5281/zenodo.20953922},
url = {https://doi.org/10.5281/zenodo.20953922}
}

プロバイダの詳細について確認できていないこと

Harborが対応するクラウドプロバイダのうち、Blaxel・Novita Sandbox・Tensorlakeについては、READMEが列挙しているだけで各社の詳細（料金・実行環境の仕様など）は今回確認していない。いずれも国内での知名度は今回のZenn記事検索（3語とも個別にゼロ件）を見る限り低いとみられるが、単独で記事化するには材料が不足している。Terminal-Bench 2.1という版そのものの正式なリリース日・変更点も、今回参照した一次資料の範囲では特定できなかった。筆者はHarborを実際にインストールしてエージェント評価を走らせる検証はしていない。Zenn記事検索では「Harbor framework」というクエリはエラーになりうまく検索できなかったため、単語を分けて再検索したが、この記事が扱う意味でのHarborに関する日本語記事は見当たらなかった。

関連記事

• モデルの重みを変えずにTerminal-Bench 2.1の正答率を上げたStateM
• 748BのモデルなのにL0の判断は1B──Macaron-V1-Ventiを読む
• LLMベンチマークの読み方