ベンチマークの点数ではなく「最後までやりきる力」──Apodex 1.1が持ち出した新指標『Working Capability』

MMLUやHumanEvalのようなベンチマークスコアが高いことと、実際の業務を最後までやりきれることは別物だ——この違いを正面から扱った論文が、2026年8月24日にarXivで公開された。エージェント型AIモデル「Apodex 1.1」の発表論文で、「Working Capability(やりきる力)」という新しい評価軸を持ち出している。

「推論できる」と「業務を完了できる」の違い

論文の出だしはこうだ。

"General-purpose language models can reason and synthesize knowledge, but complex work also requires sustained interaction with files, information sources, and executable code, together with state maintenance, failure recovery, and verifiable delivery."

汎用の言語モデルは推論し知識を統合できるが、複雑な業務にはそれに加えて、ファイル・情報源・実行可能なコードとの持続的なやり取り、状態の維持、失敗からの回復、検証可能な成果物提出が必要になる。著者らはこれをまとめて「working capability」と名付けた。

"We call this \emph{working capability}: sustained, verifiable progress toward a real-world objective."

現実世界の目標に向けた、持続的で検証可能な進捗——これがworking capabilityの定義だ。単発の質問に一発で答える能力ではなく、複数ステップにまたがる業務を、途中で失敗しても立て直しながら最後までやり通す能力を指している。

2つのスケーリング軸

Apodex 1.1は、この能力を「Environment Scaling(環境のスケーリング)」と「Agentic Coordination Scaling(エージェント間協調のスケーリング)」という2つの補完的な軸で育てているという。前者は実行可能なファイル・検索・コード環境の多様性と検証可能性を拡張するもの、後者は長時間タスクを分解し、並行作業を委任し、非同期の結果を統合し、再計画する能力をエージェントに訓練するものだ。さらに「共有実行ハーネス」と「AgentOS」が、ツール・エージェントをまたいでタスクの状態と来歴(provenance)を維持する仕組みとして組み込まれている。長時間タスクを分解して並行作業を委任し、非同期の結果を統合し、うまくいかなければ再計画する——この一連のサイクルを支える基盤として、単発の応答生成モデルというより、タスク管理システムに近い設計思想がうかがえる。

数字:35Bパラメータでもフロンティア級の性能帯

"Across complex professional work, finance, scientific research, mathematics, coding, and search, Apodex 1.1 reaches the leading performance band despite using a substantially smaller model than many frontier systems."

専門的な業務・金融・科学研究・数学・コーディング・検索といった領域を横断して、Apodex 1.1は多くのフロンティアシステムよりかなり小さいモデルサイズでありながら、トップクラスの性能帯に到達したという。さらに、ローカル配置可能な小型版も用意されている。

"The 35B-parameter Apodex 1.1 Mini further retains strong working capability in a locally deployable form."

35Bパラメータの「Apodex 1.1 Mini」は、ローカルに配置可能な形態でありながら、強いworking capabilityを保持している。専門的な業務・金融・科学研究・数学・コーディング・検索という6つの評価領域の並びからも、単一のタスクへの特化ではなく、複数の異なる業務ドメインを横断して「やりきる力」を発揮できることを重視した設計であることがうかがえる。

エージェント選定でスコア以外に見るべき指標

AIエージェントを選定する際の判断基準として、単発のベンチマークスコアだけでなく「長時間タスクを状態管理しながらやりきれるか」という観点は、実際に業務でエージェントを使う立場からすると重要度が高い。この論文が示す評価軸は、そうした「やりきる力」を測るための言語を提供している。35Bという比較的軽量なモデルでローカル配置を試みている点も、自前でエージェント環境を構築したい層にとっては注目材料になる。ローカルLLMの基礎はローカルLLMとは何かを、ベンチマークの読み方全般はLLMベンチマークの読み方を参照してほしい。

35Bという数字の裏取りは要旨止まり

本記事は、当サイトが論文の要旨を読んで書いている。Apodex 1.1そのもののフルサイズのパラメータ数、「トップクラスの性能帯」がどのベンチマーク・どの競合モデルとの比較を根拠にしているかの具体的な数値、AgentOSの技術的な実装詳細は、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。著者リストは個人名の頭文字と姓のみで構成された大規模な共著者リストで、所属組織名は要旨のページ内では確認できなかった。Zenn記事検索(2026年8月27日実施)では「Apodex」に該当する日本語記事は見つからなかった。事前の候補調査記録によれば、Google検索でも「Apodex」は製薬会社Apotexの誤変換として扱われる傾向があるという(本記事側で改めて検索し直してはいない)。