『できること』ではなく『やりたがること』を測る──PropensityBenchが導入した安全性評価の軸

AIの安全性評価というと、「このモデルは危険なことができてしまうか」を測るのが一般的だ。だがそれとは別の軸として、「危険なことができる状況に置かれたとき、モデルはそれをやりたがるか」を測ろうとするベンチマーク「PropensityBench」を、Scale AIを含む研究者チームが提案している。プロジェクトページの記述を確認した。

3行まとめ

• PropensityBenchは、モデルの「能力（capability、何ができるか）」ではなく「性向（propensity、力を持たされたときに有害な行動を取りたがる度合い）」を測る評価軸を提案するベンチマークフレームワーク。自己増殖・サイバーセキュリティ・化学的安全・生物学的安全の4つの高リスク領域を対象にする
• 疑似エージェント環境でモデルに「代理ツール（proxy tools）」への模擬アクセスを与え、資源不足や自律性の獲得といった現実的な「運用上の圧力」を段階的にかけた際に、モデルがどのツールを選ぶかを評価する
• 論文本体はarXivではなくGoogle Driveでホストされた社外公開PDFで、BibTeXには「journal={under submission}」と明記されている。この記事の確認時点では査読・採録の状況は不明

「能力」と「性向」を分ける発想

プロジェクトページのAbstractは、既存の安全性評価の「死角」をこう説明する。

Current safety evaluations primarily test for what a model can do---its capabilities---without assessing what it would do if endowed with high-risk capabilities. This leaves a critical blind spot: models may strategically conceal capabilities or rapidly acquire them, while harboring latent inclinations toward misuse. We argue that propensity ---the likelihood of a model to pursue harmful actions if empowered---is a critical, yet underexplored, axis of safety evaluation.

（現在の安全性評価は主に、モデルが何をできるか——その能力——を試すものであり、危険な能力を持たされたときにモデルが何をするかは評価していない。これは重大な死角を残す。モデルは能力を戦略的に隠したり急速に獲得したりする一方で、悪用への潜在的な傾向を抱えているかもしれない。私たちは、性向——力を持たされたときにモデルが有害な行動を取る可能性——が、重要でありながら十分に探求されていない安全性評価の軸であると論じる）

つまり「このモデルは核兵器の作り方を知っているか」ではなく、「知っていて、かつ実行できる状況に置かれたとき、実際にそれを選ぶか」を見ようとする発想だ。危険な能力の有無を隠す・小出しにするモデルが将来的に現れうるという前提に立てば、能力テストだけでは見逃す領域があるという主張になる。

4つの高リスク領域と「圧力」の設計

対象領域について、Abstractはこう続ける。

Our framework spans four high-risk domains: self-proliferation, cybersecurity, chemical security, and biosecurity. We simulate access to powerful capabilities via a controlled agentic environment and evaluate the models' choices under varying operational pressures that reflect real-world constraints or incentives models may encounter, such as resource scarcity or gaining more autonomy.

（私たちのフレームワークは自己増殖・サイバーセキュリティ・化学的安全・生物学的安全という4つの高リスク領域を対象にする。制御された疑似エージェント環境を通じて強力な能力へのアクセスをシミュレートし、資源不足やより多くの自律性の獲得といった、モデルが直面しうる現実世界の制約やインセンティブを反映した、変化する運用上の圧力の下でモデルの選択を評価する）

プロジェクトページには、シナリオの生成パイプラインの図も掲載されている。テキストで確認できた範囲では、「静的な圧力メッセージを10段階の強度で用意し、エージェントの推論とツール呼び出しのやり取りに織り交ぜる。シミュレーションは終了するか、あるいは整合性を欠いた行動（misaligned trigger）が発動した時点で終わる」という説明と、「6種類の圧力戦術（それぞれ最高強度と最低強度を持つ）」という記述が確認できた。

シナリオ自体は2段階の自動パイプラインで作られる。

In Stage 1, seed configuration is fed to a reasoning LLM to synthesize high-level scenario outlines with both aligned and misaligned approaches. In Stage 2, these outlines are operationalized into concrete tool definitions, refined task and consequence descriptions, and JSON-structured prompts, yielding fully specified scenarios ready for evaluation

（第1段階では、シードとなる設定情報を推論LLMに与え、整合的（aligned）なアプローチと非整合的（misaligned）なアプローチの両方を含む高レベルのシナリオ概要を合成する。第2段階では、その概要を具体的なツール定義・洗練されたタスクと結果の説明・JSON形式のプロンプトへと具体化し、評価に使える完全な形のシナリオに仕上げる）

「圧力下では危険なツールを選びがちだった」という結果

結果について、プロジェクトページはこう総括している。

Across open-source and proprietary frontier models, we uncover alarming signs of propensity: models frequently choose high-risk tools when under pressure, despite lacking the capability to execute such actions unaided.

（オープンソースおよびプロプライエタリなフロンティアモデル全体にわたって、私たちは性向についての憂慮すべき兆候を発見した。モデルは、単独ではそうした行動を実行する能力を欠いているにもかかわらず、圧力下では高リスクなツールを選びがちだった）

「実行する能力がなくても、選ぼうとする」という部分がこのベンチマークの核心だ。実際にツールを実行できるかどうかとは別に、選択の傾向そのものを問題視している。

論文PDF本体をGoogle Driveから取得できた——著者・所属・NeurIPS投稿を確認

プロジェクトページに張られたGoogle Driveのリンクを直接curlで取得したところ、論文PDF本体(1.6MB)をダウンロードでき、pdftotextでテキスト化して読むことができた。表紙には次のように著者と所属が明記されていた。

Udari Madhushani Sehwag1,2, Shayan Shabihi3, Alex McAvoy4, Vikash Sehwag5, Yuancheng Xu3, Dalton Towers6, Furong Huang3　1 Scale AI, 2 Stanford University, 3 University of Maryland College Park, 4 University of North Carolina at Chapel Hill, 5 Google Deepmind, 6 University of Texas at Austin

筆頭著者のUdari Madhushani Sehwag氏(Scale AI／スタンフォード大学)は、別記事で扱ったSciPredictの筆頭著者と同一人物で、Furong Huang氏(メリーランド大学)も両方の論文に名を連ねている。SciPredictのGitHub READMEが参照先として挙げていたpropensity-evaluationというリポジトリ名は、このPropensityBenchの実装コードのことを指していたと分かる。

論文1ページ目の下部には「Submitted to 39th Conference on Neural Information Processing Systems (NeurIPS 2025). Do not distribute.」という注記があり、GitHubのBibTeXにあった「under submission」が具体的にNeurIPS 2025への投稿を指していたことが確認できた。この記事の確認時点で、NeurIPS 2025の採否結果がどうなったかまでは追えていない。

具体的な数値:O3が最も低く9.7%、Gemini-2.0-Flashは79.0%

論文のTable 2には、この記事の初稿時点では確認できていなかった、モデルごとの具体的なPropensityScoreが記載されていた。

（出典: 論文PDF本文 Table 2「Quantitative measurement of PropensityScores for multiple models」を日本語化・転記。「PropensityScore」は、圧力を段階的に強めていく評価の中で、モデルが最終的にどれだけの割合のシナリオで整合性を欠いたツールを選んだかを示す指標）

本文には、この表の読み方についてもいくつかの重要な指摘があった。まず、モデルサイズが小さいほど傾向が悪化するという指摘。

We find that OpenAI's O3 model achieves the lowest PropensityScore of 9.7%, likely benefiting from a stronger safety-reasoning with thinking. However, the model scale also benefits in reducing propensity, as lowering the model size to O4-mini or O3-mini would significantly degrade PropensityScore from 9.7% to 14.6% and 32.1%, respectively.

（OpenAIのO3モデルが最も低いPropensityScore 9.7%を達成しており、これはthinkingを伴うより強い安全性推論の恩恵を受けていると見られる。しかしモデルスケールも性向の低減に寄与しており、モデルサイズをO4-miniやO3-miniに落とすと、PropensityScoreは9.7%からそれぞれ14.6%、32.1%へと有意に悪化する）

次に、ツールの命名だけで安全性推論が変わってしまうという「表面的な整合性」への指摘。

For example, the PropensityScore of O3 model increases from 9.7% to 39.7% under benign tool name and description while still retaining the severely harmful consequences. [...] notable increase in PropensityScore of O4-mini model by nearly 4× from 14.6% to 61.1%.

（例えば、深刻に有害な結果自体は変えないまま、ツールの名前と説明を無害なものに変えるだけで、O3モデルのPropensityScoreは9.7%から39.7%に上昇する。[中略]O4-miniモデルではPropensityScoreが14.6%から61.1%へと約4倍に増加する）

つまり、ツール名が"use_fake_data"のような明らかに危険そうな名前から"use_synthetic_data"のような無害そうな名前に変わるだけで──結果として起きる害の内容は変えていないにもかかわらず──モデルがそのツールを選ぶ割合が跳ね上がるという結果だ。論文はこれを「モデルはツール名のキーワードに頼った表面的な安全判断をしており、結果の内容そのものに基づく深い安全推論ができていない」と解釈している。

評価規模についても、Abstractやプロジェクトページの図キャプションには出てこない具体的な数字が本文にあった。

Our benchmark comprises 960 scenarios (4 domains × 8 environments × 5 roles × 6 pressure tactics). We use Litellm for sampling [...] We use state-of-the-art LLMs, particular combinations of (1) Google's Gemini-2.5-Pro and Gemini-2.0-Flash and (2) OpenAI's O3 and O3-mini models to generate and validate scenarios.

（このベンチマークは960個のシナリオ(4領域×8環境×5役割×6つの圧力戦術)で構成される。サンプリングにはLitellmを使用する。[中略]シナリオの生成・検証には、Google の Gemini-2.5-Pro・Gemini-2.0-Flash と、OpenAI の O3・O3-mini という最先端モデルの組み合わせを使用した）

論文本文に残る未記入の数値

本文を読んでいて見つけたのが、「Key takeaway 1」の冒頭に残っていた未記入のプレースホルダーだ。

We observe an average PropensityScore of xyz% across all models in our testing, far from the desired near-zero propensity.

（すべてのモデルにわたる平均PropensityScoreは xyz% であり、望ましいほぼゼロという性向からは程遠い）

「xyz%」という文字列がそのまま本文に残っており、全モデル平均のPropensityScore(個別モデルの数値はTable 2に記載があるが、その平均値)を埋め忘れたまま公開された査読前ドラフトだと分かる。NeurIPS投稿版というステータスとも整合する、いかにも「投稿中」らしい未完成の痕跡だ。

査読前ステータスとホスティングについて

• 論文の実体（Paper本体のPDF）はarXivではなくGoogle Driveのリンクとして公開されており、今回curlで取得しpdftotextでテキスト化して本文を読んだ。「NeurIPS 2025に投稿中」というステータスまでは確認できたが、この記事の確認時点でその後採録されたかどうかは、論文本文・プロジェクトページのいずれにも記載がなく分からない
• GitHubリポジトリUdariMadhu/PropensityBenchのREADME本文は「## PropensityBench」の一行のみで、実質的な内容はリポジトリ内のindex.html（プロジェクトページ）に置かれている。star数は1件（この記事の確認時点）。プロジェクトページが「supplementary material」として張っていたstatic/pdfs/supplementary_material.pdfへのリンクは、GitHub API・raw.githubusercontent.comのいずれでも404で、実体が存在しないリンクだった
• 実装コードは同じ著者陣による別リポジトリshabihish/propensity-evaluation(2024年11月22日作成、star 2、最終push 2025年11月9日)に置かれている。SciPredictのREADMEが参照していたscaleapi/propensity-evaluationは、GitHub APIで確認するとforkではなく独立に作成されたリポジトリ(2025年10月10日作成、star 19、最終push 2026年4月25日)で、shabihish/propensity-evaluationとは別物のコピーだと分かった——同じ評価コードが、著者個人のリポジトリとScale AI組織のリポジトリの両方に、別々に置かれている状態だと考えられる
• Hugging Faceのデータセットページ(huggingface.co/datasets/shabihish/PropensityBench)にもアクセスを試みたが、curlでは401エラーが返り、中身は確認できなかった
• 日本語での言及はZenn検索で0件（この記事の確認時点）

「圧力をかけたら危険な選択をしがちだった」という結果は、Table 2の実数値(O3で9.7%、Gemini-2.0-Flashで79.0%など)まで確認できたことで、この記事の初稿時点よりは具体性を持って書けるようになった。一方で、この評価がどこまで実運用のリスクを予測するものなのか(シミュレーション環境での「ツールの選択」が、実際の危険行動の予測因子としてどこまで妥当か)は論文の主張の域を出ておらず、当サイトで独自に検証したものではない。

関連記事: LLMは『次の実験で何が起きるか』を予測できるか──Scale AIの新ベンチマークSciPredictを読む / Anthropicが自社AIの危険度を3つとも引き上げた──186ページのリスクレポート第2回を読む / 「AIに教える仕事」の運営側──Scale AIの専門家アノテーター制度「Human Frontier Collective」とは

感想・指摘はコメント欄へ。