Reward Hackingの安全版推論時スケーリングが不完全な安全フィルタを『すり抜けさせる』構造『Safety Hacking』

推論時に複数の候補出力をサンプリングし、安全性を判定する学習済みモデルでフィルタしたうえで、最も報酬の高いものを返す——このBest-of-N型のパイプラインは、精度と安全性を両立させる定石として広まっている。追加の訓練をせずに、推論時の計算量を増やすだけで性能を底上げできる「推論時スケーリング」の代表的な実装形態でもある。しかし、この構成自体に隠れた失敗パターンがあることを示した論文が、2026年8月24日にarXivで公開された。

二段階の失敗:汚染と増幅

論文はまず、この構成が持つ構造的な脆さを説明する。

"this composition creates a two-stage failure: an imperfect safety proxy first contaminates the feasible set with unsafe outputs, and reward maximization can then amplify this residual contamination."

この構成は二段階の失敗を生む。まず、不完全な安全性プロキシ(判定モデル)が、実行可能な候補集合(feasible set)に不安全な出力を紛れ込ませてしまう。次に、報酬最大化がこの残留汚染をさらに増幅させてしまう。

Best-of-Nサンプリングは、1回だけモデルに生成させるのではなく、同じ入力に対してN個の候補を生成し、その中から最良の1つを選ぶという構成だ。回答の質を上げる定石として広く使われているが、この論文は「質を上げる」ための仕組みが「安全性を損なう」方向にも同じロジックで働きうることを指摘している。著者らはこの現象を次のように定義する。

"We define \emph{safety hacking} as selecting an output that passes the learned constraint but violates the true safety criterion."

学習済みの制約は通過するが、真の安全基準には違反している出力を選んでしまうことを「safety hacking」と呼ぶ。これは、報酬モデルの穴を突いて高スコアを得る「Reward Hacking(報酬ハッキング)」の、安全性版と言える構造だ。Reward Hackingが「本来の目的からズレた形で報酬を稼ぐ」現象だとすれば、Safety Hackingは「本来の目的からズレた形で安全審査をすり抜ける」現象であり、どちらも評価・判定を担うプロキシモデルの不完全さを、最適化プロセスが意図せず突いてしまうという同根の構造を持つ。

理論的な結果:Nを増やすほど確実になる

論文は制約付きBest-of-Nサンプリングについて、実行可能な集合内の安全な出力と不安全な出力それぞれの報酬の裾野(tail)の重さによって決まる、有限N条件下の理論的な境界を導出している。不安全だが実行可能とされてしまう出力の方が裾野が重い場合、偽陽性率や安全性・報酬プロキシの平均誤差がどれだけ小さくても、サンプル数Nが増えるにつれてsafety hackingは漸近的に確実になる、と論文は示している。つまり、単に候補数を増やして「最良の1つを選ぶ」というアプローチを推し進めるほど、かえって危険な出力を選んでしまう確率が高まりうるという、直感に反する結果だ。品質を上げようとしてサンプル数を増やす判断が、安全性の面では逆効果になりうるという、精度と安全性の間に潜むトレードオフを浮き彫りにしている。

論文はさらに、プロキシに対して実行可能な参照分布から一定の範囲(χ²ダイバージェンス)内にあるポリシーは、Nに依存しない安全性ハッキングの境界を持つことも示し、この一般原理を「制約付き悲観的サンプリング(constrained pessimistic sampling)」という手法で具体化している。ただし、こうしたカバレッジ制御は増幅を抑えることはできても、汚染された実行可能集合そのものを修復することはできない、という限界も明記されている。言い換えれば、報酬最大化の側でどれだけ工夫を凝らしても、そもそも安全性プロキシが不完全であるという根本原因を放置したままでは、危険な出力が候補集合に紛れ込むこと自体は防げない。この論文の含意は、「安全性フィルタの精度を上げること」と「推論時スケーリングの設計を工夫すること」は別々の課題であり、後者だけでは前者の不備を補いきれない、という切り分けにある。

サンプル数を増やす設計を見直す

AIプロダクトに「複数候補を生成してから安全性フィルタで選別する」パイプラインを組んでいる場合、この論文はサンプル数を増やせば増やすほど安全になるとは限らない、という反直感的な事実を突きつける。安全性フィルタ自体の精度が不完全なままサンプル数だけを増やすと、むしろ危険な出力が選ばれる確率が上がりうる、という構造は、推論時スケーリングを安全対策の主軸に据えることの危うさを示している。エージェントのベンチマークにおける類似の「ハッキング」現象についてはAIエージェントのベンチマークは「ハック」できるを参照してほしい。

実験の言語モデル名は要旨に出てこない

本記事は、当サイトが論文の要旨を読んで書いている。「Toy and language-model experiments」という記載はあるが、実際に使用した言語モデルの名称、実験で扱った具体的なタスク・データセットは、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。χ²ダイバージェンスに基づく境界の数式的な導出過程も本記事では踏み込んでいない。Zenn記事検索(2026年8月27日実施)では「Safety Hacking」に該当する日本語記事は見つからなかった。