Activation Steeringの『効果』は選択肢の並べ方のせいだった?──評価そのものを疑う『Cross-Encoding Steering Evaluation』

LLMの内部の活性化(ニューロンの発火パターン)に方向ベクトルを加えることで出力を誘導する「Activation Steering(活性化操作)」は、モデルの解釈可能性研究の主要な手法の一つだ。プロンプトで指示するのではなく、モデル内部の演算に直接介入することで、より確実に振る舞いを変えられるとされ、安全性研究や挙動制御の文脈で注目を集めてきた。だが、この手法の「効果」を測る評価方法自体に見落としがあると指摘する論文が、2026年8月24日にarXivで公開された。著者はZhiwei Gao・Shaowen Peng・Shoko Wakamiya・Eiji Aramakiの4氏で、arXivのHTML全文版で確認すると、所属は奈良先端科学技術大学院大学（NAIST）だった。

3行まとめ

• arXiv:2608.22985は、CAA（対照的活性化加算）・ITIの評価に使われた回答識別子（A/B/C等）を入れ替えて再評価する「Cross-Encoding Steering Evaluation」を提案。実験にはQwen2.5-7B-Instruct・Llama-3.1-8B-Instruct・Mistral-7B-Instruct-v0.3・Gemma-2-9B-ITの4モデル、NormBank・MNLI・SC101の3データセットを使用
• NormBankでの効果は「抽出インデックス追従」が意味的ラベル追従を1.95〜4.04上回った（ランダム調整後の効果量4.63、識別子を入れ替えた後も3.00〜4.13で優位が継続）
• 公開されているCAAの挙動評価（Llama-2-7B/13B-Chat）を多肢選択式と自由記述式で比較すると、hallucinationは両方で改善する一方、refusalは多肢選択式で+3.28だったのが自由記述式では有意な効果なし（-0.13、95%信頼区間がゼロをまたぐ）、sycophancyは逆に多肢選択式では-0.48だったのが自由記述式では+1.11に転じた

何を検証し直しているのか──CAAとITIが元々主張していたこと

この論文が俎上に載せているCAA（Contrastive Activation Addition）とITI（Inference-Time Intervention）は、いずれも実在する著名な活性化操作手法だ。それぞれの原論文をACL Anthology・arXivで直接確認した。

CAAの原論文（Rimsky et al., 2024、ACL 2024）は、要旨でこう述べている。

"We evaluate CAA's effectiveness on Llama 2 Chat using multiple-choice behavioral question datasets and open-ended generation tasks. We demonstrate that CAA significantly alters model behavior, is effective over and on top of traditional methods like finetuning and system prompt design, and minimally reduces capabilities."

（訳：CAAの有効性を、Llama 2 Chat上で多肢選択式の行動評価データセットと自由記述式の生成タスクの両方を使って評価した。CAAはモデルの振る舞いを大きく変え、ファインチューニングやシステムプロンプト設計といった従来手法と比べても・その上に重ねても効果があり、能力の低下も最小限にとどまることを示した）

つまりCAAの原論文自体が、最初から多肢選択式と自由記述式の両方で評価していた。今回のCross-Encoding Steering Evaluation論文がTable 3で行っているのは、この「公開されているCAAの挙動評価」を、識別子・エンコーディングを軸に改めて検証し直す作業だ、という位置づけになる。

ITIの原論文（Li et al., 2023、NeurIPS 2023 spotlight）は、こう主張している。

"On an instruction-finetuned LLaMA called Alpaca, ITI improves its truthfulness from 32.5% to 65.1%."

（訳：instructionでファインチューニングされたLLaMAである「Alpaca」において、ITIは真実性を32.5%から65.1%へ改善した）

このITIも、今回の論文では「NormBank上で3モデルにわたり抽出インデックス追従が優勢」という同じパターンを示す手法として名指しされている。

なお、活性化操作の評価手法そのものを疑う視点は、この論文が最初ではない。Pres et al.（2024、NeurIPS 2024 Workshop）は、要旨で次のように述べている。

"Representation engineering methods have recently shown promise for enabling efficient steering of model behavior. However, evaluation pipelines for these methods have primarily relied on subjective demonstrations, instead of quantitative, objective metrics. [...] We use this pipeline to evaluate two representation engineering methods on how effectively they can steer behaviors such as truthfulness and corrigibility, finding that some interventions are less effective than previously reported."

（訳：表現操作手法は、モデルの振る舞いを効率的に誘導できる有望な手段として近年注目されてきた。しかし、こうした手法の評価パイプラインは、定量的で客観的な指標ではなく、主観的なデモンストレーションに頼ってきた。[中略]このパイプラインを使って2つの表現操作手法を評価したところ、一部の介入は、これまで報告されていたよりも効果が小さいことが分かった）

つまり「活性化操作の評価が甘い」という指摘自体は2024年時点で既に出ており、今回のCross-Encoding Steering Evaluationは、その系譜に連なる研究の1つと位置づけられる。

効果は「選択肢の並び」に依存していないか

論文はまず問題を指摘する。

"Activation steering is often evaluated under the answer encoding used to construct the direction. A reported gain may reflect the intended judgment or compatibility with answer identifiers seen during construction."

活性化操作は、しばしば方向ベクトルを構築したときと同じ「回答エンコーディング」のもとで評価される。報告された効果の向上は、本来意図していた判断の変化を反映しているのか、それとも構築時に見た回答の識別子(A/B/Cなど)との単なる整合性を反映しているだけなのか、区別がついていない可能性がある。

そこで提案されたのが新しい評価手法だ。

"We introduce Cross-Encoding Steering Evaluation, which freezes an intervention while re-encoding answers to the same held-out items."

「Cross-Encoding Steering Evaluation(横断エンコーディング・ステアリング評価)」を導入する。介入(方向ベクトルによる操作)自体は固定したまま、同じ保留された評価項目に対して回答のエンコーディングだけを再割り当てして評価し直す手法だ。

数字:効果の大部分が「識別子への追従」だった

NormBankというベンチマークで、A/B/Cの識別子を再割り当てしたところ、対照的活性化加算(CAA)という代表的な手法は、意味的なラベル(実際の答えの内容)よりも、抽出インデックス(単に「A番目・B番目」という位置)に対してより大きなスコア変化を引き起こすことが分かった。著者らはこれを「extraction-index following(抽出インデックス追従)」と呼ぶ。識別子の語彙(A/B/C、X/Y/Z、1/2/3)や行の順序を変えても、この効果は行の位置ではなく抽出インデックスに追従することが確認されている。

"A low-rank output-sensitive component containing 15.4% of the direction's squared norm retains 96.3% of this effect."

方向ベクトルの二乗ノルムのうちわずか15.4%を占める、低ランクで出力に敏感な成分だけで、この効果の96.3%が維持される。つまり、方向ベクトルのごく一部の成分が、この「識別子への追従」という効果のほとんどを担っている、ということだ。この現象は推論時介入(ITI)スタイルの手法でも、3つのモデルにわたって同様に確認されている。興味深いことに、データセットによって傾向は逆転し、MNLIでは抽出インデックス追従が優勢な一方、Social Chemistry 101(SC101)では意味的ラベル追従が優勢になるという。多肢選択式評価と自由記述式評価とでは、異なる行動上の結論が導かれることもある。

「4モデルすべて」ではなくQwenだけは逆の傾向を示す

要旨・冒頭の説明だけを読むと、抽出インデックス追従が4モデル全部で一律に優勢だったように読めるが、付録B「Core Evidence」の本文まで確認すると、そうではないことが分かる。

"Llama, Mistral, and Gemma also favor the extraction index over semantic-label following, while Qwen favors semantic-label following by 0.65."

（訳：Llama・Mistral・Gemmaは、意味的ラベル追従よりも抽出インデックス追従を優勢とする一方、Qwenは0.65の差で意味的ラベル追従を優勢とする）

さらに本文の要約部分には、MNLIでも同じ傾向が繰り返されることが明記されている。

"MNLI does so in aggregate; Qwen reverses on MNLI"

（訳：MNLIでも集計上は同じ傾向を示すが、QwenはMNLIでも逆転する）

つまりQwen2.5-7B-Instructは、NormBank・MNLIの両方で、他の3モデル（Llama・Mistral・Gemma）とは逆の「意味的ラベル追従が優勢」という結果を示している。「代表的な手法は識別子を追いかけている」という要旨レベルの主張は、4モデル中3モデルには当てはまるが、Qwenには当てはまらない、というモデル依存性がある。

方向ベクトルをどの時点のモデル内部状態から抽出するかによっても効果は大きく変わる。付録B.3「Extraction-Position Localization」は、方向ベクトルの抽出位置を「回答直前（pre-answer）」から「シナリオ末尾（scenario end、まだ選択肢や出力指示を読み込む前の時点）」に変えると、抽出インデックス追従の効果が0.218から0.004へ、98.3%減少すると報告している。この現象は20通りのモデル・マッピングの組み合わせすべてで一貫していた。つまり「識別子への追従」は、モデルが選択肢の識別子・ラベル説明・出力指示をすでに読み込んだ後の内部状態に強く結びついた現象であり、それより前の時点から方向ベクトルを取り出せばこの効果はほぼ消える、ということになる。

この結果が突きつけるのは、解釈可能性研究における評価方法そのものの脆さだ。ある介入手法が「意図した意味的な制御に成功した」と報告されていても、その評価が多肢選択式のフォーマットに依存している限り、実際には単なる位置・識別子への追従を検出しているだけかもしれない。特にA/B/Cのような固定された識別子を使うベンチマークで得られた「ステアリングが効いた」という結果は、識別子を入れ替える追加検証をしていない限り、額面通りには受け取れない可能性がある。

"Thus, a steering gain under one answer encoding does not by itself identify what the intervention controls."

したがって、ある回答エンコーディングのもとでのステアリングの効果向上は、それだけではその介入が実際に何を制御しているのかを特定する根拠にはならない。

使われたモデル・データセットの中身

論文のHTML全文版（arXiv:2608.22985のexperimental HTML）の第4節「Experimental Setup」を確認すると、要旨だけでは分からなかった実験の中身が具体的に書かれていた。

• モデル：Qwen2.5-7B-Instruct・Llama-3.1-8B-Instruct・Mistral-7B-Instruct-v0.3・Gemma-2-9B-ITの4つ。CAAはこの4モデル全部で結果を報告し、ITIは事前に定めた「正の効果が出る」基準を満たした3モデルのみで報告している。公開されているCAAの挙動評価には、これとは別にLlama-2-7B/13B-Chatが使われている
• NormBank：taboo（禁忌）・normal（通常）・expected（推奨）という3つのラベルが文脈の制約によって変わるベンチマークで、T→N・T→E・N→Eという順序対比を作れる。今回の検証で「主たる監査対象」として使われている
• MNLI：規範（norm）を扱わない、同じ前提文を使った3ラベルのタスク（一般的な自然言語推論のベンチマーク）
• SC101（Social Chemistry 101）：行動単位でbad/ok/goodを判定するデータセットで、文脈が揃えられていない（NormBankとは条件が異なる）

出典: arXiv:2608.22985 HTML全文版「4 Experimental Setup」（2026年8月30日確認）

多肢選択式と自由記述式で結論が割れた実例（Table 3）

本文の「5.2 Behavioral Validation」には、公開されているCAAの挙動評価を、元の多肢選択式（Original MCQ）と自由記述式（Open-ended）で比較した表があった。

出典: arXiv:2608.22985 HTML全文版「Table 3」（2026年8月30日確認、Llama-2 2モデル分の集計）

Hallucinationは両方の評価方式で改善しているが、Refusalは多肢選択式では大きな改善（+3.28）に見えるのに自由記述式では効果が統計的に有意でなくなり、Sycophancyに至っては符号自体が反転している（多肢選択式ではマイナス＝悪化、自由記述式ではプラス＝改善）。論文はこの自由記述式の判定について、180件の匿名化した回答を人間の評点と突き合わせ、判定者（3体のLLMジャッジ）と人間評点の相関がピアソン相関係数0.927・重み付きカッパ係数0.929と高かったことも報告しており、この食い違いが判定方式のノイズではなく実質的なものだと補強している。

解釈可能性研究の成果を評価するときの視点

AIの内部を操作して出力を制御する手法(プロンプトエンジニアリングよりさらに踏み込んだ、モデル内部への直接介入)の研究成果を評価する際、この論文は「報告された効果が本当に意図した意味的な制御なのか、それとも評価フォーマットの副作用なのか」を疑う視点を提供する。特に多肢選択式のベンチマークで良好な結果が出た手法について、選択肢の並び順・識別子を変えても同じ効果が再現するかを確認する価値がある、という具体的な検証手順を示唆している。

NormBankを自分で触ってはいない

本記事は、arXivのHTML全文版（LaTeXMLによる自動変換）の第4節・第5.1節・第5.2節・Table 3、および付録B「Core Evidence」（B.1・B.3節）を読んで書いている。使用モデル・データセットの名称、多肢選択式と自由記述式の食い違いの具体的な数字、Qwenだけが逆傾向を示す点、抽出位置を変えた際の効果減少（98.3%）までは確認できたが、次の点は確認できていない。

• CAA（対照的活性化加算）・ITI（推論時介入）それぞれの方向ベクトル構築の技術的な実装詳細（付録B.2「Layer-Wise Attribution」の層ごとの数値、付録C〜E）までは、本記事では読み込んでいない
• 「低ランクで出力に敏感な成分（15.4%）」を具体的にどう特定したのか、その手法（validation-selected projection）の技術的な妥当性は検証していない
• CAA原論文（Rimsky et al., 2024）・ITI原論文（Li et al., 2023）・Pres et al.（2024）はいずれも要旨（および直接引用した箇所）のみを確認しており、本文全体を読み込んではいない
• この記事を書いている自分自身は、活性化操作の実装や解釈可能性研究の実務経験がなく、NormBank・MNLI・SC101のいずれのデータセットも自分の手元で触ったことはない

関連記事: LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】

感想・指摘はコメント欄へ。