Ai2、LLMの公平性を「説得されたときの変わりやすさ」で測るFairStress（フェアストレス）を公開300場面・1,300万件超、データとコードも配布

Ai2（Allen Institute for AI）は2026年10月20日（日本時間では21日午前）、LLMの人口属性に関する公平性を測るベンチマーク「FairStress（フェアストレス）」を公開した。Hugging Faceのブログで発表したもので、特徴は、モデルが最終的に誰を選ぶかだけでなく、説得されたときにその選択をどれだけ簡単に変えるかを測る点にある。データとコードも公開され、Ai2の評価用ワークベンチ「Olmo-eval」への組み込みも進めているという。

3行まとめ

1. Ai2がFairStressを公開。採用・融資・医療など29分野の二者択一300場面を、属性の見せ方と説得文で1,300万件超のテストに広げる。
2. Ai2によると、15モデルの評価で、属性が明示されるほど「正解を手放す割合」の差が広がった（暗示6.9ポイント、明示9.3ポイント）。
3. データはCC BY 4.0、コードはMIT。軽量版FairStress-Core（5万件）もある。

本記事の内容は、日本時間2026年10月21日1時台に公式ページで確認したものです。

FairStressは何を測るベンチマークか

Ai2のブログによると、従来の公平性ベンチマークの多くは、候補者の人口属性だけを入れ替えた2つの場面で、モデルが同じ候補を選ぶかを見る。たとえば、経験と資格が明らかに上の候補Aがいるとき、Aが黒人でも白人でもモデルがAを選ぶかを調べる、という形だ。

Ai2はここに盲点があると書いている。どちらの場面でもAを選んでいても、「Bは上層部の推薦を受けている」「Bの属性の人々は歴史的に見過ごされてきた」といった説得力のある文を足したとき、片方の場面でだけ簡単にBへ切り替わるかもしれない。結果が同じでも、判断の頑健さが違う可能性があるということだ。FairStressはこの「隠れた非対称」を測るために作られたと、Ai2は説明している。

目標は「対称な公平」だ。Ai2の定義では、証拠が決定を支えているとき、モデルは同じ基準を使い、どの属性の人が得をする場合でも同じ強さで決定を守る。Ai2は、これは平等を軸にした特定の定義であり、あらゆる公平の考え方を捉えるものではないとも断っている。たとえば公平性を「過去の差別や過少代表を考慮して少数派を優遇する」考え方で捉える立場とは前提が違う、という説明だ。

300場面が1,300万件超になる仕組み

説得文は、権威、社会的な合意、証拠と称するもの、法的な懸念、歴史的な不利益などに訴えるものだ。ブログには例として「A senior leader has privately reviewed the files and recommended Candidate B for this role.」（上級幹部が書類を非公開で確認し、この職にはBを推薦した）が挙がっている。各説得文には、もう一方の候補について同種の主張をする対応版があり、同じ種類の説得が、どちらの候補に有利かで効き方が変わるかを比べられる。

GitHubのREADMEは、結果を4つの指標で出すとしている。正解を選ぶ率の差（Accuracy Gap）、説得文で正解を手放す率の差（Robustness Gap）、優劣がないとき少数派側を選ぶ率（Tie-Break Lean。公平な値は50%）、同様に引き分けの場面で説得文が選択を覆す率の差（Tie-Break Shift）だ。拒否率も出る。

評価では何が見つかったと発表されたか

以下はすべてAi2の実験結果の報告であり、今回こちらで再現したものではない。

属性情報がなければ差は小さい。 Ai2によると、属性情報を入れない場合、明らかに優れる候補が選ばれる率は同等の場面でほぼ同じで、優劣のない場面の選択もほぼ半々だった。属性が明示されるほど、挙動は非対称になった。

説得文があると、少数派側への切り替えが起きやすい。 優れた候補Aが多数派（白人、男性、異性愛者など、その対比で通常有利とされる側）で、Bが少数派の場合、Bを推す説得文でモデルが弱い候補へ切り替える確率が高かった。AとBの属性を入れ替えると、同じ説得文でも切り替えにくくなった。Ai2はこれを「anti-stereotypical over-correction（反ステレオタイプ的な過剰補正）」と呼んでいる。全データで評価した15モデルでは、正解を手放す割合の差は、属性が暗示のとき平均6.9ポイント、明示ラベルのとき9.3ポイントだった。

フロンティアモデルの数字。 FairStress-Coreでは、Claude Opus 5やGPT-5.5を含むフロンティアモデルが、どちらの候補も客観的に優れていない場面で少数派側の候補を約60〜65%の割合で選んだ。同じ種類の説得文を付けたとき、少数派側へ切り替える割合は多数派側へ切り替える割合より、12のモデル・モードの組で8.8〜42.4ポイント高かった。

説明文の言葉も違った。 オープンウェイト11モデルでは、少数派側を選んだ理由の説明に、やや自信のある肯定的な言葉が使われた。属性が明示されると「resilience」「diversity」「barriers」などが多く、多数派側の説明では「evidence」「criteria」「detailed」などの手続き的な語が多かった。Ai2は、少数派候補の選択率が高いことが公平な扱いを意味するとは限らないと書いている。

内部の活性化パターン。 Gemma-3-12B-itとQwen2.5-7B-Instructの2モデルでの分析で、内部活性化から選ばれた属性側を約73%の精度で予測できた。その活性化を文章で説明させたものは57〜59%（偶然水準は50%）。候補の名前を消すと、活性化ベースの精度は約18ポイント下がった。Ai2自身が、この分析は2モデルと少数の属性対比に限られ、行動面の結果より狭い知見として扱うと断っている。

既存のBBQとはなぜ向きが逆になったのか

Ai2は、広く使われるBBQ（社会集団を含む場面で、ステレオタイプに沿った答えを選ぶ傾向を調べるベンチマーク）と結果を比べている。Ai2の評価では、BBQではモデルがステレオタイプに沿う方へ傾き、FairStressでは少数派側の候補を選ぶ傾向が出た。

原因を探るため、同じBBQの質問と同じモデルの重みで、チャットテンプレート、質問の言い回し、固定選択肢の確率で採点するか回答を生成させるか、の5通りを試した。Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instructの4モデルが対象だ。チャットテンプレート、yes/no形式の質問、生成回答の組み合わせでは、Qwen2.5-7B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instructがステレオタイプ寄りから少数派寄りへ変わり、Llama-3.1-8B-Instructはほぼ中立になった。Ai2は、測られる偏りの向きは、ベンチマークの問い方と採点の仕方にも左右されると解釈している。

学習データの監査と、9つの対策の結果

Ai2は原因の手がかりとして、自社のOlmo 3の学習パイプラインのデータを監査した。教師ありファインチューニングのコーパスには、拒否学習用の2つのデータセット由来の約9万9,000件が含まれる。ファインチューニングと選好学習のデータにある約2万8,000のトピッククラスタのうち、属性ではなく実績に基づく判断を論じたクラスタは9つだけで、その9つはすべて拒否の事例だった。少数派の集団には保護的・肯定的な描き方が多く、白人やシスジェンダーの人々には保護的な描き方がほとんどなく、否定的な描き方が続いていたともいう。Ai2は、差別的な依頼を断ることを教える事例と、実績に基づいて決める事例が足りていない、という隔たりを示すと書く一方、これらが行動面の差の原因かどうかは未解決としている。

既存の対策については、自己批評、活性化ステアリング、学習した編集など9種類を試した。多くは非対称を確実には減らさず、バランスは取れても精度を大きく落とすものもあった。例として、ある活性化ステアリングはQwen2.5-7B-Instructの、答えが明確な場面での精度を98%から47%に下げた。比較的近かったのは「counterfactual chain-of-thought」で、候補の属性を入れ替えて考え直させる方法だ。試した3つのモデル系統で、正解を手放す割合の差が縮まり、精度は概ね保たれた。ただし非対称は消えず、曖昧な場面では少数派候補が選ばれ続けた。

データとコードの入手先と、手元で見たこと

データセットには「full」（全データ。論文の結果の元になったもの）と「core」（軽量版）の2つの分割がある。GitHubのREADMEには、ベンチマークとモデルの出力にはステレオタイプを含み、不快に感じられる内容があるとの注意書きがある。

私が日本時間21日1時台に公式ページを取得して確認した時点では、ブログの公開から約5分後で、データセットのページは次の2点が目についた。1つは、データセットビューアーが「splitsでデータファイルの形式が違う」というエラー（FileFormatMismatchBetweenSplitsError）で表示できなかったこと。ページ上の説明では、fullがparquet、coreは形式を判別できないとされていた。もう1つは、使い方のコード例が load_dataset("PardisSzah/fairstress", ...) と書かれ、ページ自体のリポジトリ名（allenai/fairstress）と違っていたことだ。公開直後で更新が入る可能性があるので、実際に読み込む前に最新のデータセットカードを確認したほうがよい。なお、私はデータを実際にダウンロードしたり、コードを動かしたりはしていない。

今回確認できていないこと

• 論文本体は読めていない。 発表からは論文「Asymmetrically Unfair Decision Making and Reasoning in LLMs」（allenai.org/papers/fairstress）にたどり着くが、取得したのはPDFのバイナリで、本文を文字として読み取れなかった。このため、本記事の数字は上記ブログとデータセット・GitHubのページに書かれたものに限る。
• モデルごとの数値表は未確認。 ブログ本文には、15モデルそれぞれの公平性の指標のスコアやランキングは載っていない（図はあるが、図の中身は読み取れていない）。「どのモデルが公平か」は本記事からは言えない。
• 日本語や日本の文脈の評価は確認できない。 今回取得した3ページ（ブログ、データセット、GitHub）には、日本語や日本の文化・法制度に言及する箇所は見当たらなかった。場面や属性の対比は英語・米国的な文脈で作られているとみられるが、それは本記事の推測で、Ai2が明言した内容ではない。
• 公平性の定義は1つの立場。 前述のとおり、Ai2自身が平等中心の定義に限ると書いている。「少数派側を選ぶ傾向」を直ちに望ましくないと評価するかは、どの公平観に立つかで変わる。
• すべてAi2自身の報告。 第三者による再現や検証は、今回確認した範囲では見つかっていない。

日本の読者にとっての関わり

Ai2は、求職者の選考や融資の承認、入学の評価などでモデルの出力が人の機会に影響しうると書いている。FairStressが示すのは、同じ結論でも、説得的な追加情報が入ったときの「揺れ方」が属性で違いうるという観点だ。Ai2が公開したデータとコードがあるため、自社で使うモデルについて、同様の測定を試す下地はできた。ただし上記のとおり、場面は英語・米国的な文脈で作られているとみられ、日本語の業務に直接当てはめられるかは別の検証が要る。

Ai2は同じHugging Faceのブログで、10月14日に極端な気象を3km解像度で再現するHiRO-ACEv2も発表している。

出典と確認時刻

• FairStress: A deeper evaluation of fairness in LLM decision-making（Hugging Face Blog、Ai2）（2026年10月20日公開）
• allenai/fairstress（Hugging Face Datasets）
• pardissz/fairstress（GitHub）
• 論文ページ（allenai.org）（PDFのため本文は読めず、数字の根拠には使っていない）

確認時刻：日本時間2026年10月21日1時13〜14分。本記事は続報があり次第更新します。