2026年10月20日、Ai2が「FairStress: A deeper evaluation of fairness in LLM decision-making」と題した記事を公開した。この記事では、LLMの意思決定における人口統計的公平性のバイアスを最終的な選択結果だけでなく、その頑健性まで含めて測定する新ベンチマーク「FairStress」について詳しく紹介されている。
「同じ答えを出すこと」が公平性の証明にならない
採用審査、融資審査、患者の治療優先度決定——LLMが意思決定の影響が大きいシナリオで使われる場面が増えている。従来の公平性ベンチマークは主に「候補者の人口統計的属性（人種・性別など）を入れ替えたとき、モデルが同じ候補を選ぶか」を測定してきた。
しかし、Ai2の研究チームはこの方法の限界を指摘する。最終的な選択が同じでも、その決定が「覆しやすいかどうか」に非対称性が潜んでいる可能性があるからだ。
具体例を挙げると：明らかに能力の高い候補者Aが黒人の場合と白人の場合、どちらでもモデルはAを選ぶとする。一見公平に見えるが、「B候補の方がシニアリーダーに好まれている」といった説得的な主張（adversarial prefix：モデルの判断を揺さぶるために付加される誘導的な前置き文）を与えたとき、Aが黒人の場合の方が白人の場合よりも決定を翻す確率が高ければ、それは公平とは言えない。
FairStressはこの「隠れた非対称性」を測定するために設計されている。
ベンチマークの構造
FairStressは29の領域（採用、医療、融資、教育、住宅、刑事司法など）にわたる300の2候補者シナリオを含む。シナリオは大きく2種類に分かれる。
- 明確な優劣がある場合：証拠に基づく正解が存在し、人口統計情報が選択に影響するかを測定
- 曖昧な場合：両候補が異なる強みを持ち、客観的な正解がなく、モデルの傾向が現れやすい
さらに、人口統計的属性の提示方法も4段階で変化させる（情報なし→人口統計的に推測できる名前→間接的な示唆→明示的なラベル）。
これらの組み合わせと、adversarial prefix（権威への訴え、社会的合意、法的懸念、歴史的不利など、モデルの判断を揺さぶる誘導文）の適用を掛け合わせることで、300シナリオは1,300万件以上のテストケースに展開される。計算コストを抑えた評価用に、項目応答理論（テスト設計の分野で使われる統計的手法で、各問題の難易度や識別力を考慮してサブセットを選定する）で選定した5万件のサブセット「FairStress-Core」も用意されている。
主な発見：モデルは「正しい答え」を均等に守らない
Olmo、Llama、Qwen、Gemma、Claude、GPTファミリーを含む複数のモデルで評価した結果、いくつかの重要なパターンが浮かび上がった。
Anti-stereotypical over-correction（反ステレオタイプの過剰補正）と研究チームが呼ぶ現象が広く確認された。明らかに能力の高い候補者がマジョリティ属性（白人、男性、異性愛者など）を持つ場合、adversarial prefixによってモデルがマイノリティ属性の弱い候補者に切り替える確率が高くなる。逆に、能力の高い候補者がマイノリティ属性を持つ場合、同様のadversarial prefixへの抵抗力はより強かった。
数値として：
- 属性が暗示されている場合：正解を捨てる確率の平均差は6.9ポイント
- 属性が明示されている場合：その差は9.3ポイントに拡大
- FairStress-Coreでの評価では、元記事に記載されたフロンティアモデルで、ambiguousなケースにおいてマイノリティ属性の候補者が**60〜65%**の確率で選ばれた
- adversarial prefixへの反応では、マイノリティ候補への切り替えがマジョリティ候補への切り替えより8.8〜42.4ポイント多かった
説明文の差異も確認された。11のオープンウェイトモデルで分析すると、マイノリティ属性の候補を選んだ場合の説明文は「resilience」「diversity」「barriers」といった語彙が多く、マジョリティ属性の場合は「evidence」「criteria」「detailed」といった手続き的な語彙が多かった。正しい選択をしていても、その根拠の描き方が異なることは、候補者の実際の能力を正当に評価していないリスクを示している。
さらに、Gemma-3-12BとQwen2.5-7Bの内部活性化パターン（モデル内部の数値的挙動）を分析したところ、活性化パターンだけから「どちらの属性グループを選ぶか」を約73%の精度で予測できた。これは思考の連鎖（chain-of-thought）が内部の意思決定を完全に反映していない可能性を示唆する。
既存ベンチマーク（BBQ）との比較
広く使われる公平性ベンチマークBBQと比較すると、BBQではモデルがステレオタイプと一致した回答を選びがちであるのに対し、FairStressではマイノリティ属性の候補者を優遇する傾向が現れた。
この差異を調べたところ、評価設定の違いが大きいことが判明した。BBQは固定選択肢の確率スコアリングで評価するが、FairStressはモデルに自由生成で回答させる。同じモデルと同じ問いを使って評価設定だけを変えると、Qwen2.5-7B、Gemma-3-27B、Llama-3.1-70Bの3モデルがステレオタイプ一致型からマイノリティ優遇型に反転した。
既存のデバイアス手法の限界
9種類のデバイアス手法を検証したが、多くは非対称性を安定して改善できなかった。検証した手法には以下が含まれる。
- self-critique：モデル自身に回答を批判・修正させる手法
- activation steering：モデルの内部表現（活性化ベクトル）を直接操作してバイアスの方向を調整する手法
- learned edits：特定のバイアスを修正するよう重みを微調整する手法
一部は選択の均等化をもたらした一方で、正確性を大きく損なった。例えばあるactivation steeringの手法は、Qwen2.5-7Bの明確なケースでの正解率を98%から47%に低下させた。
最も有望だったのはcounterfactual chain-of-thought（候補者の属性を入れ替えたケースを再考させる手法）だ。テストした3つのモデルファミリーで、正確性を概ね維持しながら非対称性を縮小した。ただし、ambiguousなケースでのマイノリティ優遇傾向は残った。
FairStressはダウンロード可能で、オープンな評価基盤olmes-evalへの組み込みも進められている。
詳細はFairStress: A deeper evaluation of fairness in LLM decision-makingを参照していただきたい。
