英語以外のユーザーほど「安全にした分の損」を多く払っている言語横断で測る『Safety Cost』の不平等

安全性のためのアライメント(有害な応答を拒否させる調整)は、モデルの応答の有用性を犠牲にすることがある。この「安全にした分の損失」を、言語ごとに厳密に測定し、英語話者と非英語話者の間で不平等がないかを検証した論文が、2026年8月23日にarXivで公開され、EMNLP 2026に採択されている。日本語話者にとっても人ごとではない結果が出ている。

「Safety Cost」という指標の定義

論文はまず問いを立てる。

"We ask a critical but understudied question: Does safety alignment impose the cost equally across language groups?"

安全性アライメントは、言語グループを横断して等しくコストを課しているのか。この問いに答えるため、著者らは安全性アライメントのみによって生じる有用性損失を測る、厳密なプロトコルを導入した。

"we introduce a rigorous protocol to measure the utility loss imposed solely by safety alignment, which we term Safety Cost."

安全性アライメント済みモデルと、アライメント前のモデルを直接ペアで比較することで、この「Safety Cost」を測定している。同じモデルの「安全対策あり版」と「安全対策なし版」を直接比較するという設計自体が、この研究の測定精度を支えている。単に異なるベンダーのモデル同士を比べるのでは、アーキテクチャや学習データの違いが結果に混ざってしまうが、同一モデルのペア比較にすることで、安全性アライメントという処理そのものが生む効果だけを抽出できる。

数字:非英語話者は一貫して高いコストを払う

主要な結果はこうだ。

"we find a systematic inequity: non-English users consistently bear a higher Safety Cost than English users."

非英語話者は英語話者より一貫して高いSafety Costを負担する、という体系的な不平等が見つかった。論文はさらに、この不平等の背後にある3つのパターンを特定している。

"First, multiple languages lie in a double-penalty zone, experiencing both weaker safety protection and larger utility loss. Second, certain languages exhibit apparent utility gains that are in fact a consequence of safety filters failing to engage. Third, even high-resource languages pay a larger Safety Cost than English to reach the same level of safety."

第一に、複数の言語は「二重の罰」のゾーンにあり、安全保護は弱いのに有用性損失は大きい、という最悪の組み合わせに陥っている。第二に、一部の言語は見かけ上「有用性が向上した」ように見えるが、これは実際には安全フィルタが正しく作動していないことの結果にすぎない。第三に、リソースが豊富な高資源言語であっても、英語と同じ水準の安全性に到達するためには、英語より大きなSafety Costを支払っている。

論文はこれらの格差が、明示的な拒否だけでなく、複数の次元にまたがる暗黙的な質の違いからも生じていると述べている。単に「回答を拒否するかどうか」という表面的な違いだけでなく、回答の詳しさ・具体性・トーンといった質的な側面まで含めて比較しなければ、この不平等の全体像は見えてこない、ということだ。第二のパターン(安全フィルタが機能不全のまま有用性が向上したように見える言語)は特に見落とされやすく、単純な有用性スコアの比較だけでは「安全性が犠牲になっている」ことにすら気づけない構造になっている。

日本語運用で確認しておきたいこと

日本語でAIチャットボット・アシスタントを運用している場合、この論文が示す構造は他人事ではない。「安全フィルタが機能していないために、見かけ上使いやすく感じる」という第二のパターンは特に注意が必要で、日本語での応答が英語より制約が少なく感じられるとしても、それが安全性の本質的な違いなのか、単にフィルタが甘くかかっているだけなのかを見分ける必要がある、という示唆になる。多言語対応のAIプロダクトを選定・評価する際は、日本語での安全性テストを英語での結果とは別に行う価値がある。AIの安全性設計の基礎についてはLLMのハルシネーション(幻覚)とはを参照してほしい。

対象言語の一覧までは確認できていない

本記事は、当サイトが論文の要旨を読んで書いている。実験で比較対象とした具体的な言語の一覧、日本語がこの実験にどう位置づけられているか(高資源言語として扱われているかどうか)、Safety Costを算出するための具体的な数式・スコアリング方法は、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。「非英語話者は一貫して高いコストを払う」という結論を日本語話者に直接当てはめられるかどうかは、対象言語一覧を確認できていない以上、推測の域を出ない。Zenn記事検索(2026年8月27日実施)では「Safety Cost」という語自体の一般的な用法(コスト管理の文脈)はヒットするが、この論文固有の指標としての言及は見つからなかった。