同じモデルなのに、言語を変えると弱くなる──多言語セルフプレイで測る『Skill Issue』

LLMが言語によって「知っていること」に差があるのは以前から知られている。多言語ベンチマークのスコアが英語より低い言語があるという報告は珍しくない。だが、知識の差ではなく「同じ課題を解く力(スキル)」そのものが言語によって変わるとしたら——この問いを、ゲームのセルフプレイという意外な手法で検証した論文が、2026年8月26日にarXivで公開された。タイトルの「Skill Issue」は、ネットスラングの「実力不足だろ」という言い回しと、研究テーマそのものを掛けたダブルミーニングになっている。

知識ではなく「実現される振る舞い」を測る

論文の狙いはこう説明されている。

"This work quantifies cross-lingual skill inconsistency orthogonally from knowledge and general benchmark performance."

この研究は、知識や一般的なベンチマーク性能とは直交する形で、言語間のスキルの不一致を定量化する。手法は独特だ。

"We do this via multilingual self-play: two instances of the same model compete in a text-based game, each interacting through a different language interface. Since the model, opponent, rules, state space, and available actions remain fixed, this setting isolates the effect of language on the model's realized behavior."

同一モデルの2つのインスタンスを、テキストベースのゲームで対戦させる「多言語セルフプレイ」だ。それぞれ異なる言語インターフェースを通じてやり取りさせる。一方には日本語で、もう一方には英語でゲームの状況を提示するようなイメージで、モデル自身を分身させて戦わせることで、外部の対戦相手の実力差というノイズを排除できる。モデル・対戦相手・ルール・状態空間・利用可能な行動はすべて固定されているため、この設定は言語がモデルの実現される振る舞いに与える影響だけを切り分けられる。

論文はTextArenaを多言語対応に拡張し、3つのオープンウェイトモデルを、空間推論・不完全情報・資源配分・反復的なやり取りをカバーする8言語・6ゲームで評価している。ゲームという題材を選んだのは、正誤が明確に判定できる(勝敗という客観的な結果指標がある)ためだと考えられる。通常のベンチマークでは「その言語での知識量」と「その言語での推論の質」が絡み合って、どちらが原因で成績が落ちているのか切り分けにくいが、ルール・状態空間・行動選択肢を完全に固定したゲーム対戦という設定にすることで、言語という変数だけを純粋に取り出して測れるようにしている。

数字:同じモデルが言語によって「勝てなくなる」

"We find that the same model can exhibit markedly different playing strength across languages, with systematic variation in win--loss margins, invalid actions, and strategic tendencies."

同じモデルが、言語によって著しく異なるプレイの強さを示すことが分かった。勝敗差・無効な行動・戦略的傾向のいずれにも系統的なばらつきが見られる。詳細な分析からは、空間推論・カードに条件づけられた意思決定・最適手の選択それぞれで、言語特有の失敗が明らかになったという。一部の設定では、中間の推論言語だけを変更すると失われた性能の大部分が回復することも分かっており、言語が意思決定プロセスの異なる段階に影響しうることを示唆している。

日本語での意思決定タスクを任せる場面で

日本語でAIエージェントに複雑な意思決定タスク(戦略的な計画立案、条件分岐の多い判断)をさせている場合、この論文は「同じモデルでも言語によってスキルが変わりうる」という前提を裏付ける。日本語での応答が英語より論理的な精度に欠けると感じる場面があれば、それはモデルの知識不足ではなく、この論文が指摘する言語固有のスキル格差である可能性がある。対策として、中間の推論だけ英語で行わせてから日本語で出力させる、といった工夫が有効な場合があるという論文の指摘は、実務上すぐに試せるアイデアだ。多言語対応のAI活用の基礎はAIエージェントとはを参照してほしい。

8言語・6ゲームの組み合わせまでは見ていない

本記事は、当サイトが論文の要旨を読んで書いている。評価対象とした8言語・6ゲームの具体的な名称、3つのオープンウェイトモデルの名称、それぞれの言語での具体的な勝率の数値は、要旨には詳細が記載されておらず、本文PDFを読み込んでいないため確認できていない。日本語がこの8言語に含まれているかどうかも要旨からは分からず、本記事で述べた「日本語での実務への示唆」は、対象言語の確認が取れていない前提での一般論である点に留意してほしい。事前の候補調査記録によれば、Googleサジェストでは「skill issue とは」「skill issue スラング」がヒットするというが(本記事側で改めて検索し直してはいない)、いずれもこの論文とは無関係な既存のネットミームとしての用法であり、この論文固有の研究用語としての言及は見つかっていない。Zenn記事検索(2026年8月27日実施)でも同様に、既存のスラングとしての用法しかヒットしなかった。