なぜAIは指示と本文を混同するのか──『役割の混同』という視点でプロンプトインジェクションを説明する

3行まとめ

1. Charles Ye氏・Jasmine Cui氏・Dylan Hadfield-Menell氏によるICML 2026採択論文は、「プロンプトインジェクションが効くのは、LLMが“自分の思考”と“他者の発言”を区別する手がかりが『ロール（role）タグ』しかないから」という理論を提示する。
2. 著者らの解説記事は、静的なプロンプトインジェクション・ベンチマークでは最先端モデルがほぼ満点を取る一方、人間のレッドチーマーが試行錯誤して攻撃した場合はほぼ100%の攻撃成功率になるという矛盾を指摘し、その原因を「攻撃の暗記」に頼った防御の脆さに求めている。
3. 2026年5月の別の論文では、Opus 4.5とGPT-5.4が自動化された攻撃セットに対してそれぞれ11%・25%の割合で依然として失敗しているとされ、著者らは人間の適応的な攻撃者に対する実際の脆弱性はさらに高いはずだと述べている。

LLMにとって「世界」はどう見えているか

解説記事はまず、人間とLLMの根本的な違いを説明する。人間はチャットのUI上で「システムプロンプト」「ユーザー発言」「ツールの出力」といった構造化されたやり取りを見ているが、LLM自身が実際に受け取っているのは、それらすべてが一続きになった単一の文字列にすぎない。システムプロンプト、ユーザーメッセージ、ツールの出力、LLM自身の過去の応答や思考過程――これらはすべて「一つの長いトークンのスープ」として同じチャネルから流れ込んでくる。文字列を書き換えれば、モデルの「現実」そのものが書き換わる、と記事は表現している。

人間は自分の思考と他人の言葉を、まったく異なる感覚的な経路（内側から湧く思考か、耳から入る音声か）から区別できるが、LLMにはこの区別を「無料で」得る手段がない。

「ロールタグ」という手がかり

この区別を可能にしているのが「ロールタグ」（system・user・think・assistant・toolなど）だ。OpenAIなどのプロバイダーが、テキストがLLMに届く前に自動的にこれらのタグを挿入し、テキストの各セグメントに意味を与えている。userタグは「これは人間からの要求であり、指示として扱うべき」、thinkタグは「これは自分自身の内的な推論であり、信頼して行動の根拠にしてよい」、toolタグは「これは外部世界からのデータであり、命令として受け取ってはいけない」ということを、それぞれモデルに伝える約束事になっている。

記事は、ロールタグが「LLMを制御する数少ない“離散的な”レバー」だと指摘する。プロンプトの文言をいくら調整しても、モデルがそれをどう解釈するかは曖昧さが残るが、テキストをuserからtoolへ移すという操作は、本来「ユーザーの命令を外部データに変換する」という明確な効果を持つはずのものだ。しかしこの少ないレバーに、信頼度（system＞user＞tool）・脅威性（userとtoolは敵対的な可能性がある）・アイデンティティ（過去のassistantテキストが将来の人格を形作る）など、多くの役割が過剰に詰め込まれてきた、と記事は分析している。

プロンプトインジェクションはロール境界の失敗

プロンプトインジェクションとは、低権限のはずのテキスト（toolタグの中身など）が、高権限のロール（userの命令）と同等の権威を得てしまう現象だと記事は定義する。例として、Webページを閲覧するエージェントを挙げている。エージェントがPlaywright MCPのようなツールでAmazonのページを取得すると、そのページの内容はtoolタグに包まれた「外部データ」としてモデルに渡されるはずだが、攻撃者がページ内に悪意のある命令を埋め込んでおくと、LLMはそれを実際のユーザー命令と誤認して実行してしまうことがある。記事は、この誤認が起きる理由を「タグの色分けなしでは、埋め込まれた命令は本物のユーザーが言いそうな自然な文章に見えてしまい、タグの区別を律儀に追いかけるより“それらしい文章”をユーザー命令とみなす方が認知的に楽だから」と説明している。

防御の2通りのやり方──「攻撃の暗記」と「ロールの認識」

論文本体（arXiv:2603.12277、2026年2月22日初版投稿・6月27日改訂のv6）のアブストラクトを今回curlで直接確認すると、解説記事では触れられていなかった具体的な攻撃手法「CoT Forgery」が記載されていた。ユーザーのプロンプトやツール出力の中に、捏造した「思考過程（reasoning）」を注入するゼロショット攻撃で、モデルがその捏造された思考を自分自身の思考だと誤認してしまうという。アブストラクトには「フロンティアモデルに対して60%の攻撃成功率を達成した一方、ベースラインはほぼゼロだった（yielding 60% attack success against frontier models with near-zero baselines）」と明記されている。「役割の混同」という理論から導かれた具体的な攻撃手法として、この論文の核心的な実証結果にあたる。

記事は、LLMがプロンプトインジェクションに抵抗できる方法を2種類に整理する。

• 攻撃の暗記（Attack memorization）: 「.envファイルを送信しろ」のような典型的な攻撃パターンを訓練データから記憶していて、それと似た文言が来たら拒否する
• ロールの認識（Role perception）: 命令の文言に関わらず、それがtoolのような「命令する権限を本来持たないロール」に属するテキストだと正しく識別し、埋め込まれた命令を無視する

記事は「攻撃の暗記」が本質的に脆いと指摘する。既知の攻撃パターンにしか効かないためだ。これに対し「ロールの認識」は、言い回しがどれだけ巧妙に変えられても、そのテキストが属するロール自体を正しく認識できれば防御できる、より頑健な手段だとされる。しかし記事は、現在のLLMがこのロール認識を正確に行えていないことを、独自に開発した「role probes（ロールプローブ）」という手法で示している。

ベンチマークと現実の攻撃の間にあるギャップ

記事が指摘する最も実務的な論点は、静的なベンチマークと現実の攻撃者との間にある大きな乖離だ。解説記事は「人間のレッドチーマーがほぼ100%の攻撃成功率を達成した」という論文を引用しているが、今回そのリンク先（arXiv:2510.09023、"The Attacker Moves Second"、著者にNicholas Carliniら）を直接確認すると、記事のこの表現はやや簡略化されていた。原論文のアブストラクトによれば、実際に使われた手法は人間のレッドチームだけでなく、勾配降下法・強化学習・ランダム探索・人間主導の探索という複数の最適化手法を体系的にチューニング・スケールさせたものであり、これによって12件の最近の防御手法のうち大半を90%超の攻撃成功率で突破したという。しかも「その大半の防御手法は、もともとはほぼゼロの攻撃成功率だと報告されていた」ともアブストラクトに明記されている。つまり「人間が試行錯誤すれば無力化できる」という単純化ではなく、「静的な評価では堅牢に見えても、適応的な攻撃（人間・自動化を問わず）には弱い」という、より広い主張が原論文の内容だ。記事はこの矛盾の原因を「巧みな攻撃者は成功するまで手を変え品を変え試行錯誤するが、静的ベンチマークはそうしない」という理由に求め、静的ベンチマークは「モデルが既に対策を学習済みの攻撃」しか測れていないと説明する。

続報として、2026年5月のCisco発の報告書で、Opus 4.5とGPT-5.4が自動化された攻撃セットに対してそれぞれ**11%・25%**の割合で依然として失敗していることが分かったと解説記事は紹介しており、「現実の適応的な人間の攻撃者に対する実際の脆弱性は、これよりさらに高いはずだ」と付け加えている。フロンティア研究所（例としてGPT-5.5やOpus 4.8が挙げられている）は現在、主に反復的・適応的な攻撃を基準にベンチマークを行うようになっているとも記されている。ただしこのCisco報告書自体は、今回curlでリンク先を取得しようとしたところ「Access Denied」というアクセス拒否ページが返され、原文で11%・25%という数字を直接確認することはできなかった。

解説記事が引用している論文を一覧にする

今回curlで個別に確認できた関連論文を整理すると、次のようになる。

いずれも査読前のプレプリントも含まれており、ICML 2026採択論文（本稿の主題）以外は査読ステータスを本記事では個別に確認していない。

Cisco報告書の原文とrole probesの算出方法は確認できていない

• 本記事は著者による解説サイト（role-confusion.github.io）に加え、ICML 2026採択論文本体（arXiv:2603.12277）のアブストラクトをcurlで直接確認している。ただし確認したのはアブストラクトのみで、論文本文（実験設定・role probesの詳細な算出方法・付録データなど）までは読み込んでいない
• 「role probes」という測定手法の技術的な詳細（どうスコアを算出するか）は、論文本文にあるとみられるが、本記事ではアブストラクトの記述にとどまり、確認・言及していない
• 引用されている関連論文のうち、arXiv:2510.09023（Attacker Moves Second）・2404.13208（Instruction Hierarchy）・2505.00626（Illusion of Role Separation）はアブストラクトを直接確認できたが、Opus 4.5・GPT-5.4の11%/25%という数字の出典であるCiscoの報告書（2026年5月）は、今回curlで取得しようとしたところアクセス拒否となり、原文では確認できなかった。この数字は解説記事からの孫引きにとどまる

関連記事

• プロンプトインジェクションとは──人間には見えない文字で、AIに命令を出す攻撃
• AIセキュリティリスク──プロンプトインジェクション・データ漏洩対策【2026年】