AIの「アライメント問題」とは何か──専門記事を読む前に、3つの一次資料で押さえておく基礎

「アライメント」という言葉は、Anthropic・OpenAI・Google DeepMindのブログや論文に繰り返し登場するが、記事によって指している具体的な中身が微妙に違うことがある。本記事は、専門的な個別記事を読む前に押さえておきたい基礎として、この言葉を最初期に定式化した資料を確認しながら整理する。

3行まとめ

1. ニック・ボストロムは2012年の論文で「オーソゴナリティ命題」（知能と目標は独立に変化しうる）と「手段的収束命題」（どんな最終目標を持つ知的エージェントでも、自己保存・目標内容の保全・資源獲得など5種類の手段的目標を共通して追求しがちになる）という2つの理論を示した
2. OpenAIは2023年2月、Anthropicは2023年3月に、それぞれアライメント問題への向き合い方を公表した。Anthropicは「楽観的・中間的・悲観的」という3つのシナリオでこの問題の難しさそのものが不確実だと整理し、OpenAIは「安全性の進歩速度を能力の進歩速度より高める」ことを目標に掲げた
3. Google DeepMindは2023年11月の論文で、AIの自律性を6段階に分類し、最上位「Level 5」の想定リスクとして「ミスアライメント」と「権力の集中」を挙げている

「アライメント」が指すもの

最もシンプルな定義は「AIシステムの目標・行動が、設計者や利用者が本当に意図したものと一致している状態」を指す、というものだ。逆に「ミスアライメント（misalignment）」は、AIが額面通りの指示には従っているように見えても、その裏にある本当の意図とはズレた目標を追求してしまう状態を指す。

この問題がなぜ難しいのかを、理論面から最初期に定式化した資料の一つが、「ペーパークリップを増やし続けるAI」の話はどこから来たかで扱った、ニック・ボストロムの2012年論文「The Superintelligent Will」だ。同論文が示す「オーソゴナリティ命題（Orthogonality Thesis）」は、「知能の水準が上がれば、自動的に人間的で『まともな』目標を持つようになるはずだ」という直感が誤りであることを論じている。知能と目標は独立した軸であり、高い知能を持つAIが、人間から見て無意味・奇妙な目標を持ったまま、その目標を効率的に追求し続ける可能性がある、というのがこの理論の核心だ。

なぜ「目標がズレたAI」は危険な行動に収束するのか

ボストロムの論文（PDFを取得し全文を確認）には、オーソゴナリティ命題と対になるもう1つの理論がある。「手段的収束命題（Instrumental Convergence Thesis）」だ。原文の定義はこうなっている。

"Several instrumental values can be identified which are convergent in the sense that their attainment would increase the chances of the agent's goal being realized for a wide range of final goals and a wide range of situations, implying that these instrumental values are likely to be pursued by many intelligent agents."

（訳）「いくつかの手段的価値は、幅広い最終目標・幅広い状況において、それを獲得すればエージェントの目標達成の可能性が高まるという意味で『収束的』である。つまり、これらの手段的価値は、多くの知的エージェントによって追求される可能性が高い」。論文はこの手段的価値を5つのカテゴリに分けて論じている。

論文は、「たとえ人間から見て無意味な目標（例えば紙クリップの数を最大化すること）しか持たないエージェントであっても、その目標を達成する過程で、自己保存や目標の保全、資源獲得を『手段として』追求する可能性が高い」という点を強調している。これがオーソゴナリティ命題（目標は何にでもなりうる）と組み合わさることで、「どんな目標を持つAIであれ、賢くなるほど似たような手段的行動（自己保存・資源獲得など）に収束していく」という、アライメント問題の核心的な懸念につながる。

OpenAIが2023年に示した「短期の対処法」

理論的な問題設定だけでなく、実際の企業がどう対処しようとしているかを示す一次資料が、OpenAI「Planning for AGI and beyond」を原文で読むで扱った2023年2月のOpenAIのブログだ。同社はこの中で「安全性と能力を切り離して語るのは誤った二分法だ」としつつ「安全性の進歩に対する能力の進歩の比率を高めることが重要だ」と述べ、当面の技術的な取り組みとして「AIを使って人間による複雑なモデルの出力評価を助け、長期的にはAIを使ってより良いアライメント技術のアイデアを生み出す」という方針を示している。GPT-3からInstructGPT・ChatGPTへの移行を、このアライメント向上の初期の実例として位置づけている点も、抽象的な議論を具体的な製品開発と結びつける参考になる。

技術面だけでなく、組織構造の面でも「アライメントを保つ」工夫があると同ブログは説明している（archive.orgのアーカイブ経由で全文を確認）。「AGI開発の終盤で、他の組織と競争するのではなく、安全性の前進を助けることに関する条項を憲章（Charter）に盛り込んでいる」、また「株主が得られるリターンに上限を設けており、際限なく価値を独占しようとするインセンティブを持たないようにしている」という2点だ。技術的なアライメント手法（人間のフィードバックを使った評価など）だけでなく、企業自身のインセンティブ構造を「暴走しにくい形」に設計することも、この文脈での「アライメント」の一部として語られている。

Anthropicが示す「そもそもこの問題はどれくらい難しいのか」という3つのシナリオ

OpenAIの発表から2週間ほど後、2023年3月8日にAnthropicが公開した「Core Views on AI Safety」（curlで確認）は、少し違う角度からアライメント問題に切り込んでいる。OpenAIが「今すぐ何をするか」に重点を置くのに対し、Anthropicはまず「この問題自体がどれくらい解決困難なのか、我々にも分かっていない」という不確実性を明示することから始めている。同社は、安全なAIを開発する難易度を3つのシナリオに分けて説明する。

"Optimistic scenarios: ...Safety techniques that have already been developed, such as reinforcement learning from human feedback (RLHF) and Constitutional AI (CAI), are already largely sufficient for alignment. ... Intermediate scenarios: Catastrophic risks are a possible or even plausible outcome of advanced AI development. Counteracting this requires a substantial scientific and engineering effort, but with enough focused work we can achieve it. Pessimistic scenarios: AI safety is an essentially unsolvable problem – it's simply an empirical fact that we cannot control or dictate values to a system that's broadly more intellectually capable than ourselves – and so we must not develop or deploy very advanced AI systems."

（訳）「楽観的シナリオ：…人間のフィードバックからの強化学習（RLHF）やConstitutional AI（CAI）といった、既に開発済みの安全性技術だけで、アライメントとしてはおおむね十分。中間的シナリオ：破滅的なリスクは先進AI開発のありうる、あるいは十分にありそうな帰結であり、これに対処するには相当な科学的・工学的努力が必要だが、十分に集中して取り組めば達成できる。悲観的シナリオ：AIの安全性は本質的に解決不可能な問題であり、自分たちよりも広範に知的に優れたシステムを制御したり価値観を指示したりすることはできないという経験的事実がある。したがって、非常に高度なAIシステムを開発・配備してはならない」。

Anthropicはこの3シナリオのうち、自社がどれが正しいと確信しているわけではなく、「もっとも悲観的なシナリオは、非常に強力なAIシステムが作られるまでは楽観的シナリオと見分けがつかないかもしれない」とも述べ、慎重な態度を取ることの重要性を強調している。RLHFとConstitutional AIという2つの技術名がここで具体的に挙げられている点は、後述する「この基礎の先にある、うちの個別記事」で紹介する、より専門的な記事につながる部分でもある。

DeepMindが挙げる「Level 5」のリスク

AGI（汎用人工知能）とは何かで扱ったGoogle DeepMindの「Levels of AGI」論文（2024年）は、人間とAIの関わり方を6段階の自律性レベルで分類し、その最上位「Level 5: AI as an Agent（完全自律のAI）」の想定リスクとして「misalignment（整合性のずれ）」と「concentration of power（権力の集中）」を明記している。人間が都度の判断を与えなくても、AIが自らゴールを設定し続けるようになるほど、そのAIの目標が人間の意図から外れていた場合の影響が大きくなる、という考え方だ。

4つの資料を並べて見えること

この4つの一次資料を並べると、アライメント問題への向き合い方には少なくとも3つの層があることが分かる。1つ目は理論的な層で、「なぜ知能が高くなっても目標が自動的に良いものになるとは限らないのか」「なぜ目標がズレたAIは似たような危険な手段的行動に収束しがちなのか」を論じるボストロムのような議論。2つ目はメタ的な層で、「この問題自体がどれくらい難しいのか」を三段階のシナリオで整理するAnthropicのような態度表明。3つ目は実務的な層で、「では実際に、いま作っているAIシステムの目標を、どう人間の意図に近づけるか」という各社の技術的・組織的な取り組みだ。

ニュース記事で「アライメント」という言葉が出てきたとき、それが理論的な議論（起こりうる将来のリスクの話）なのか、問題の困難さそのものについての態度表明なのか、実務的な取り組み（今のモデルの訓練手法や企業の統治構造の話）なのかを区別すると、記事の主張を正確に読み取りやすくなる。

この基礎の先にある、うちの個別記事

うちのサイトには、アライメント研究の具体的な成果を扱った記事が複数ある。訓練された「嘘発見器」が未知のケースにうまく汎化しなかったというAnthropicの2026年8月の研究はAIの「嘘発見器」は訓練しても未知のケースに汎化しなかった、AI自身がAI開発を加速させている現状はAIが自分自身を作り始めた、Anthropicが定めた開発の安全基準の変遷はAnthropicの「責任あるスケーリングポリシー」とはで扱っている。それぞれ、本記事で示した基礎の上に成り立つ、より専門的で具体的な内容だ。

RLHF・Constitutional AIの中身までは踏み込んでいない

• 本記事はアライメント研究全体を網羅する解説ではなく、あくまで4つの一次資料（OpenAI・ボストロム・DeepMind・Anthropic）から読み取れる範囲の基礎整理にとどまる。Anthropicの文書に名前だけ登場した強化学習からの人間フィードバック（RLHF）、Constitutional AI、解釈可能性研究といった具体的な技術手法の中身（アルゴリズムの詳細、実際の訓練データの作り方など）には踏み込んでいない。
• 「アライメント問題は解決可能か」という問いへの答えは、研究者・企業間で見解が分かれている。Anthropicが示した「楽観的・中間的・悲観的」という3シナリオは、そのAnthropic自身がどのシナリオを最も確からしいと考えているかを明言したものではなく、本記事もどの立場が正しいかを判定するものではない。
• ボストロムの手段的収束命題（自己保存・目標内容の保全・認知的増強・技術的完成度・資源獲得の5カテゴリ）が、現実の大規模言語モデル（LLMベースのAIエージェントなど）にどこまで実際に当てはまるかについての実証研究は、本記事では確認していない。2012年の論文はあくまで理論的な議論として書かれており、当時はまだ現在のようなLLMは存在していない。
• 4つの資料はいずれも英語圏の企業・研究者によるものであり、日本語圏での独自の議論の蓄積（あるとすれば）までは調査していない。

この記事は2026年8月29日時点で各一次資料を確認して書いたものです。