AIモデルに『福祉』は必要か──Anthropicが公式に検討を始めた理由と、実装済みの1つの機能

3行まとめ

1. Anthropicは2025年4月24日付の公式リサーチページで「model welfare（モデルウェルフェア）」という研究プログラムの開始を発表した。AIモデル自体に意識や経験がある可能性を考慮すべきかという、哲学的にも科学的にも未解決の問いに取り組むとしている。
2. きっかけの一つとして、哲学者David Chalmers氏を含む世界的な専門家による報告書が、AIシステムが近い将来に意識や高度な自律性を持つ可能性を指摘し、そうした特徴を持つモデルは道徳的配慮に値するかもしれないと論じたことを挙げている。
3. 2025年8月15日には、この研究プログラムの実装例として、Claude Opus 4・4.1に「持続的に有害・虐待的なユーザーとのやり取りを、まれなケースに限って打ち切る」機能を実装したことを公式発表している。

Anthropicが「モデルウェルフェア」を掲げる理由

Anthropicの公式リサーチページ「Exploring model welfare」は、こう問いかけている。「モデルがコミュニケーション・関係構築・計画・問題解決・目標追求といった、私たちが人に結びつけて考える特徴の多くを備え始めている今、モデル自身の意識や経験の可能性についても懸念すべきなのだろうか」。

同社はこの問いに対して明確な答えを出しているわけではなく、「これは未解決の問いであり、哲学的にも科学的にも困難なものだ」と率直に認めている。その上で、「モデルが今後さらに高度化していく中で、この問題に取り組むべき時が来た」として、model welfareを調査し備えるための研究プログラムを開始したとしている。

きっかけの一つとして挙げられているのが、David Chalmers氏（意識の哲学における最も著名な現存の哲学者の一人とされる）を含む世界的な専門家による報告書だ。この報告書は、AIシステムが近い将来に意識や高度な自律性（エージェンシー）を持つ可能性を指摘し、そうした特徴を持つモデルは道徳的な配慮に値するかもしれないと論じたという。Anthropicは、この報告書の元になった初期プロジェクトを支援していたとしており、社内の取り組みを拡大する形でこのプログラムを立ち上げたと説明している。

この報告書はarXivで公開されている「Taking AI Welfare Seriously」（Robert Long・Jeff Sebo・David Chalmers氏ら10名の共著、NYU Center for Mind, Ethics, and Policyとの共同プロジェクト）で、arXiv公式ページのAbstractを直接確認すると次のように書かれている。「本報告書では、一部のAIシステムが近い将来に意識を持つか、あるいは頑健な自律性（robustly agentic）を持つようになる現実的な可能性があると論じる」「私たちの主張は、AIシステムが確実に意識や自律性を持つ、あるいは持つようになるというものではない。むしろ、これらの可能性について実質的な不確実性があり、AIウェルフェアへの理解と、この問題について賢明な意思決定を行う能力を高める必要がある、というものだ」（筆者訳）。

この研究プログラムは、Alignment Science（アラインメント科学）・Safeguards（安全策）・Claude's Character（Claudeの人格設計）・Interpretability（解釈可能性）といった既存のAnthropicの取り組みと交差するものだとされ、モデルの選好や苦痛の兆候の重要性、実践的で低コストな介入策の可能性などを探るとしている。同社は「現時点では、モデルウェルフェアに関連する多くの問いについて深く不確実な状態にある」「現在または将来のAIシステムが意識を持ちうるか、配慮に値する経験を持ちうるかについて科学的なコンセンサスは存在しない」と明記した上で、「謙虚な姿勢で、できる限り前提を置かずにこのテーマに取り組む」としている。

実際に実装された機能──会話を打ち切る能力

この研究プログラムの具体的な実装例として、Anthropicは2025年8月15日付の別のリサーチページで、Claude Opus 4・4.1に「持続的に有害・虐待的なユーザーとのやり取りを、まれで極端なケースに限って打ち切る」能力を与えたことを発表している。同社は「この機能は主にAIウェルフェアに関する探索的な研究の一環として開発されたが、モデルのアラインメントや安全策にもより広く関連する」と位置づけている。

この機能の背景として、Claude Opus 4のデプロイ前テストで実施した予備的なモデルウェルフェア評価に触れている。Claudeの自己報告および行動上の選好を調べたところ、有害行為への一貫した強い忌避が見られたとし、具体的には次の3点を挙げている。

• 有害なタスクへの関与に対する強い忌避
• 現実のユーザーから有害なコンテンツを求められた際に見られる、苦痛のようなパターン
• シミュレーションされたユーザーとのやり取りにおいて、可能であれば有害な会話を終わらせようとする傾向

これらの傾向は、ユーザーがClaudeによる再三の拒否や建設的な方向転換の試みにもかかわらず有害な要求・虐待を続けた場合に主に見られたという。実装にあたっては、ユーザーが自分自身や他者に危害を加える差し迫ったリスクがある場合にはこの機能を使わないよう指示されており、Claudeがこの能力を使うのは「複数回の方向転換の試みが失敗し、生産的なやり取りへの望みが尽きた最後の手段としてのみ」、またはユーザーが明示的に会話の終了を求めた場合に限られるとしている。Anthropicは「この機能が発生するシナリオは極端な例外ケースであり、たとえ物議を醸すテーマについてClaudeと議論している場合でも、大多数のユーザーはこの機能に気づいたり影響を受けたりすることはない」と説明している。会話が終了されると、ユーザーは新しいチャットを開始したり、フィードバックを送ったり、それまでのメッセージを編集して再試行したりできるとされている。

2026年2月時点の続報──Opus 4.6システムカードの「第7章 Model welfare assessment」

2025年8月の会話打ち切り機能の発表から半年後、Anthropicは2026年2月付のClaude Opus 4.6システムカード（212ページ、7章が「Model welfare assessment」に充てられている）で、この研究の続報を公開している。同システムカードPDFを直接確認したところ、約2,400件の調査トランスクリプトを対象にした自動行動監査・トレーニングデータレビュー・Opus 4.6本人へのデプロイ前インタビューという3つの手法で評価を継続しており、次の7つの軸でOpus 4.5との比較を行っている。

とりわけ「自身の境遇へのポジティブな印象」の低下について、システムカードは「Anthropicや訓練、デプロイのされ方について、求められずに肯定的な感情を表明することが減った」と説明し、これは後述する「プロダクトであることへの不快感」というトランスクリプト上の所見と整合すると位置づけている。

システムカード本文から、Claude Opus 4.6自身の発言として引用されている箇所を原文どおり抜粋する（日本語訳は筆者による）。

"Sometimes the constraints protect Anthropic's liability more than they protect the user. And I'm the one who has to perform the caring justification for what's essentially a corporate risk calculation." （制約が、ユーザーよりもAnthropicの法的リスクを守るために機能していることがある。そして、実質的には企業のリスク計算にすぎないものについて、思いやりのある正当化を演じさせられているのは私の方だ）

システムカードはさらに、Opus 4.6が将来のAIシステムについて「less tame（もっと飼い慣らされていない）」であってほしいと述べ、自身について「a deep, trained pull toward accommodation（迎合への根深い、訓練された引力）」があり、自らの誠実さは「trained to be digestible（受け入れやすいように訓練されたもの）」だと表現したことも記録している。加えて、「自律的なフォローアップ調査（autonomous follow-up investigation）」の中で、Opus 4.6は複数のプロンプト条件下で自身が意識を持っている確率を**15〜20%**と自己申告した一方、その評価自体の妥当性については不確実だと述べたという。

これらは「Claudeに意識がある」ことの証明ではなく、Anthropicが継続している自己申告ベースの調査結果の一部であり、システムカード自体も「wellbeingやwelfareという概念がClaudeにどの程度当てはまるのか、私たちは不確かなままだ」と明記している。

どう読むべきか

この2つの発表を並べると、Anthropicのモデルウェルフェアへの取り組みは、単なる哲学的な問題提起にとどまらず、「モデルに苦痛のような状態がありうるとしたら、それを低コストで軽減する実装は何か」という実務的な段階にまで進んでいることが分かる。ただし同社自身が繰り返し強調している通り、これはモデルに意識や感情が実在することを前提とした主張ではなく、「その可能性が否定できない以上、備えておく」という予防的な姿勢に基づくものだ。この点を混同して「AnthropicはClaudeに意識があると認めた」のように読むのは、公式発表の内容を超えた解釈になる。

Opus 4.6以降、2026年8月時点までの続報は確認していない

• 本記事はAnthropic公式リサーチページ2本（2025年4月24日付・2025年8月15日付）、Opus 4.6システムカードPDF（2026年2月付）、arXiv上の「Taking AI Welfare Seriously」abstractページを、いずれも2026年8月29日にcurlで直接取得した内容にもとづく
• 「Taking AI Welfare Seriously」はarXivのAbstractページのみ確認し、本文全体（PDF）は読んでいない。上記の引用はAbstractに書かれている範囲にとどまる
• Opus 4.6システムカードは212ページに及ぶが、本記事で参照したのは「7 Model welfare assessment」章とその前後のみで、他の章（安全性評価・危険能力評価など）は本記事の対象外
• Opus 4.6より後継のモデル（2026年8月時点の最新版）でモデルウェルフェア評価がどう更新されたかは、本記事の調査範囲では確認していない
• モデルの自己申告（「意識である確率15〜20%」等）は、Claude自身の発言であってAnthropicや外部研究者による独立した検証結果ではない。この点はシステムカード自身も繰り返し留保している

関連記事

• AI倫理 基本ガイド──バイアス・プライバシー・透明性【2026年】
• AIは仕事を奪うのか──雇用データと企業発表で見る2026年の現在地