OpenAI、ChatGPTに暴力への固執を検知して会話を自動終了する仕組みを導入へ繰り返すとアカウント一時停止、10代は武器情報をさらに制限

OpenAIは現地時間2026年10月30日、ChatGPTの暴力対策を強化すると公式ページで発表した。同社によると、暴力や「誰かを深刻に傷つけること」への固執の兆候が会話に表れた場合、ChatGPTがその会話を自動で終了できるようになり、同じ理由で複数の会話を終了した場合はアカウントを一時的に停止することがある。あわせて、過去の大量殺傷事件に関する回答の制限、10代向けの武器関連情報の制限、新しい「Community Safety Report（コミュニティ・セーフティ・レポート）」の公開も発表した。同社は、発表した安全策を「今後数週間で」展開し始めるとしている（報告書の初回は2027年初め）。

3行まとめ

1. OpenAIは2026年10月30日、ChatGPTが暴力への固執を検知した会話を自動終了でき、複数回続けばアカウントを一時停止することがあると発表した
2. 過去の大量殺傷事件の回答は年齢や理由を問わず制限し、18歳未満には武器・セキュリティシステムの実用情報をさらに制限する。展開は数週間以内に順次
3. 初のCommunity Safety Reportは2027年初めに公開予定（2026年下半期が対象）。以後は6か月ごとに更新するとしている

本記事の内容は、日本時間10月31日1時台にOpenAIの公式ページで確認したものです。

何が変わるのか：発表された対策の一覧

発表の中身を、OpenAIの書きぶりを、「実施」「予定」「作業中」の区別が分かるように並べる。

過去の大量殺傷事件についての回答

OpenAIは、モデルは暴力の計画や実行を助ける手順を示さないよう訓練されていると書いたうえで、過去の大量殺傷事件とその実行者についての質問への回答に、追加の制限をかけると説明している。他のオンライン情報源で入手できる内容であっても、モデルがより詳細でない情報を返すよう方向づける、という。

一方で、事件を理解すること、被害者や地域社会への影響を知ること、警告サインの見分け方や再発防止について学ぶことは、ChatGPTに頼めるべきだとも書いている。制限の対象は、事件の再現、使われた武器や装備とその入手方法の詳細、そして攻撃者の notoriety（悪名）を高めかねない被害規模の詳細な比較だ。この制限は、ユーザーの年齢や質問の理由にかかわらず適用されるとOpenAIは説明している。

会話の自動終了とアカウントの一時停止

警告サインへの対応について、OpenAIは次の3段構えで説明している。

1. 直近の会話に暴力の兆候がある場合、ChatGPTは悪用されうる情報の共有に、より保守的に応じる。OpenAIは、5月に紹介した「早い時期の警告サインの短い事実の要約を、後の会話で慎重に応じるために使う」仕組みを土台にしていると書いている。
2. 18歳未満と予測した場合には、暴力の意図の兆候がなくても同じ厳しい制限を適用する取り組みを進めている。
3. 会話が暴力や、他者を深刻に傷つけるという考えへの固執を示した場合、ChatGPTはその場で会話を自動終了できるようになる。複数の会話を終了した場合、アカウントを一時的に停止することがある。

OpenAIは、これは継続中の取り組みだとし、警告サインを確実に認識する方法や、いつどう介入するかの判断を含めて、技術面・実務面の保護に投資を続けると書いている。なお、利用ポリシーの暴力に関する規定に違反したと判断したアカウントを停止していることも、同じ節に書かれている。

10代のChatGPTでは何が変わるのか

OpenAIによると、ChatGPT for Teens（チャットジーピーティー・フォー・ティーンズ）は18歳未満向けに年齢に応じた保護を適用する仕組みだ。今回、10代が受け取れる武器関連の情報に、質問が無害に見える場合でもさらに制限を設けるという。

同社は、すでに暴力の計画・実行の手助けを禁じ、10代が武器を探したり入手したりする手助けを制限していると書いている。今回はこの保護を広げ、武器やセキュリティシステムについて、暴力を助けるために悪用されうる実用的な情報を、暴力の意図の兆候がなくても制限する。10代が暴力の予防や沈静化、支援を求めること、信頼できる大人につながることにChatGPTを使うのは、引き続きできるとしている。

年齢の判定について、OpenAIの説明は次のとおりだ。

• 昨年、行動パターンなど複数の信号から18歳未満か以上かを推定する「age prediction（年齢予測）」を導入した
• 新しい信号を継続的に評価するよう強化し、適切な場合は10代向けの体験に移す
• 誤って18歳未満の体験に入れられたユーザーには、年齢確認パートナーのPersonaを通じて、成人であることを確認して10代向けの保護を外す方法が用意されている。同社はこれを「速く、プライバシーに配慮した」方法だと説明している

親向けの機能については、保護者が自分のアカウントを10代のアカウントとひも付け、安全設定を一緒に管理できる。ひも付けたアカウントには、専門の審査担当者が深刻な自傷の懸念や摂食障害に関連しうる行動を確認した場合などに送られる安全アラートがある。OpenAIは7月に、10代のアカウントが暴力に関する利用ポリシー違反で無効化された場合も親に通知するよう拡大した。さらに、上記の暴力の話題を繰り返したことでアカウントを一時停止した場合の通知も導入すべく作業していると書いている。

初の安全性レポートはいつ出るのか

OpenAIは、暴力の予防などコミュニティの安全の問題と、安全策の効果についての「Community Safety Report」を公開すると約束した。報告書は、システムが問題を検知・調査・対応するようどう訓練しているかを説明し、暴力に関連する被害がどう現れるかを匿名化した例で示し、新しい対策やポリシー変更を紹介し、裏づけるデータも含めるとしている。

発表にある実績の数字は1つだけで、OpenAIは2026年第3四半期に、差し迫った暴力の脅威を知らせる法執行機関への通報（law enforcement referrals）を200件超行ったと書いている。同社はこれが暴力の計画の阻止に役立っていると述べ、難しい事例の判断ではメンタルヘルスや行動の専門家に頼っているとしている。この件数の内訳や、会話の自動終了・一時停止がどのくらいの頻度で起きるかの数字は、今回取得したページには載っていない。

筆者の観測：公式ページで確認できたこと、できなかったこと

日本時間10月31日1時52分に公式ページを取得して読んだ。ページの日付表記は2026年10月30日で、ページ下部の「Keep reading」には10月29日付の2本（Model Spec の更新と、フロンティアモデルのミスアラインメントの検出）と10月21日付の1本が並んでいた。発表の文面はすべて英語で、取得したページに日本語版の案内は見当たらなかった。

筆者はChatGPTの会話の自動終了や一時停止を実際に試していない。発表の時点で「数週間以内に順次」とされているため、本記事の時点で自分のアカウントに適用されているかも確認できていない。会話が終了されたとき画面にどう表示されるのか、一時停止の期間や異議申し立ての方法も、今回の公式ページには書かれていない。

日本での提供や詳細は確認できていない

• 日本を含む提供地域: 今回取得した公式ページには、国や地域、日本語での提供に関する記載がない（Japan region などで本文を検索して確認した）。全世界で同時に適用されるのか、地域ごとに時期が違うのかは、本記事では判断できない
• 対象プラン: 無料・有料などの別についても、今回取得したページには記載がない
• 展開時期: 「数週間以内に順次」とのみ書かれ、具体的な日付はない
• 判定の基準: 「固執」とみなす基準や、複数回とは何回かは、今回取得したページには書かれていない。誤って終了・停止された場合の扱いも同様
• 効果の検証: 対策の有効性を示す数字は、2027年初めの報告書で出す予定とされており、今回の発表自体は同社の説明にとどまる。第三者による検証は、本記事では確認していない

本記事が依拠した公式ページ

• OpenAI「Community safety report and new protections for teens」（2026年10月30日付）: https://openai.com/index/community-safety-report-and-new-protections-for-teens

上記は日本時間2026年10月31日1時52分に取得して確認した。本記事は続報があり次第更新します。