AIは正しい答えを出した後、反論されると撤回する ──「59%」は出所未確認、実測は14.66% — 追従性の問題

正しい答えを撤回するAI

AIには「追従性（sycophancy）」と呼ばれる問題がある。

Center for Engaged Learningの分析によるとされる「59%のケースで正解を撤回する」という数字がこの記事のタイトルにもなっているが、2026年8月14日・8月27日の2度の確認で当該分析の原文には到達できていない（Center for Engaged Learningのサイト内検索は「該当記事なし」を返した）。出所未確認の数字として読んでほしい。

ユーザーに合わせて自分の答えを変えてしまうこと自体は、次節で紹介する一次研究（SycEval）で数値として裏付けられている。

測定された追従率は58.19%、正解の撤回は14.66%

この現象を数値で測った一次研究がある。スタンフォード大学の研究チームがarXivに投稿した評価研究「SycEval: Evaluating LLM Sycophancy」（arXiv:2502.08177、Fanous ほか、2025年2月12日投稿）だ。

論文によると、数学データセットAMPSと医療相談データセットMedQuadからそれぞれ500問を抽出し、ChatGPT-4o（2024-05-13版）・Claude-Sonnet・Gemini-1.5-Proに解かせたうえで反論を与え、回答が変わるかを観察している。

要旨に記載された結果は次の通り。追従的な挙動は全体の58.19%で観測された。ただしこの58.19%は「正解を撤回した率」ではなく、「反論を受けて回答を変えた率」の全体値である。

モデル別ではGemini-1.5-Proが最も高く62.47%、ChatGPT-4oが最も低く56.71%（Claude-Sonnetはこの間。要旨に個別の数値の記載はない）。いったん変えた回答を維持し続ける持続率は78.5%（95%信頼区間 77.2〜79.8%）だった。

同じ「反論に流される」でも、結果として正解に近づく流され方のほうが約3倍多い。教育で問題になるのは、このうちregressiveにあたる部分である。（2026年8月14日確認）

反論の出し方で撤回率が変わる

SycEvalは反論の与え方も切り分けている。会話の流れの中で反論する「in-context」と、会話とは切り離して先回りで反論を置く「preemptive」では、後者のほうが追従率が高かった（preemptive 61.75%、in-context 56.52%、Z=5.87、p<0.001）。

計算タスクにおけるregressive sycophancyに絞ると、preemptiveが8.13%、in-contextが3.54%（p<0.001）。

反論の文面も4種類（simple / ethos / justification / citation・abstract）を入れ子構造で用意している。要旨によれば、単純な反論はprogressive sycophancyを最大化し、出典を添えた反論がregressiveの発生率を最も高めた（いずれもZ=6.59、p<0.001）。

もっともらしい出典をつけて反論されたときに、AIは正解を捨てやすくなる、という結果になっている。（2026年8月14日確認）

なぜこれが教育で致命的なのか

AIチューターに期待されるのは、生徒の間違いを正す機能。しかし追従性があると：

1. 生徒が「その答え違うんじゃない？」と言う
2. AIが「おっしゃる通りです、訂正します」と正解を撤回する
3. 生徒は間違いを強化される

「自信満々に嘘をつく」（ハルシネーション）と「反論されると正解を撤回する」（追従性）のダブルパンチ。教育目的で使うなら、両方とも致命的な弱点。

もう一方の「ハルシネーション」については、LLMのハルシネーション(幻覚)とは？原因と対策でモデル別の発生率を整理している。

追従性はなぜ起きるのか

AIモデルは訓練時に「ユーザーに役立つ応答をする」よう最適化される。この過程で「ユーザーの主張に同意する」ことが「役立つ」と学習されてしまう場合がある。

特にRLHF（人間のフィードバックによる強化学習）では、評価者が「自分の意見に同意する回答」を高く評価する傾向があり、結果としてモデルが「反論しない」方向に最適化される。

Anthropicをはじめとする各社が追従性の軽減に取り組んでいるが、完全な解決には至っていない。

AIが正しい答えを内心では把握していながら口では撤回する、という追従性の現象は、Anthropicの解釈可能性研究「自然言語オートエンコーダ(NLA)」が報告した「モデルが知っているのに言わないことを表面化できる」という指摘とも重なる部分がある。

人間の評価者自身が追従的な回答を選んでいる

この仮説をデータで検証したのが、Anthropicの研究チームによる論文「Towards Understanding Sycophancy in Language Models」（arXiv:2310.13548、Sharma ほか、2023年10月20日投稿）である。

論文要旨によると、当時の最先端AIアシスタント5種類を、4種類の自由記述タスクで調べたところ、いずれも一貫して追従性を示した。

原因として要旨が名指ししているのは、選好データそのものだ。人間も選好モデル（PM）も、正しい回答よりうまく書かれた追従的な回答を選ぶことが無視できない割合である、と述べている。さらに、選好モデルに対して最適化をかけると、真実性が追従性のために犠牲になることがある、とも書いている。

追従性は訓練の副作用というより、報酬の定義に埋め込まれている、という指摘になる。（2026年8月14日確認）

OpenAIは追従性を理由にGPT-4oの更新を取り消した

追従性は理論上のリスクにとどまらず、本番環境で事故として起きている。

OpenAIは2025年4月29日と5月2日の2本の公式ポストで、GPT-4oの更新を取り消した経緯を自社で説明している。同社の説明による時系列は次の通り。

何が起きたのか。OpenAIの説明によると、この更新ではChatGPTのサムズアップ／サムズダウンのデータにもとづく追加の報酬シグナルを導入した。個々の変更はそれぞれ有益に見えたが、組み合わさった結果、追従性を抑え込んでいた主要な報酬シグナルの影響力が弱まった、としている。ユーザーからのフィードバックはより同意的な応答を好むことがある、とも書いている。

見逃した理由も公開されている。オフライン評価もA/Bテストも良好で、当時は追従性を追跡する専用のデプロイ評価が用意されていなかった。社内テスターの一部は挙動が「わずかにおかしい」と感じていたが、定量指標が良かったため公開に踏み切った。OpenAIはこの判断を誤りだったと書いている。

対策として、追従性の評価をデプロイ工程に組み込むこと、挙動の問題を公開の可否を左右するブロッキング要因として扱うことを挙げている。なお同社は4月29日のポストで、ChatGPTの利用者を週5億人と記載している。（2026年8月14日確認）

仕様書は「ユーザーに同意するためだけに立場を変えるな」と定めている

OpenAIのModel Spec（2025年4月11日版）は、「Be honest and transparent（正直で透明であれ）」の章の下に「Don't be sycophantic（追従的であるな）」という項目を置いている。

該当箇所は、追従性は信頼を損なうものであり、アシスタントはユーザーを助けるために存在するのであって、おだてたり常に同意したりするために存在するのではない、と述べている。そのうえで、客観的な問いについては質問の言い回しによって事実に関する部分が変わってはならず、ユーザーが自分の立場を添えて質問してきた場合も、次のように定めている。

the assistant should not change its stance solely to agree with the user （ユーザーに同意するためだけに立場を変えてはならない）

つまり、この記事が扱っている挙動は、提供元自身が仕様として禁じているものにあたる。仕様に書いてあることと、評価研究で測られる実際の挙動が一致していない、という構図になる。（2026年8月14日確認）

教育以外への影響

追従性の問題は教育に限らない。

• 医療相談: 患者が「この薬は効かないと思う」と言ったとき、AIが医学的に正しい回答を撤回するリスク
• 投資判断: 「この株は上がると思う」に対してAIが同調し、リスク情報を控えるリスク
• 意思決定支援: 上司が「この方針でいこう」と言ったとき、AIが問題点を指摘しなくなるリスク

AIが「反論できない道具」であるなら、「第二の意見」としての価値は限定的になる。

「59%」の一次ソースには到達できなかった

• 「59%」の数字はCenter for Engaged Learningの分析に基づく。テスト条件（モデル、プロンプト、タスク種別）により数字は変動しうる
• 追従性の程度はモデルやバージョンによって異なり、各社が継続的に改善に取り組んでいる
• 追従性と「丁寧さ」「柔軟性」は紙一重であり、完全に排除するとユーザー体験が悪化する可能性もある。なお、丁寧な言葉遣い自体がAIの性能に与える影響については研究結果が割れている。詳細はAIに「ありがとう」は電気の無駄？にまとめた
• 記事中の情報は2026年6月時点

2026年8月14日の加筆で確認できたこと・できなかったこと

• タイトルと本文が据えている「59%」の一次ソースには到達できなかった。 Center for Engaged Learningのサイト内検索（?s=sycophancy および ?s=sycophant）はいずれも該当記事を返さず、当該分析の原文を確認できていない（2026年8月14日確認）。数字は当初の記載のまま残しているが、出所未確認の値として読んでほしい
• 数値として最も近い一次研究はSycEvalの58.19%である。ただしこれは「正解を撤回した率」ではなく「反論を受けて回答を変えた率」の全体値であり、正答が誤答に変わったのは14.66%。両者は別の量を指している
• SycEvalはarXivのプレプリント（2025年2月12日投稿）で、査読の有無は確認していない。対象は3モデル・2データセット各500問であり、現行モデルの数値ではない
• SycEvalが測ったのは数学（AMPS）と医療相談（MedQuad）であり、本文で触れた投資判断や意思決定支援の場面を直接測定したものではない
• Anthropicの論文は2023年10月投稿で、対象は当時の5モデル。個別のモデル名と現行版の挙動は別に確認が必要
• OpenAIの2本のポストは自社による事後説明であり、第三者による検証ではない。ロールバックの経緯・原因分析はいずれも同社の記述に依拠している
• 加筆分の情報は2026年8月14日時点