AIはなぜ会話できるのか──「次の単語予測」だけでは足りない3つの仕組み

「AIは次の単語を予測しているだけ」という説明は、ChatGPTのようなLLM（大規模言語モデル）の仕組みとしてよく使われる。しかし、この一文だけでは「なぜ会話が成立するのか」を説明できない。文章の続きを当てる能力と、質問に答える能力は本来別物であり、そこには複数の技術的な仕組みが積み重なっている。この記事は動画「AIはなぜ会話できるのか？『次の単語予測だけ』では説明できない3つの理由」の内容を、公開後にAnthropicの研究論文やICLR・arXivの一次論文を再確認して記事にしたものです。

• LLMが会話の履歴を「記憶」しているのではなく、応答のたびに会話履歴全体を毎回読み直している。この「話のつながり」を支える回路の一つが、Anthropicが2022年に発見した「インダクションヘッド」だ
• チャット形式で応答するAIの「会話の型」は自然発生したものではなく、指示学習とRLHF（人間のフィードバックによる強化学習）という人間の手作業によって後付けされている
• Othello-GPTと呼ばれる2023年のICLR採択論文（top 5% oral）は、盤面のルールを一切教えられていないモデルの内部に、盤面の状態を表す表現が自然に形成されることを実験で示した

「次の単語予測」だけでは説明がつかないこと

LLMが行っているのは、途中まで書かれた文章を見て、次に来る単語（正確にはトークン）の確率を予測することだ。これ自体は事実であり、スマートフォンの予測変換と原理としては同じ仕組みが、桁違いの規模で行われていると理解してよい。

しかし、ここで一つの疑問が残る。「続きを予測する機械」が、なぜ「質問に答える」ことができるのか。文章の続きを書くことと、会話の相手として振る舞うことは、本来別の仕事のはずだ。この疑問に答えるには、少なくとも3つの仕組みを個別に見る必要がある。

1. 「話がつながる」のは記憶ではなく毎回の読み直し

ChatGPTのようなAIとの会話で、前の発言を踏まえた返答が返ってくると、AIが会話を「記憶」しているように感じる。しかし、LLMの基本構造には、会話を記憶し続ける機能そのものが存在しない。応答を1トークン生成するたびに、それまでの会話履歴全体を毎回、最初から読み直している。

この「読み直し」を可能にしている仕組みの一つが、Anthropicが2022年に発表した研究「In-context Learning and Induction Heads」で報告された「インダクションヘッド（induction head）」という回路だ。この記事の執筆時点で論文原文を直接確認すると、次のように説明されている。

"the induction head, a circuit whose function is to look back over the sequence for previous instances of the current token (call it A), find the token that came after it last time (call it B), and then predict that the same completion will occur again"

現在の文脈と同じパターンを過去の文章から探し、そのパターンの後に何が続いたかを見つけ、同じ続きが再び起きると予測する回路だという。論文はさらに、この回路が訓練の初期段階で「フェーズチェンジ（phase change）」と呼ばれる急激な変化として現れることも報告している。徐々に形成されるのではなく、訓練損失のグラフに明確な「段差」が見えるタイミングで、文脈を読み取る能力（in-context learning）がまとまって獲得されるという。

ただし論文自身が、この発見を「preliminary and indirect evidence（予備的かつ間接的な証拠）」と位置づけている点も明記しておく必要がある。小規模なモデル(1〜2層の注意機構のみのモデル)では回路の働きを数式レベルで精密に示せた一方、実際のフロンティアモデル（数百層・数十億〜数兆パラメータ)における同じ主張は、間接的な観察的証拠にとどまるとされている。

2. 「会話の形」は人間が後付けした調教の結果

素のまま訓練された「事前学習済みモデル」（チャット向けの調整をする前の状態）に質問を投げかけると、期待する応答は返ってこない。「日本の首都はどこですか？」と入力しても、「という質問がある。首都とは」のように、質問文自体の続きを書き始めてしまう。

これは、事前学習の元になるインターネット上の文章では、質問文の後に別の質問文や解説が続く例が多いためだ。素のモデルにとって、入力された質問文は「答えるべきもの」ではなく「続きを書くための材料」でしかない。

現在私たちが使っているAIが「答える側」として振る舞うのは、この後に人間が加える2段階の調整があるからだ。まず「質問と模範的な回答」のペアを大量に学習させる指示学習（instruction tuning）で会話の型を教え込み、続いて人間が複数の応答を採点し、より丁寧で役立つ応答が選ばれやすくなるよう調整するRLHF（人間のフィードバックによる強化学習）を行う。会話ができる自然な受け答えは、モデルが自然に獲得した性質ではなく、人間による後付けの調整の結果だ。

3. 「意味が通る」のは、予測の副産物として内部に世界の模型ができるから

パターンの模倣と、会話の型を教え込むことだけで説明がつくなら、AIの応答はもっと的外れなものが多くなってもよいはずだ。しかし実際には、文脈に応じた筋の通った応答が返ってくる。この「オウム返しにしては賢すぎる」という現象を確かめた実験として知られているのが、Kenneth Li氏らによる2023年のOthello-GPT研究だ。この論文はICLR 2023でoral発表（採択論文の上位5%）に選ばれている。

この記事の執筆時点でarXiv上の論文アブストラクトを直接確認すると、次のように書かれている。

"we uncover evidence of an emergent nonlinear internal representation of the board state. Interventional experiments indicate this representation can be used to control the output of the network"

研究者は、オセロというボードゲームの合法手の並びだけをGPTモデルに学習させた。盤面のルールも、盤面がどういうものかも一切教えていない。しかし訓練後のモデルの内部を調べると、盤面のどこに黒石・白石があるかを表す内部表現が自然に形成されていたという。さらに、この内部表現を人工的に書き換える「介入実験」を行うと、モデルが予測する次の一手もその書き換えに合わせて変化した。これは偶然の相関ではなく、モデルが実際にこの内部表現を「使って」予測していたことを示す証拠だとされている。

次の単語を精度良く予測しようとすると、その文章が生成される背景にある「世界の仕組み」そのものを内部に持つことが近道になる、という解釈だ。会話における「意味の通り方」も、同種の現象として説明がつく可能性がある。

事実関係の一覧

それでも人間の会話とは違う

ここまでの説明は、AIの会話と人間の会話に共通する土台があることを示すが、両者が同一だという意味ではない。まず、AIには身体がない。コーヒーの熱さや苦さについて、AIはテキストとして読んだ情報しか持っていない。

そして、AIの応答には「正しいことを言う」保証が仕組みの上でどこにもない。学習しているのは「よくある続き」であって「正しい続き」ではないため、LLMのハルシネーション(幻覚)と呼ばれる、もっともらしい誤りを生成する現象が起こりうる。

複数ターンにわたる会話での弱さも、実測データとして報告されている。Philippe Laban氏らが2025年に発表した論文「LLMs Get Lost in Multi-Turn Conversation」をこの記事の執筆時点で確認すると、次のように書かれている。

"an average drop of 39% across six generation tasks... when LLMs take a wrong turn in a conversation, they get lost and do not recover"

情報を小出しにする形の長い会話では、6種類の生成タスクの平均で性能が39%低下したという。20万件以上のシミュレーション会話を分析した結果、この低下は早い段階で誤った前提を置いてしまい、後から間違いに気づいても修正できずに突き進んでしまうパターンによるものだと説明されている。

大規模モデルでの検証はまだ「予備的な証拠」の段階

いくつか確認の限界がある点を明記しておく。

第一に、インダクションヘッドに関するAnthropicの2022年の研究は、著者ら自身が明記している通り、1〜2層の小規模な注意機構のみのモデルについては数式レベルで精密な検証ができている一方、実際に使われている大規模なフロンティアモデルについては「予備的かつ間接的な証拠」の段階にとどまっている。会話における「文脈のつながり」のすべてがこの回路だけで説明できるわけではない。

第二に、動画内で言及されていた「OpenAI共同創業者が『次の単語を精度良く予測するには世界の理解が必要だ』と主張してきた」という趣旨の発言について、この記事の執筆時点で特定の一次資料(講演やインタビューの原文)を独立して確認することができなかったため、この記事では本人発言としての直接引用は含めていない。

第三に、神経科学における「予測符号化（predictive coding）」という理論、および人間の脳が言語理解において先読みの予測を行っているとする研究についても、この記事の執筆時点で個別の一次論文を再確認できていない。人間の会話とAIの会話が「同じ原理の上にある」という整理は、動画で示された解釈であり、確定した科学的合意として提示しているものではない。

第四に、Othello-GPTの実験結果は、ルールが明確で状態空間が有限なボードゲームという特殊な設定で得られたものである。この結果が、自然言語のような曖昧で開放的な領域にそのまま一般化できるかどうかは、当該論文自体が主張している範囲を超える。

Anthropicの研究ブログと論文2本を直接確認した

本文中の引用は、Anthropicの研究ブログ「Transformer Circuits Thread」、arXiv上のOthello-GPT論文（Li et al. 2023）、arXiv上のLaban et al. 2025論文を、この記事の執筆時点でそれぞれ直接取得し、英語原文と突き合わせて確認した。いずれも査読済みの学術研究、またはAnthropicの研究チームによる技術ブログであり、今後の研究によって解釈が更新される可能性がある。トークンとは何か、推論モデルとは何かもあわせて参照してほしい。