強化学習とは何か教師あり学習との違いと、ChatGPTの訓練に使われたRLHFへの入口

強化学習(Reinforcement Learning, RL)は、AIニュースの専門記事にたびたび登場する一方、その基本語彙(エージェント・環境・報酬・方策)を土台から説明した記事は当サイトにまだなかった。本記事は、Google Cloudの公式解説記事「What is reinforcement learning (RL)?」を主な一次資料として、強化学習が教師あり学習・教師なし学習とどう違うのかを整理したうえで、OpenAIとAnthropicがそれぞれ公開した一次資料をもとに、OpenAIがChatGPTの訓練に「Reinforcement Learning from Human Feedback(RLHF、人間のフィードバックからの強化学習)」という強化学習の一種を使ったと明記していること、Claudeを開発するAnthropicの研究者らも2022年の論文で同じ手法を報告していることを確認する。2026年9月25日未明(日本時間)時点の確認にもとづく。

3行まとめ

1. Google Cloud公式解説は、強化学習を「エージェントが環境との相互作用を通じて最適な行動を学習する機械学習の一種」と定義し、明示的なプログラムやラベル付きデータの代わりに、報酬・罰という形のフィードバックによる試行錯誤で学習すると説明している
2. 同じ解説は、強化学習・教師あり学習・教師なし学習の3つを、それぞれ「試行錯誤」「正解を教える先生がいる学習」「先生なしでデータの意味を自分で理解する学習」というたとえで区別している
3. OpenAIは2022年11月30日公開のChatGPT発表記事で「Reinforcement Learning from Human Feedback(RLHF)を使ってこのモデルを訓練した」と明記し、Anthropicも2022年4月12日にarXivで公開した論文で、同じRLHFという手法を「helpful and harmless」なアシスタントの訓練に使ったと報告している

3つの学習方式の違い(Google Cloud公式解説の記述から)

強化学習とは何か──チェスAIを例にした最小限の説明

Google Cloudの公式解説記事は、強化学習をこう定義している。

Reinforcement learning (RL) is a type of machine learning where an "agent" learns optimal behavior through interaction with its environment. Rather than relying on explicit programming or labeled datasets, this agent learns by trial and error, receiving feedback in the form of rewards or penalties for its actions. (強化学習(RL)は、「エージェント」が環境との相互作用を通じて最適な行動を学習する機械学習の一種である。明示的なプログラムやラベル付きデータセットに頼る代わりに、このエージェントは試行錯誤によって学習し、自らの行動に対して報酬または罰という形のフィードバックを受け取る)

続けて同記事は、エージェントの目標を次のように説明している。

The goal of the agent is to earn the most rewards possible over time. It does this by learning a policy, which is essentially a strategy that tells it what action to take in any given situation. (エージェントの目標は、時間をかけてできるだけ多くの報酬を得ることである。エージェントはこれを、方策(policy)を学習することによって行う。方策とは、本質的には、どんな状況でどの行動を取るべきかを教える戦略のことである)

具体例として同記事が挙げているのはチェス対局AIだ。エージェントの行動はチェス盤上での指し手であり、環境は対局の現在の局面、報酬は勝利そのものにあたる。対局と指し手へのフィードバックを繰り返すことで、RLエージェントはどの行動がより勝利につながりやすいかを学習していく、と説明されている。

どう動くか──4つの要素とフィードバックループ

Google Cloudの解説記事は、強化学習の学習プロセスを駆動する4つの要素を次のように挙げている。

• Agent: The learner and decision-maker in the system
• Environment: The external world the agent interacts with
• Actions: The choices the agent can make at each step
• Rewards: The feedback the agent receives after taking an action, indicating the desirability of the outcome

(エージェント: システムの中で学習し、意思決定を行う主体 / 環境: エージェントが相互作用する外部世界 / 行動: エージェントが各ステップで取りうる選択肢 / 報酬: 行動を取ったあとにエージェントが受け取るフィードバックで、その結果の望ましさを示す)

そのうえで、フィードバックループは次の流れで進むとされている。エージェントが環境の現在の状態を観測し、方策にもとづいて行動を選び実行する。環境はその行動に応じて新しい状態へ遷移し、エージェントは新しい状態の価値を反映した報酬信号を受け取る。この報酬情報が方策の更新に使われ、過去に良い報酬につながった行動を選びやすくなる。この「試す→フィードバックを受ける→ルールを改善する」というやり取りが、システムが時間をかけて最も多くの報酬を得る方法を学習するまで続く、と記事は説明している。

2つのタイプ──モデルベースとモデルフリー

Google Cloudの解説記事は、強化学習を大きく2種類に分けている。

In model-based reinforcement learning, the agent attempts to build an internal model of the environment. This model allows the agent to predict the consequences of its actions before actually taking them, enabling a more planned and strategic approach. (モデルベースの強化学習では、エージェントは環境の内部モデルを構築しようとする。このモデルによって、エージェントは実際に行動を取る前にその結果を予測でき、より計画的・戦略的なアプローチが可能になる)

Model-free reinforcement learning, on the other hand, doesn't rely on building an explicit model of the environment. Instead, it focuses on directly learning the optimal policy by associating actions with values based on the rewards received. (一方でモデルフリーの強化学習は、環境の明示的なモデルを構築することに頼らない。代わりに、受け取った報酬にもとづいて行動と価値を結びつけることで、最適な方策を直接学習することに重点を置く)

記事はこの違いを、迷路を学習するロボットの例で説明している。モデルベースのエージェントは迷路のレイアウトの内部表現を作り、それを使って経路を計画し、実際に動く前に複数の行動とその予測結果をシミュレーションする。モデルフリーのエージェントは迷路全体を地図化する手間をかけず、過去の経験と報酬だけをもとに、特定の分岐点でどちらに曲がれば出口に近づきやすいかを学習していく。

代表的な4つの手法──Q学習・SARSA・DQN・方策勾配法

同記事は、迷路のロボットという同じ例を使って、代表的な4つの手法を紹介している。

• Q学習(Q-Learning): モデルフリーの手法。ロボットが探索しながら「カンニングペーパー」を作るイメージで、各分岐点(状態)ごとに、それぞれの曲がり方(行動)の「質のスコア(Q値)」を記録していく。試行錯誤の末、各分岐点で最も良いスコアの行動が分かるようになり、そのスコアを追うだけで出口にたどり着ける
• SARSA(State-Action-Reward-State-Action): Q学習とよく似ているが、より慎重な手法。常に最善の次の一手を仮定するのではなく、現在の方策に従って実際に取った行動をもとにカンニングペーパーを更新する。現在の方策に沿って学習することから「オンポリシー」の手法と呼ばれる
• DQN(Deep Q-Networks): 迷路が巨大で、取りうる状態がビデオゲームの画面のように膨大な場合、カンニングペーパー方式は現実的でなくなる。DQNはカンニングペーパーの代わりに深層ニューラルネットワークを使い、見たことのない状況でもQ値を推定できる「賢い関数」として機能する。記事はこの方式について、DeepMindのAIがAtariのゲームをプレイする学習に使われた手法だと説明している
• 方策勾配法(Policy gradient methods): より直接的なアプローチで、行動ごとの価値を学習する代わりに、どんな状況で何をすべきかの確率(たとえば「T字路では70%の確率で左に曲がるべき」)という一般的な方策を学習する。全体の結果が成功したかどうかにもとづいてこの確率を直接調整し、最終的な報酬を最大化するよう「直感」を徐々に磨いていく

どんな場面に向くか、利点と課題は何か

Google Cloudの解説記事は、強化学習が特に力を発揮する場面として、状態と行動の数が多い複雑な環境、データが相互作用を通じて生成される状況、累積報酬の長期的な最大化が重要になる目標の3つを挙げている。

利点と課題については、次のように整理されている。

Advantages of RL

• Can solve complex problems
• Adaptability
• Finds optimal solutions

(RLの利点: 複雑な問題を解決できる/適応性がある/最適な解を見つけられる)

Challenges of RL

• Can be data-intensive
• Reward design is crucial
• Safety concerns in real-world applications

(RLの課題: データを大量に必要としうる/報酬設計が極めて重要になる/実世界の応用では安全性への配慮が欠かせない)

課題のうち「報酬設計が極めて重要になる」という点について、記事は「RLの成功は、望ましい行動を正確に反映した報酬関数を設計できるかに大きく左右され、これは一部のタスクでは難しい場合がある」と説明している。後述するRLHFは、この「何を報酬にするか」の部分に人間の判断を使う手法で、OpenAIのChatGPT発表記事は、強化学習の報酬モデルを作るために、2つ以上の応答を人間のトレーナーが品質順に並べた比較データを集めたと説明している。

どこで使われているか──推薦システム・ゲームAI・ロボット制御

応用例として、記事は3つの領域を挙げている。1つ目は推薦システムで、クリックや購入、視聴時間といったユーザーの反応を信号として扱い、推薦エンジンを最適化する用途が説明されている。2つ目はゲーム開発で、記事は次のように書いている。

Notable examples include AlphaGo and AlphaZero, created by DeepMind, which showcased the power of RL by reaching top-level performance in games like chess. (代表的な例として、DeepMindが開発したAlphaGoとAlphaZeroが挙げられる。これらはチェスのようなゲームでトップレベルの性能に達することで、RLの力を示した)

3つ目はロボット制御で、物をつかむ・効率よく移動するといった望ましい行動に報酬を与えることで、製造業・物流・医療(手術や患者ケアの補助)といった分野でのタスク自動化に応用しうるとされている。

なお同記事は末尾で、Google Cloud自身の製品として「Gemini Enterprise Agent Platform」(モデルの構築・訓練・管理を一元化するML基盤と説明されている)と「Google Kubernetes Engine(GKE)」(コンテナ化したエージェントをスケーラブルに動かす基盤と説明されている)を紹介している。これは同記事の中でGoogle Cloudが自社製品を紹介している節の記述であり、本記事はこの製品説明の妥当性そのものは検証していない。

ここがLLMニュースにつながる──ChatGPTとAnthropic論文のRLHF

Google Cloudの解説記事自体は、RLHFやChatGPT、Claude、Anthropicのいずれにも触れていない。本記事が取得したHTML全体を「RLHF」「human feedback」「ChatGPT」「Claude」「Anthropic」「OpenAI」の6語で検索し、いずれも0件だった。この橋渡しの部分は、OpenAIとAnthropicがそれぞれ公開した一次資料をもとに、本記事が別途確認した内容になる。

OpenAIは2022年11月30日に公開したChatGPT発表記事で、学習方法についてこう説明している。

We trained this model using Reinforcement Learning from Human Feedback (RLHF), using the same methods as InstructGPT, but with slight differences in the data collection setup. (私たちはこのモデルを、Reinforcement Learning from Human Feedback(RLHF、人間のフィードバックからの強化学習)を使って訓練した。手法はInstructGPTと同じだが、データ収集の設定にわずかな違いがある)

同記事は、ChatGPTを「InstructGPTのきょうだいモデル」とも説明している。このInstructGPTについて、OpenAIの研究者らが2022年3月4日にarXivへ提出した論文「Training language models to follow instructions with human feedback」のアブストラクトは、次のように手法を説明している。

We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. (次に、モデルの出力に順位を付けたデータセットを収集し、これを使って、教師あり学習で訓練済みのモデルを、人間のフィードバックからの強化学習でさらにファインチューニングする。こうして得られたモデルをInstructGPTと呼ぶ)

つまりOpenAI側の一次資料をたどると、ChatGPTは「人間が複数の応答候補に順位を付けたデータ」を報酬の手がかりにして強化学習でファインチューニングされたモデル、というつながりになる。ChatGPT発表記事自体も、この比較データから報酬モデルを作り、Proximal Policy Optimization(PPO)でモデルをファインチューニングしたと書いている。Google Cloudの解説記事が説明していた「報酬」「方策」「エージェント」という語彙に本記事が当てはめると、「エージェント」はChatGPT自身、「報酬」は人間による順位付けから作られる信号にあたる。

Claudeを開発するAnthropicも、2022年4月12日にarXivへ提出した論文「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」で、同じ手法をこう説明している。

We apply preference modeling and reinforcement learning from human feedback (RLHF) to finetune language models to act as helpful and harmless assistants. (私たちは、選好モデリングと人間のフィードバックからの強化学習(RLHF)を適用し、言語モデルを「helpful and harmless」なアシスタントとして振る舞うようファインチューニングする)

arXiv版(v1)のPDFは1ページ目の所属をAnthropicと表記し、著者31人の中にはDario Amodei氏やJared Kaplan氏らの名前がある。一方で、同じPDFの本文を「Claude」で検索すると0件で、この論文はClaudeという製品名を出していない。本記事が確認できたのは「AnthropicがRLHFという手法を、helpful and harmlessなアシスタントの訓練に使うと自ら報告している」という一次資料としての事実までで、現在のClaudeの学習パイプラインがこの2022年論文の手法とどこまで同じか、あるいはどう変わっているかは、本記事では確認していない。

Google Cloudの解説・OpenAIの記事・2022年論文それぞれの限界

• Google Cloudの解説記事には、公開日・更新日を示す記述が見当たらなかった。curlで取得したHTML全体で、datePublished・dateModifiedにあたる構造化データや「Last updated」「Updated」に類する文字列を探したが、いずれもヒットしなかった。ページ側に日付情報が無いのか、本記事の探し方が届いていないだけなのかは切り分けられていない
• OpenAIのChatGPT発表記事のURL(https://openai.com/index/chatgpt/、および元記事のURLであるhttps://openai.com/blog/chatgpt)は、直接curlすると本記事の確認時点でいずれも403が返った。本文はInternet ArchiveのWayback Machineのアーカイブで確認した。旧URLの2023年1月1日時点のアーカイブ(https://web.archive.org/web/20230101000602/https://openai.com/blog/chatgpt/)では、題が「ChatGPT: Optimizing Language Models for Dialogue」、JSON-LDのdatePublishedが2022-11-30T18:00:07.000Z。現URLの2026年9月22日時点のアーカイブでは題が「Introducing ChatGPT」に変わっているが、日付表記「November 30, 2022」と、本記事が引用したRLHFの一文は同じだった
• Anthropicの2022年論文はRLHFという手法名と用途(helpful and harmlessなアシスタントの訓練)を報告しているが、論文はClaudeという製品名を出しておらず、現行のClaudeの学習方法を直接説明したものではない。Anthropicが現在のClaudeの学習について何を公表しているかは、本記事では別途確認していない
• Q学習・SARSA・DQN・方策勾配法の4手法は、Google Cloudの解説記事が挙げている説明をそのまま整理したものであり、それぞれの原論文までは本記事では確認していない
• 「AlphaGoとAlphaZeroがチェスのようなゲームでトップレベルの性能に達した」という記述は、Google Cloudの解説記事の文言をそのまま訳したものである。この一文の妥当性そのもの(たとえば各モデルの対象ゲームの違い)は、本記事では検証していない

約2MBのHTMLのどこに本文があったか

筆者がGoogle Cloudのページをそのままcurlで取得すると、約2MBのHTMLが返った。<meta name="description">には「Reinforcement learning is a ML method that teaches software to make the best choices through trial and error.」という短い説明文が入っているが、本文の定義文をそのまま文字列検索しても見つからなかった。定義文の「machine learning」の部分がリンクタグで囲まれていて、文字列が途中で切れているためだ。ファイルの前半およそ7割は、インラインのCSS(<style>タグ、約1.4MB)が占めていた。実際の本文テキストは、同じHTMLファイルの中に2か所含まれていた。1か所目はファイルの後半(取得したファイルのおよそ73%地点)に、事前レンダリングされたHTMLの断片として。2か所目はさらに後ろ(およそ97%地点)に、同じ内容がUnicodeエスケープされたJSON文字列として埋め込まれていた。本記事の引用は、1か所目の事前レンダリングHTMLから、タグを除去して読めるようにしたテキストを出典としている。

4つの出典をどう取得したか

• What is reinforcement learning (RL)? | Google Cloud — https://cloud.google.com/discover/what-is-reinforcement-learning(本文全体を`curl`で取得し、前述の方法でテキストを抽出して確認した。公開日・更新日の記載は見当たらなかった)
• Introducing ChatGPT | OpenAI(公開時の題は「ChatGPT: Optimizing Language Models for Dialogue」) — https://openai.com/index/chatgpt/(直接のcurlは403。Wayback Machineのアーカイブ版で本文を確認。JSON-LDのdatePublishedは2022-11-30)
• Training language models to follow instructions with human feedback(InstructGPT論文) — https://arxiv.org/abs/2203.02155(arXivのアブストラクトページをcurlで取得。2022年3月4日提出、著者Long Ouyangほか)
• Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback(Anthropic) — https://arxiv.org/abs/2204.05862(arXivのアブストラクトページとv1のPDFをcurlで取得。2022年4月12日提出、著者はYuntao Baiほか計31人)

いずれも2026年9月25日(日本時間)に、上記の方法で取得・確認した内容にもとづく。

本記事が扱ったのは強化学習の基本語彙と、OpenAIがChatGPTの訓練にRLHFを使ったと明記し、Anthropicの研究者らも2022年の論文で同じ手法を報告しているという一次資料上の事実までで、報酬モデルの具体的な訓練データや、Constitutional AIなどRLHF以降にAnthropicが公表してきた手法の詳細には踏み込んでいない。その先の具体的な仕組みは、一次資料の確認が進み次第、別記事で扱う。

関連記事

• ニューラルネットワークとは何か──仕組みの基礎とAIモデル記事への入口
• ディープラーニングとは何か──機械学習・ニューラルネットワークとの関係を一次資料で整理する
• 「Agentic ESOpt」とは何か──強化学習ではなく「進化戦略」でエージェントを鍛える、GPUに優しいやり方
• 「WarpSAC」とは何か──ロボットの荷物運びタスクの成功率を19.8%から96.4%に押し上げた強化学習の作法
• AIの「アライメント問題」とは何か──専門記事を読む前に、3つの一次資料で押さえておく基礎
• 拡散モデルの強化学習「DiffusionOPSD」とは何か──GPU時間を最大63%削って画質を上げる自己蒸留の作法