強化学習（Reinforcement Learning：RL）は、エージェントが環境との相互作用を繰り返しながら、報酬を手掛かりとして行動の選び方を学ぶ枠組みである。

教師あり学習では、入力と正解の出力を組み合わせた訓練データを用いる。一方、強化学習では、エージェントが選んだ行動によって環境の状態が変化し、その結果として報酬が与えられる。この経験を重ねることにより、エージェントは長期的に高い報酬を得られる行動の選び方を学習する。

ここで重視されるのは、ある時点で得られる報酬だけではない。現在の行動が将来の状態や報酬にも影響するため、強化学習は一連の時間の流れを含む逐次的意思決定として扱われる。

1.4.1 強化学習の基本的な仕組み

強化学習は、主に次の要素によって構成される。

表1.4-1 強化学習の主な構成要素

要素	役割
環境	エージェントが相互作用する対象
エージェント	状態に応じて行動を選択する主体
状態	ある時点における環境の状況
行動	エージェントが選択できる働きかけ
報酬	行動の結果に対して与えられるスカラー値
方策	状態に応じて行動を選択するための規則

エージェントは、時刻 $t$ における状態 $s_t$ を基に行動 $a_t$ を選択する。環境はその行動を受けて次の状態 $s_{t+1}$ へ移り、エージェントに報酬 $r_{t+1}$ を返す。この過程を繰り返すことで、行動とその結果の関係を学習していく。

同じ状態で同じ行動を選んでも、常に同じ次の状態へ移るとは限らない。したがって、強化学習では、環境の変化を確率的なものとして扱う場合がある。

マルコフ決定過程

強化学習の問題は、一般にマルコフ決定過程（Markov Decision Process：MDP）を用いて表される。MDPは、次の要素から構成される（式1.4-1）。

ここで、$\mathcal{S}$ は状態の集合、$\mathcal{A}$ は行動の集合、$P$ は状態遷移の確率、$R$ は報酬を定める関数、$\gamma$ は将来の報酬をどの程度重視するかを調整する割引率である。

この表現により、「どのような状態で、どの行動を選ぶと、次の状態と報酬がどのように決まるか」を一つの枠組みとして整理できる。

1.4.2 将来の報酬を含めて行動を評価する

強化学習では、直後に得られる報酬だけを見て行動の良し悪しを判断すると、将来の結果を適切に評価できない場合がある。そこで、時刻 $t$ 以降に得られる報酬をまとめた収益（リターン）を用いる。

本記事では、収益を $G_t$ と表す。将来の報酬を割り引いて合計する場合、収益は次式で表される（式1.4-2）。

式（1.4-2）では、$\gamma$ の累乗を用いることで、時間的に遠い報酬ほど小さな重みを与えている。強化学習の目的は、一般に、この収益の期待値が大きくなるような方策を学習することである。

1.4.3 強化学習で生じる主な難しさ

時間的報酬割当問題

ある行動の影響がすぐに報酬として現れるとは限らない。複数の状態と行動を経た後に報酬が得られた場合、その結果にどの行動がどの程度貢献したのかを判断する必要がある。

このように、後から得られた報酬を、それ以前に選択した行動へ適切に結び付ける問題を時間的報酬割当問題という。

疎な報酬

環境によっては、多くの行動を選んでも報酬がほとんど得られず、特定の条件を満たしたときにだけ報酬が与えられることがある。このような報酬を疎な報酬という。

報酬が得られるまでに長い行動列が必要な場合、エージェントは、どの行動が望ましい結果につながるのかを見つけにくい。そのため、疎な報酬は探索と時間的報酬割当の両方を難しくする。

探索と活用のトレードオフ

エージェントは、これまでの経験から高い報酬を得られると分かっている行動を選ぶだけでなく、さらに良い行動がないかを調べる必要がある。

既に得られた知識を利用して行動することを活用、十分に試していない行動を選んで新たな情報を得ることを探索という。活用に偏ると、より良い行動を発見できない可能性がある。一方、探索に偏ると、既に分かっている有効な行動を十分に利用できない。この両者のバランスを取る必要があることを、探索・活用トレードオフという。

1.4.4 学校建物のエネルギー管理の例

教室を含む学校建物のエネルギー管理を、強化学習の枠組みで考える。ここでは、建物の設備運用を決める制御システムがエージェントとなり、建物とそのエネルギー管理システムが環境となる。

表1.4-2 学校建物のエネルギー管理における対応例

要素	学校建物のエネルギー管理における対応例
環境	学校建物とエネルギー管理システム
エージェント	設備の運用を決定する制御システム
状態	エネルギー消費や室内環境に関する情報
行動	空調などの設備運用を変更する操作
報酬	エネルギー消費、温熱快適性、室内空気質を反映した評価
方策	状態に応じて設備の操作を選ぶ規則

この例では、単にエネルギー消費を減らせばよいわけではない。建物を利用する人の快適性や室内空気質も考慮する必要がある。そのため、報酬には複数の目的を反映させ、エージェントがそれらのバランスを考慮した行動を学習できるようにする。

1.4.5 強化学習と深層学習の関係

強化学習は、行動を学ぶための枠組みであり、それ自体が深層学習を必須とするわけではない。

一方、状態や行動が複雑で、その組み合わせを個別に扱うことが難しい問題では、深層ニューラルネットワークを用いて、状態から行動を選ぶために必要な関係を近似できる。このように、強化学習と深層学習を組み合わせた手法を深層強化学習という。

本記事では強化学習の基本的な構成と課題に範囲を絞った。方策や行動の価値をどのように学習するか、また、深層ニューラルネットワークをどこに用いるかについては、後続の記事で詳しく扱う。

まとめ

強化学習では、エージェントが環境の状態に応じて行動を選び、その結果として得られる報酬を基に方策を学習する。

行動は直後の報酬だけでなく、将来の状態や報酬にも影響する。そのため、強化学習では収益を用いて長期的な結果を評価し、期待される収益が大きくなる行動の選び方を求める。

ただし、報酬が遅れて与えられる時間的報酬割当問題、報酬を得る機会が少ない疎な報酬、探索と活用のトレードオフなど、逐次的意思決定に特有の難しさがある。

強化学習は深層学習を用いなくても成立するが、複雑な状態や行動を扱う場合には深層ニューラルネットワークと組み合わせることができる。

この記事について

参考文献
・「深層学習を理解する I―教師あり学習とモデルの基礎―」Simon J. D. Prince 著、黒川利明 訳

・「深層学習を理解する II―教師なし学習・強化学習・倫理―」Simon J. D. Prince 著、黒川利明 訳

・「Multi-Agent Reinforcement Learning: A Review of Challenges and Applications」Lorenzo Canese、Gian Carlo Cardarilli、Luca Di Nunzio、Rocco Fazzolari、Daniele Giardino、Marco Re、Sergio Spanò 著、Applied Sciences、2021年

・「An Information-Theoretic Perspective on Intrinsic Motivation in Reinforcement Learning: A Survey」Arthur Aubret、Laetitia Matignon、Salima Hassas 著、Entropy、2023年

・「Reinforcement Learning-Based School Energy Management System」Yassine Chemingui、Adel Gastli、Omar Ellabban 著、Energies、2020年

（最終閲覧日：2026年10月12日）


※本記事は、上記文献を参考にしつつ、筆者の理解に基づき整理したものである。