機械学習とは

人工知能（AI）は、人間が行う知的なふるまいをコンピュータによって実現するための技術分野である。

その一分野である機械学習では、観測されたデータに数学的なモデルを適合させることにより、予測や意思決定に必要な規則を学習する。

深層ニューラルネットワーク（深層ネットワーク）は、機械学習で用いられるモデルの一種である。

深層ニューラルネットワークを用いて、データから規則や特徴を学習する手法を深層学習という。

深層学習は、文章を別の言語へ変換する機械翻訳、画像の中から特定の物体を検出するコンピュータビジョン、デジタルアシスタントなどに用いられる音声認識といった、さまざまな用途で利用されている。

機械学習の手法は、大きく教師あり学習、教師なし学習、強化学習の3つに分けられる。

教師あり学習

教師あり学習では、入力データから予測結果である出力を求めるための対応関係をモデルによって表す。

モデルは関数として表すことができ、入力をモデルに与えて出力を計算する処理を推論という。

モデルには、入力だけでなくパラメータも含まれている。

パラメータの値が変わると、同じ入力を与えた場合でもモデルの出力は変化する。

モデルの訓練または学習とは、入力と出力の関係を適切に表せるように、パラメータを調整することである。

学習には、入力データとそれに対応する正解の出力を組み合わせた訓練データを用いる。

学習アルゴリズムは、モデルの予測結果が正解の出力に近づくように、パラメータを繰り返し調整する。

訓練データから入出力の関係を適切に学習できれば、正解が未知である新たな入力に対しても、妥当な出力を予測できると期待される。

このように、正解となる出力が与えられたデータから、入力と出力の対応関係を学習することが教師あり学習の特徴である。

教師なし学習

対応する正解や出力ラベルを持たない入力データからモデルを構築することを、教師なし学習という。

教師あり学習のように入力から正解の出力への対応関係を学ぶのではなく、データに含まれる構造や特徴を記述し、理解することを目的とする。

教師なし学習では、ラベルのない観測データの集合 $\{x_i\}$ を使用して学習を行う。

その目的は一つではなく、学習したデータと同様の新しいサンプルの生成、データの表現や変換、雑音の除去、欠損した情報の補完、データの圧縮など、多岐にわたる。

強化学習

強化学習（Reinforcement Learning：RL）では、環境の中で行動するエージェントという考え方を用いる。

エージェントは、各時間ステップにおいて環境の状態に応じた行動を選択する。

その行動によって環境の状態が変化し、エージェントには報酬が与えられることがある。

例えば、ビデオゲームでは、ゲームを環境、操作するキャラクターをエージェント、その動きを行動、獲得するスコアを報酬として捉えることができる。

金融取引では、金融市場を環境、仮想的なトレーダーをエージェント、資産の売買を行動、得られた利益を報酬として考えることができる。

行動によって生じる次の状態は、常に一意に決まるとは限らない。同じ状態で同じ行動を選択しても、異なる状態へ移る場合がある。

強化学習の目的は、エージェントが長期的に高い報酬を得られるような行動の選び方を学習することである。

ただし、報酬は行動の直後に得られるとは限らず、一定の時間が経過してから発生することもある。

そのため、どの行動が後の報酬にどの程度関係しているのかを判断する時間的報酬割当問題が生じる。

また、エージェントは、これまでの学習によって有効だと分かっている行動を選択するだけでなく、さらに良い行動を見つけるために未知の行動も試す必要がある。

このように、既に得られた知識を利用する活用と、新たな行動を試す探索のバランスを取る必要があることも、強化学習の特徴である。

この記事について

参考文献
・「深層学習を理解する I―教師あり学習とモデルの基礎―」Simon J. D. Prince 著、黒川利明 訳
・「深層学習を理解する II―教師なし学習・強化学習・倫理―」Simon J. D. Prince 著、黒川利明 訳


※本記事は、上記文献を参考にしつつ、筆者の理解に基づき整理したものである。

第1章　機械学習と深層学習の基礎