機械学習と人工知能の基礎

機械学習とは、データからパターンや規則を学習し、未知のデータに対する予測や判断を行う技術であり、人工知能を実現する代表的な手段である。学習の方法には、正解を与えて学習させる教師あり学習と、正解を与えずにデータの構造を見つける教師なし学習があり、過学習への対策や評価の方法が実務上の要点となる。本単元では、学習の種類、過学習と評価、ディープラーニングと応用、AIのテストを整理する。

学習の種類と代表的な手法

教師あり学習は、入力と正解の組を使ってモデルを学習させる方法であり、分類や回帰がその代表である。回帰は入力から数値を予測するものであり、一般に正解となる数値データを用いる。 一方、教師なし学習は正解ラベルを使わずにデータの構造を見つける方法であり、データ同士の類似度に従って似たものを同じグループにまとめるクラスタリングが代表例である。 既存データのグループをもとに境界を学び、新しいデータの所属先を判定する分類は、正解を使う教師あり学習に属する。

過学習と汎化性能

過学習とは、訓練データに過度に適合したモデルが、未知のデータに対して予測性能を発揮できなくなる現象である。過学習への対策として、訓練データに加工を施して量を増やすデータ拡張が有効である。 一方で、モデルを複雑にすると訓練データへの適合が強まり、過学習が悪化することがある。 また、訓練データをテストデータとして評価に使うと、未知のデータへの性能を正しく見積もれないため、評価に使うデータは学習に使うデータと分けなければならない。

交差検証による評価

モデルの汎化性能を評価するために、データを複数のグループに分け、一部を学習に、残りを評価に使う方法が交差検証である。評価に使うグループを順番に入れ替えて学習と評価を繰り返し、その結果を平均することで汎化性能を見積もる。K分割交差検証では、各データが評価用として一度ずつ使われる。 正則化は損失関数に係数の大きさに応じたペナルティを加えてモデルの複雑さを抑える手法であり、アンサンブル学習は複数モデルの予測を組み合わせる手法である。これらは評価の手順ではないため、区別が必要である。