機械学習の基礎と評価

機械学習は、データからパターンや規則を学習し、未知のデータに対する予測や分類を行う技術である。学習の目的は訓練に用いたデータへの適合ではなく、未知のデータにも通用する性能を得ることにあり、その評価の仕方と学習方式の区別が試験で繰り返し問われる。

過学習の仕組みと対処

過学習とは、学習に使った訓練データに対しては高い精度を示す一方で、未知のデータに対しては精度が下がる状態である。 未知のデータに対する性能は汎化性能と呼ばれ、過学習はこの汎化性能が損なわれた状態として捉えられる。モデルが訓練データの細部や偶然の偏りまで覚えてしまうことが原因であり、モデルを複雑にするほど過学習が悪化することがある。

対処として、訓練データに加工を施して訓練データの量を増やすことは、過学習を抑える方法の一つである。 一方で、訓練データをテストデータにも使うと、未知のデータへの性能を適切に評価できない。 過学習を疑う場合には、評価用のデータを学習と分けて保つことと、モデルの複雑さを抑えることが基本的な考え方になる。

評価の基準と偽陽性率

二クラス分類モデルの評価では、予測の誤りを種類ごとに区別して読むことが重要である。ROC曲線で用いられる偽陽性率は、実際には間違いであるデータを誤って正しいと予測した割合を指す。 偽陽性率は、実際に間違いであるデータを正しく間違いと判定できた割合である真陰性率と対になる指標であり、両者は分母が同じ「実際に間違いであるデータ」である点で整理して覚える必要がある。

一方、誤分類率は全データのうち誤って分類された割合であり、分母が偽陽性率とは異なる。 迷惑メールや不正検知のように、正常なデータを誤って異常と判定することの影響が大きい場面では、偽陽性率を確認して誤判定の頻度を評価する。