過学習とは
過学習(オーバーフィッティング)とは、AI(人工知能)の機械学習において、コンピュータが手元の訓練データを過剰に学習してしまい、そのデータに対しては完璧に答えられるものの、新しく入力された未知のデータに対しては正しく予測できなくなってしまう現象です。
これは、学習用データの細かなノイズや例外的なクセまで丸暗記してしまい、本質的なルールを見失ってしまうことで起こります。人間で例えるなら、「過去の試験問題の数字をそのまま丸暗記したため、数字が少し変わった本番の試験問題が解けなくなってしまった」という状態に似ています。過学習を防ぐためには、学習データを十分に増やすことや、モデルを複雑にしすぎないように制限をかける工夫が必要です。
具体例
犬の画像を判定するAIを作る際、学習用データに「芝生の上で走っている犬」の画像ばかりを使ったとします。AIが過学習を起こすと、「芝生が写っていること」を犬の重要な特徴として覚えてしまうため、室内のフローリングでくつろいでいる犬の画像を見せても「犬ではない」と誤判定してしまうようになります。
もう少し詳しく
過学習が発生する背景には、「モデルの複雑さ」と「データの量・質」のアンバランスがあります。表現力が高い(パラメータ数が多すぎる)複雑なモデルを使用すると、学習データの微細なばらつき(ノイズ)にまで完璧に適合してしまい、モデルがぐにゃぐにゃと歪んだ境界線を描くようになります。過学習を防ぐための代表的なアプローチには、「正則化(L1/L2正則化)」があります。これは、モデルのパラメータが大きくなりすぎないようにペナルティを与えることで、境界線を滑らかに保つ手法です。また、ニューラルネットワークにおいて一部の接続をランダムに無効化しながら学習する「ドロップアウト」や、学習の進捗を監視して誤差が下がらなくなったら途中で学習を打ち切る「早期終了(アーリーストッピング)」などの工夫も広く使われています。
試験でのポイント
シラバスや試験問題では、過学習(オーバーフィッティング)の概要に加え、それを検知・対策するための手法について問われます。具体的には、手元のデータを「学習用」と「検証用」に分割して精度を測定する「交差検証(クロスバリデーション)」の仕組みを理解しているかが重要です。また、過学習とは逆の現象である、モデルの表現力が低すぎて学習データすら十分に学習できない「学習不足(アンダーフィッティング)」とのトレードオフの関係(バイアスとバリアンスのトレードオフ)も重要な論点です。学習曲線のグラフ(横軸にエポック数、縦軸に損失)が示され、検証データの損失が上昇し始めるポイント(過学習が始まった時点)を読み取る問題に慣れておきましょう。
関連する用語
過学習に関連する用語としては、モデルが単純すぎてルールを学習しきれない「学習不足(アンダーフィッティング)」や、過学習を防ぐためのパラメータ制御技術である「正則化」があります。また、手元のデータを分割してモデルの評価を行う「交差検証(クロスバリデーション)」や、過学習の回避に効果的なアンサンブル学習の手法である「ランダムフォレスト」も密接に関連しています。