原因となる変数が1つの場合を「単回帰分析」、複数の変数を組み合わせて予測する場合を「重回帰分析」と呼びます。回帰分析において回帰直線(予測式)を決定する際、一般的に「最小二乗法」という数学的アルゴリズムが用いられます。これは、実際のデータポイントと、予測するための直線との間にあるズレ(誤差)を2乗して足し合わせた合計が最も小さくなるように、直線の傾きと切片を算出する手法です。作成されたモデルが実際のデータにどれくらい当てはまっているか(予測精度)は、「決定係数(R^2)」という指標で評価され、この値が1に近いほど予測モデルとして優秀だと判断されます。現代のAI開発において、ディープラーニングを含む「教師あり学習」アルゴリズムの多くは、根本的にはこの回帰分析の拡張や応用であり、データサイエンスにおける最も重要な基礎知識の一つと言えます。
「複数の変数間の関係から予測式を求め、結果を予測する手法はどれか」という用途を問う知識問題がよく出題されます。他の分析手法(主成分分析、クラスター分析など)の定義と混同しないように区別しておくことが重要です。また、「原因となる変数を説明変数、結果となる変数を目的変数と呼ぶ」ことや、散布図の上に直線を引いてデータの傾向を示す線が「回帰直線」であることなど、専門用語の意味を正確に覚えておく必要があります。少し難しい応用問題として、最小二乗法の概念に関する簡単な記述が含まれることもあります。
最小二乗法、重回帰分析、機械学習