重回帰分析と教師あり機械学習

機械学習と多変量解析は本質的に同じ。

• 重回帰分析
  • 観測された事象から目的変数と説明変数の関係をモデル化する。
  • 目的変数 = a×説明変数1+b×説明変数2+c×説明変数3+d
• 機械学習
  • 大量のデータを読み込ませることで、人が教えることなくデータの特徴量を導き出す。
  • 機械学習により求められる特徴量は本質的に重回帰分析の係数に相当する。

時期的に、多変量解析(統計) << データマイニング < 機械学習。 要は多変量解析(統計)の理解がなければデータマイニング・機械学習の理解はおぼつかない。 多変量解析はExcelを使ったサンプルが多い。

Excelを使った重回帰分析のサンプル

Excelを使うと簡単に重回帰分析の実行結果を得られる。試しに実行してみる。
SNS広告(Seg.1)、Web広告(Seg.2)、口コミ広告(Seg.3)と売上実績(Sales)の関係が以下のようになっているとする。単位は無し。各広告手段の売上実績に対する寄与度をモデル化する。
つまり、Sales=a×Seg.1+b×Seg.2+c×Seg.3+d の係数(a,b,c,d) を求める。

回帰統計量

重回帰式 Sales=a×Seg.1+b×(Seg.2)+c×(Seg.3)+d の当てはまりの良さを表す統計量。
通常、重相関係数Rと重決定係数R²は説明変数の数が多いほど大きくなる傾向がある。
補正R²は説明変数の数を考慮した当てはまりの良さを表す。
そのため一般的に当てはまりの良さを見るためには補正R²を参照する。

分散分析表

回帰式の全ての係数が同時に0であることの分析。有意F値が0.05未満ならば、統計的に全ての係数が0でないといえる。
有意F値が0に近ければ近いほど重回帰式の信頼度は高いことを表す。

以下より、a=-0.133596092、b=0.315699216、c=0.14050611、d=-0.403573178。係数の符号が正の場合、説明変数と目的変数に正の相関があることがわかる。係数の符号が負の場合は負の相関。絶対値は相関の強さ。