口下手エンジニアの悪あがき

自動車エンジニアのつぶやき

単回帰分析の基本(公式まとめ)

単回帰分析について、基本式を整理と、問題に対する解き方の流れを

書いておきたいと思います。

 

 お題

特性 x と、特性 yn 組のデータについて、関係性を示したい。

 

目的変数 y 、説明変数 x としたら、回帰式は

y=\beta_0 +\beta_1 x

で表される。この回帰式の係数(回帰母数)を求めていきます。

何はともあれ、平方和を求めなければ始まりません。

S_{xx}=\displaystyle \sum_{i=0}^n (x_i-\bar{x})^2=\sum_{i=0}^n x_i^2-\frac{1}{n}(\sum_{i=0}^n x_i)^2=(xそれぞれの二乗の総和)-\displaystyle \frac{1}{n}(xのすべての総和の二乗)

S_{yy}=\displaystyle \sum_{i=0}^n (y_i-\bar{y})^2=\sum_{i=0}^n y_i^2-\frac{1}{n}(\sum_{i=0}^n y_i)^2

 S_{xy}=\displaystyle \sum_{i=0}^n (x_i-\bar{x})(y_i-\bar{y})=\sum_{i=0}^n x_iy_i-\frac{1}{n}(\sum_{i=0}^n x_i)(\sum_{i=0}^n y_i)

問題に平方和が与えられていなければ、電卓でゴリゴリ計算していきましょう。

電卓をすばやく、正確に打ち込むには慣れがいると思いますので、

マイ電卓を用意して、ある程度練習することをお勧めします。

 

そして回帰式の係数(回帰母数)である \beta_0,\beta_1  を算出します。

一次関数の傾きにあたる \beta_1\hat{\beta_1} は、

\displaystyle \hat{\beta_1}=\frac{S_{xy}}{S_{xx}}

一次関数の切片にあたる \beta_0\hat{\beta_0} は、回帰式が、

\bar{y}=\hat{\beta_0}+\hat{\beta_1}\bar{x} が成立することから、

\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}

を計算することで求まる。

 

標本相関係数r=\displaystyle \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}

⇒-1~+1までの値をとって、1に近ければ右肩上がりの直線状に分布し、

 強い正の相関がある。-1に近いければ、右下がりの直線状に分布しており、

 強い負の相関があるという。

 

 寄与度:[tex: \displaystyle R^2=r^2  ( = \frac{S_R}{S_T}=\frac{\frac{S_{xy}^2}{S_{ss}}}{S_{yy}})]

⇒0~1の範囲の値をとり、回帰式にどの程度の意味があるかを表す尺度。

 

<無相関の検定をする場合>

検定統計量t_0=\displaystyle \frac{r\sqrt{n-2}}{\sqrt{1-r^2}}

棄却域t_0 \ge t(n-2,\alpha)

 

<分散分析する場合>

S_R=\displaystyle \frac{S_{xy}^2}{S_{xx}} (単回帰ならば必ず1)

S_T=S_{yy}

\phi_R=1\\ \phi_T=n-1\\ \phi_e=\phi_T-\phi_R=\phi_T-1

 

これくらい流れを知っていたら、だいたい解けるんじゃなかなと思います。