最小二乗法 回帰直線導出

最小二乗法とは，データ分布を最もよく表す関数 (回帰曲線) を求める方法で，具体的には実際のデータ $\{(x_i, y_i) | i=1, \cdots ,n \}$ と予測関数の値 $\{y_i=f(x_i) | i=1, \cdots ,n \}$ の差の二乗の総和 (残差平方和 Residual Sum of Squares)$$RSS=\displaystyle\sum_{i=1}^{n} \{y_i-(f(x_i )\}^2$$が最小になるような関数 $y=f(x)$ を求める方法です．

最も簡単な例として，回帰曲線が一次関数 $y=ax+b$ になる場合の$a$と$b$を求めてみます．この場合は，$$RSS=\displaystyle\sum_{i=1}^{n} \{y_i-(ax_i +b)\}^2$$の最小を考えることになります．

偏微分を使うのが簡単なのですが，高校までの知識なら平方完成を使います．他のサイトで紹介されている計算は複雑なものが多いのですが，残差の二乗の平均$$\frac{RSS}{n}=\frac{1}{n}\displaystyle\sum_{i=1}^{n} \{y_i-(ax_i +b)\}^2$$を計算することで，よりシンプルに求めることができます．ここで，$\overline{x}$ は $x$ の平均を表します．

\begin{eqnarray}
\frac{RSS}{n}&=&\frac{1}{n} \displaystyle\sum_{i=1}^{n} (y_i^2+a^2x_i ^2+b^2-2ax_iy_i+2abx_i-2by_i )\\&=&\overline{y^2}+a^2\overline{x^2}+b^2-2a\overline{xy}+2ab\overline{x}-2b\overline{y}\tag{1}\\&=&b^2+2(a\overline{x}-\overline{y})b+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2-(a\overline{x}-\overline{y})^2+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2-a^2\overline{x}^2+2a\overline{x}\cdot\overline{y}-\overline{y}^2+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2+\left(\overline{x^2}-\overline{x}^2\right)a^2+2(\overline{x}\cdot\overline{y}-\overline{xy})a+\overline{y^2}-\overline{y}^2
\end{eqnarray}

ここで，$\overline{x^2}-\overline{x}^2=s_x^2$ ($x$の分散)，$\overline{xy}-\overline{x}\cdot\overline{y}=s_{xy}$ ($x$と$y$の共分散) なので，

\begin{eqnarray}
\frac{RSS}{n}&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2a^2-2s_{xy}a+s_y^2\\&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2\left(a^2-2\frac{s_{xy}}{s_x^2}a\right)+s_y^2\\&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2\left(a-\frac{s_{xy}}{s_x^2}\right)^2-\frac{s_{xy}^2}{s_x^2}+s_y^2
\end{eqnarray}

以上より，$a$と$b$が次の値のときに$\frac{RSS}{n}$の値が最小になる，すなわち$RSS$の値が最小になるということが分かりました．$$a=\frac{s_{xy}}{s_x^2}，　b=\overline{y}-a\overline{x}$$ 因みに，$x$と$y$の相関係数は $r=\frac{s_{xy}}{s_x s_y}$ なので，$a=\frac{s_y}{s_x}r$ とも表すことができます．（2026年現在の高校数学Bの教科書ではこちらの方が書かれています）

◇

高校では未習ですが，式$(1)$を$a$，$b$で偏微分して$=0$とおいた2式を連立させれば，容易に上の解を得ることができます．

                                             $a$で偏微分　　$2a\overline{x^2}-2\overline{xy}+2b\overline{x}=0$

                                             $b$で偏微分　　$2b+2a\overline{x}-2\overline{y}=0\ $      

＜簡単な例＞

データ　$A (2, 3)，B (4, 7)，C (9, 11)$

$ \overline{x} = 5，\overline{y} = 7，s_x^2 = \frac{26}{3}，s_{xy}=\frac{ 28}{3}，a = \frac{s_{xy}}{s_x^2}= \frac{14}{13}，b = \overline{y} - a \overline{x} = \frac{21}{13}$

回帰直線は　$ y = \frac{14}{13}x + \frac{21}{13}$