最小二乗法とは，データ分布を最もよく表す関数 (回帰曲線) を求める方法で，具体的には実際のデータ $\{(x_i, y_i) | i=1, \cdots ,n \}$ と予測関数の値 $\{y_i=f(x_i) | i=1, \cdots ,n \}$ の差の二乗の総和 (残差平方和 Residual Sum of Squares)$$RSS=\displaystyle\sum_{i=1}^{n} \{y_i-(f(x_i )\}^2$$が最小になるような関数 $y=f(x)$ を求める方法です．
最も簡単な例として，回帰曲線が一次関数 $y=ax+b$ になる場合の$a$と$b$を求めてみます．この場合は，$$RSS=\displaystyle\sum_{i=1}^{n} \{y_i-(ax_i +b)\}^2$$の最小を考えることになります．
偏微分を使うのが簡単なのですが，高校までの知識なら平方完成を使います．他のサイトで紹介されている計算は複雑なものが多いのですが，残差の二乗の平均$$\frac{RSS}{n}=\frac{1}{n}\displaystyle\sum_{i=1}^{n} \{y_i-(ax_i +b)\}^2$$を計算することで，よりシンプルに求めることができます．ここで，$\overline{x}$ は $x$ の平均を表します．
\begin{eqnarray}
\frac{RSS}{n}&=&\frac{1}{n} \displaystyle\sum_{i=1}^{n} (y_i^2+a^2x_i ^2+b^2-2ax_iy_i+2abx_i-2by_i )\\&=&\overline{y^2}+a^2\overline{x^2}+b^2-2a\overline{xy}+2ab\overline{x}-2b\overline{y}\tag{1}\\&=&b^2+2(a\overline{x}-\overline{y})b+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2-(a\overline{x}-\overline{y})^2+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2-a^2\overline{x}^2+2a\overline{x}\cdot\overline{y}-\overline{y}^2+a^2\overline{x^2}-2a\overline{xy}+\overline{y^2}\\&=&\{b+(a\overline{x}-\overline{y})\}^2+\left(\overline{x^2}-\overline{x}^2\right)a^2+2(\overline{x}\cdot\overline{y}-\overline{xy})a+\overline{y^2}-\overline{y}^2
\end{eqnarray}
ここで，$\overline{x^2}-\overline{x}^2=s_x^2$ ($x$の分散)，$\overline{xy}-\overline{x}\cdot\overline{y}=s_{xy}$ ($x$と$y$の共分散) なので，
\begin{eqnarray}
\frac{RSS}{n}&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2a^2-2s_{xy}a+s_y^2\\&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2\left(a^2-2\frac{s_{xy}}{s_x^2}a\right)+s_y^2\\&=&\{b+(a\overline{x}-\overline{y})\}^2+s_x^2\left(a-\frac{s_{xy}}{s_x^2}\right)^2-\frac{s_{xy}^2}{s_x^2}+s_y^2
\end{eqnarray}
以上より，$a$と$b$が次の値のときに$\frac{RSS}{n}$の値が最小になる，すなわち$RSS$の値が最小になるということが分かりました．$$a=\frac{s_{xy}}{s_x^2}， b=\overline{y}-a\overline{x}$$ 因みに，$x$と$y$の相関係数は $r=\frac{s_{xy}}{s_x s_y}$ なので，$a=\frac{s_y}{s_x}r$ とも表すことができます．（2026年現在の高校数学Bの教科書ではこちらの方が書かれています）
◇
高校では未習ですが，式$(1)$を$a$，$b$で偏微分して$=0$とおいた2式を連立させれば，容易に上の解を得ることができます．
$a$で偏微分 $2a\overline{x^2}-2\overline{xy}+2b\overline{x}=0$
$b$で偏微分 $2b+2a\overline{x}-2\overline{y}=0\ $
＜簡単な例＞
データ $A (2, 3)，B (4, 7)，C (9, 11)$
$ \overline{x} = 5，\overline{y} = 7，s_x^2 = \frac{26}{3}，s_{xy}=\frac{ 28}{3}，a = \frac{s_{xy}}{s_x^2}= \frac{14}{13}，b = \overline{y} - a \overline{x} = \frac{21}{13}$
回帰直線は $ y = \frac{14}{13}x + \frac{21}{13}$
