最小二乘法作为一种常见的数学优化方法，其核心思想是通过对残差平方和的最小化来进行估计。这里我们将对线性条件下的最小二乘做相关说明与介绍，即 Ordinary Least Square(OLS) 普通最小二乘

线性回归

我们通过一个线性回归的例子来引入介绍OLS。这里有一组数据样本：(1,1)、(2,5)、(3,6)，我们假设数据样本x、y之间呈线性关系，即我们期望采用一元线性回归模型( y=ax+b )来确定X、Y之间的具体函数关系。现在我们来将样本数据带入上述模型

$\begin{cases} a + b = 1 \\ 2a + b = 5 \\ 3a + b = 6 \\ \end{cases}$

我们的目的是期望通过确定参数a、b,进而确定x、y之间的函数关系。但是问题显然没有这么简单，由于多了一个样本数据致使方程组变为超定的，我们显然是无法直接求解该方程组的。那么现在我们换个思路，既然我们无法找出一条直线来满足所有给定的数据样本点，那么我们能不能找到一条直线，使得其与各个样本点之间的残差和最小？答案是肯定的，虽然这条直线不能保证经过全部的样本点，但一般可以很好地描述出x、y之间的关系。由于残差的正负问题需要添加绝对值，然而在实际计算中绝对值不好处理，故干脆直接对残差进行平方来保证非负性。其实这就是最小二乘的思想——通过对残差平方和的最小化来进行估计

$S = \sum_{i=1}^{n} (\hat{y_i} - y_i)^2$

则当S最小时，参数a、b即为我们所求的值，即

$\mathop{\arg\min}\limits_{a,b} \sum_{i=1}^{n} (\hat{y_i} - y_i)^2 = \mathop{\arg\min}\limits_{a,b} \sum_{i=1}^{3} (ax_i+b-y_i)^2$

根据样本数据有

$S = (a+b-1)^2 + (2a+b-5)^2 + (3a+b-6)^2$

根据极值理论我们知道，当S取极值时，S对a和b的偏导均为0，故有

$\begin{cases} \frac{\partial S}{\partial a} = 2(a+b-1) + 2 \cdot 2(2a+b-5) + 2 \cdot 3(3a+b-6) = 0 \\ \frac{\partial S}{\partial b} = 2(a+b-1) + 2(2a+b-5) + 2(3a+b-6) = 0 \\ \end{cases}$

现在关于a、b的方程组是一个适定方程组，这样我们就可以直接解出参数a、b了

$\begin{cases} a = 2.5 \\ b = -1 \end{cases}$

矩阵形式

通过上面一元线性回归的例子，我们基本了解了OLS的核心思想以及具体的计算方法。这里，我们将会给出OLS在矩阵形式下的一般通解。首先同样以上面的一元线性回归为例来进行介绍，只不过这里我们将样本数据由原来的3个变为n个，则有如下的线性方程组

$\begin{cases} ax_1 + b = y_1 \\ ax_2 + b = y_2 \\ ax_3 + b = y_3 \\ \cdots \\ ax_n + b = y_n \\ \end{cases}$

我们将其改写为矩阵形式

$\begin{bmatrix} x_1 & 1 \\ x_2 & 1 \\ x_3 & 1 \\ \vdots & \vdots \\ x_n & 1 \\ \end{bmatrix} \begin{bmatrix} a \\ b \\ \end{bmatrix} =\begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ \vdots \\ y_n \\ \end{bmatrix}$

这里我们令

$X = \begin{bmatrix} x_1 & 1 \\ x_2 & 1 \\ x_3 & 1 \\ \vdots & \vdots \\ x_n & 1 \\ \end{bmatrix}, \beta = \begin{bmatrix} a \\ b \\ \end{bmatrix}, Y = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ \vdots \\ y_n \\ \end{bmatrix}$

则上面的矩阵即转化为:

$X \cdot \beta = Y$

在上文线性回归的例子中，我们说到OLS是通过残差平方和进行衡量的。故在矩阵形式中，我们的目标是找到一个向量$\beta$，使得 $X \cdot \beta - Y$的欧几里得范数最小

即

我们知道对标量转置的结果依然是其本身，由于 $\beta^\mathrm{T} \cdot X^\mathrm{T} \cdot Y$ 是一个标量，有

$\beta^\mathrm{T} \cdot X^\mathrm{T} \cdot Y = ( Y^\mathrm{T} \cdot X \cdot \beta )^\mathrm{T} = Y^\mathrm{T} \cdot X \cdot \beta$

故

$S = \beta^\mathrm{T} \cdot X^\mathrm{T} \cdot X \cdot \beta - 2 \cdot Y^\mathrm{T} \cdot X \cdot \beta + Y^\mathrm{T} \cdot Y$

同样地，我们对 $\beta$ 求偏导

再做进一步简化之前，先介绍两个常用的矩阵公式

$\begin{cases} \frac{\partial (x^\mathrm{T} \cdot a) }{\partial x} = \frac{\partial (a^\mathrm{T} \cdot x) }{\partial x} = a \\ \frac{\partial (x^\mathrm{T} \cdot B \cdot x) }{\partial x} = (B + B^\mathrm{T}) \cdot x \end{cases}$

则上式子可进一步化简为