19.3. 拟合思想#
拟合思想是目前大部分机器学习模型，乃至深度学习模型，参数（或权重）的学习本质上就是给定一个复杂的模型框架，使其尽可能贴合数据，这就是拟合。在数理统计中，最小二乘估计是利用拟合思想来构造的估计方法。在后续的课程中，我们将详细地介绍最小二乘估计。这里我们介绍一个简单的例子。
Example 19.4
总体分布 \(X\sim N(\mu,1)\) ，而 \(x_1,x_2,\cdots,x_n\) 是样本。我们想要估计 \(\mu\) 。因为 \(\mu\) 是总体分布的期望，每一个样本 \(x_1,x_2,\cdots,x_n\) 都在 \(\mu\) 附近波动。我们想要找到一个实数 \(c\) 与这些样本最接近。于是，我们需要定义一个损失函数
\[\begin{split}
l(c) = \sum_{i=1}^n g(|x_i - c|) = \sum_{i=1}^n |x_i - c|^{k} =\left\{
\begin{aligned}
&\sum_{i=1}^n |x_i - c|^2 , &\text{如果 $k=2$ };\\
&\sum_{i=1}^n |x_i - c| , &\text{如果 $k=1$ }.
\end{aligned}
\right.
\end{split}\]
拟合思想促使我们所得到的估计为
\[
\hat{\mu} = \arg\min_{c} l(c).
\]
当 \(k=2\) 时，则损失函数定义为 \(l(c) = \sum_{i=1}^n (x_i-c)^2\) 。我们需要求 \(l(c)\) 的最小值点，则对 \(l(c)\) 求导，即
\[
\frac{\partial l(c)}{\partial c} = -2 \sum_{i=1}^n (x_i-c).
\]
令 \(\frac{\partial l(c)}{\partial c} = 0\) 。所以，
\[
c = \frac{1}{n} \sum_{i=1}^n x_i = \bar{x}.
\]
因此，我们通常称 \(\bar{x}\) 为 \(\mu\) 的最小二乘估计。
Question
当 \(k=1\) 时，则损失函数定义为 \(l(c) = \sum_{i=1}^n |x_i-c|\) 。通过最小化 \(l(c)\) 可以得到最小一乘估计。这个最小一乘估计是什么？