统计第4讲：估计（标准误、偏差、均方误差）| Estimation (SE, Bias, MSE)

💡

1. 样本均值与标准误（Sample Mean & Standard Error）

设 $X_1, X_2, ..., X_n$ 为从均值为 $\mu$ 、方差为 $\sigma^2$ 的总体中随机抽取的样本，则：

\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i

为样本均值（Sample Mean）。它是总体均值 $\mu$ 的无偏估计（Unbiased Estimator）：

E(\bar{X}) = \mu

样本均值的标准差称为标准误：

\text{SE} = \sqrt{\text{Var}(\bar{X})} = \frac{\sigma}{\sqrt{n}}

实际中常用样本标准差 $s$ 近似：

\text{SE} \approx \frac{s}{\sqrt{n}}, \quad s^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2

例子：

若总体 $\sigma=5$ ，样本量 $n=25$ ，则：

$\text{SE} = \frac{5}{\sqrt{25}} = 1$
表示样本均值
$\bar{X}$ 与真实均值 $\mu$ 的典型距离约为1。

设真实参数为 $w$ ，但测量值存在系统性偏差 $b$ ：

X_i = w + b + \epsilon_i, \quad \epsilon_i \sim (0, \sigma^2)

则样本均值的期望为：

E(\bar{X}) = w + b

此时
$\bar{X}$ 是 $w$ 的有偏估计（Biased Estimator），偏差为：

\text{Bias} = E(\bar{X}) - w = b

衡量估计量整体性能的指标：

\text{MSE} = E\left[ (\bar{X} - w)^2 \right] = \frac{\sigma^2}{n} + b^2

可分解为：

\text{MSE} = \text{SE}^2 + \text{Bias}^2

例子：

若 $\sigma=2$ , $n=100$ , $b=0.5$ ，则：

$\text{MSE} = \frac{2^2}{100} + 0.5^2 = 0.04 + 0.25 = 0.29$

对任意参数 $\theta$ 和其估计量 $\hat{\theta}$ ：

\text{MSE} = E\left[ (\hat{\theta} - \theta)^2 \right] = \text{SE}^2 + \text{Bias}^2

关键结论：

当样本量 $n \to \infty$ 时，SE项 $\frac{\sigma^2}{n} \to 0$ ，但偏差项 $b^2$ 保持不变，因此：

\lim_{n \to \infty} \text{MSE} = b^2