统计第8讲：最大似然估计量的大样本分布 | Large-Sample Distribution of MLEs

💡

一、渐近正态性 | Asymptotic Normality

1.1 基本定理

设 $\theta_n$ 为参数 $\theta \in \Theta \subset \mathbb{R}$ 的最大似然估计量 (Maximum Likelihood Estimator, MLE)，基于独立同分布 (iid) 样本 $X_1,\dots,X_n$ 。当样本量 $n$ 足够大时，MLE 的分布近似满足：

\theta_n \stackrel{\cdot}{\sim} N\left( \theta,\, \frac{I(\theta)^{-1}}{n} \right)

其中 $I(\theta)$ 为 Fisher 信息量 (Fisher Information)，由单个样本计算得到。

特性：

MLE 是渐近无偏的 (asymptotically unbiased)

但小样本下可能存在偏差： $E(\theta_n) \neq \theta$

二、Fisher 信息量 | Fisher Information

2.1 定义与计算

设随机变量 $X$ 的概率密度函数为 $f(x|\theta)$ ，则 Fisher 信息量定义为：

I(\theta) = -E\left[ \frac{d^2}{d\theta^2} \log f(X|\theta) \right]

矩阵形式（当 $\theta$ 为向量时）：

I(\theta)_{ij} = -E\left[ \frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(X|\theta) \right]

矩阵 $I(\theta)$ 对称且半正定，反映单个样本包含的关于 $\theta$ 的信息量。

三、经典案例

3.1 伯努利分布 | Bernoulli Distribution

模型设定：

$X \sim \text{Bernoulli}(p)$ ，概率质量函数为：

f(x|p) = p^x (1-p)^{1-x}, \quad x=0,1

推导步骤：

对数似然函数：

\log f(X|p) = X \log p + (1-X)\log(1-p)

二阶导数：

\frac{d^2}{dp^2} \log f(X|p) = -\frac{X}{p^2} - \frac{1-X}{(1-p)^2}

计算期望：

I(p) = \frac{1}{p(1-p)}

渐近分布：

对于样本均值 $\hat{p} = \bar{X}_n$ ，当 $n$ 较大时：

\hat{p} \approx N\left( p,\, \frac{p(1-p)}{n} \right)

3.2 几何分布 | Geometric Distribution

模型设定：

$X \sim \text{Geometric}(p)$ ，概率质量函数为：

f(x|p) = p(1-p)^{x-1}, \quad x=1,2,\dots

推导步骤：

对数似然函数：

\log f(X|p) = \log p + (X-1)\log(1-p)

二阶导数：

\frac{d^2}{dp^2} \log f(X|p) = -\frac{1}{p^2} - \frac{X-1}{(1-p)^2}

计算期望：

I(p) = \frac{1}{p^2(1-p)}

渐近分布：

MLE $\hat{p} = 1/\bar{X}_n$ 的渐近分布为：

\hat{p} \approx N\left( p,\, \frac{p^2(1-p)}{n} \right)

注意：

$\hat{p}$ 在小样本下有偏： $E(\hat{p}) > p$

实际方差可能与理论值存在差异

3.3 正态分布 | Normal Distribution

模型设定：

$X \sim N(\mu, \sigma^2)$ ，参数 $\theta = (\mu, \sigma)$

Fisher 信息矩阵：

I(\theta) = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{2}{\sigma^2} \end{bmatrix}

渐近分布：

对于 MLE $\hat{\theta} = (\bar{X}_n, \hat{\sigma})$ ，当 $n$ 较大时：

\begin{cases} \bar{X}_n \sim N\left( \mu,\, \frac{\sigma^2}{n} \right) \quad (\text{精确分布}) \\ \hat{\sigma} \approx N\left( \sigma,\, \frac{\sigma^2}{2n} \right) \quad (\text{近似，因} \sigma \geq 0) \end{cases}

四、学习建议

动手推导：对每个分布的 Fisher 信息量进行手算，验证二阶导数与期望的计算。

模拟验证：使用 Python/R 生成随机样本，比较 MLE 的样本分布与理论渐近分布。

对比分析：分析几何分布中 $\hat{p} = 1/\bar{X}_n$ 的偏差与方差特性。

关键术语对照表：

最大似然估计量 (Maximum Likelihood Estimator, MLE)

Fisher 信息量 (Fisher Information)

渐近正态性 (Asymptotic Normality)

独立同分布 (Independent and Identically Distributed, iid)

附：练习合集

练习

统计第7讲：最大似然估计 | MLE

统计第9讲：假设检验 | Hypothesis Testing