跳到主内容
@wquguru
数理基础统计推断（Statistical Inference） · 统计第1–10讲8/10模块导览 →
讲义

统计第8讲：最大似然估计量的大样本分布 | Large-Sample Distribution of MLEs

介绍最大似然估计量的渐近正态性与费希尔信息量，并在伯努利、几何和正态模型中推导渐近方差。

完成状态保存在当前浏览器，可随时取消。
本文目录 · 9 节

一、渐近正态性 | Asymptotic Normality#

1.1 基本定理#

设 θn\theta_n 为参数 θ∈Θ⊂R\theta \in \Theta \subset \mathbb{R} 的最大似然估计量 (Maximum Likelihood Estimator, MLE)，基于独立同分布 (iid) 样本 X1,…,XnX_1,\dots,X_n。当样本量 nn 足够大时，MLE 的分布近似满足：

θn∼⋅N(θ, I(θ)−1n)\theta_n \stackrel{\cdot}{\sim} N\left( \theta,\, \frac{I(\theta)^{-1}}{n} \right)

其中 I(θ)I(\theta) 为 Fisher 信息量 (Fisher Information)，由单个样本计算得到。

特性：

  • MLE 是渐近无偏的 (asymptotically unbiased)

  • 但小样本下可能存在偏差：E(θn)≠θE(\theta_n) \neq \theta

二、Fisher 信息量 | Fisher Information#

2.1 定义与计算#

设随机变量 XX 的概率密度函数为 f(x∣θ)f(x|\theta)，则 Fisher 信息量定义为：

I(θ)=−E[d2dθ2log⁡f(X∣θ)]I(\theta) = -E\left[ \frac{d^2}{d\theta^2} \log f(X|\theta) \right]

矩阵形式（当 θ\theta 为向量时）：

I(θ)ij=−E[∂2∂θi∂θjlog⁡f(X∣θ)]I(\theta)_{ij} = -E\left[ \frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(X|\theta) \right]

矩阵 I(θ)I(\theta) 对称且半正定，反映单个样本包含的关于 θ\theta 的信息量。

三、经典案例#

3.1 伯努利分布 | Bernoulli Distribution#

模型设定：

X∼Bernoulli(p)X \sim \text{Bernoulli}(p)，概率质量函数为：

f(x∣p)=px(1−p)1−x,x=0,1f(x|p) = p^x (1-p)^{1-x}, \quad x=0,1

推导步骤：

  1. 对数似然函数：
log⁡f(X∣p)=Xlog⁡p+(1−X)log⁡(1−p)\log f(X|p) = X \log p + (1-X)\log(1-p)
  1. 二阶导数：
d2dp2log⁡f(X∣p)=−Xp2−1−X(1−p)2\frac{d^2}{dp^2} \log f(X|p) = -\frac{X}{p^2} - \frac{1-X}{(1-p)^2}
  1. 计算期望：
I(p)=1p(1−p)I(p) = \frac{1}{p(1-p)}

渐近分布：

对于样本均值 p^=Xˉn\hat{p} = \bar{X}_n，当 nn 较大时：

p^≈N(p, p(1−p)n)\hat{p} \approx N\left( p,\, \frac{p(1-p)}{n} \right)

3.2 几何分布 | Geometric Distribution#

模型设定：

X∼Geometric(p)X \sim \text{Geometric}(p)，概率质量函数为：

f(x∣p)=p(1−p)x−1,x=1,2,…f(x|p) = p(1-p)^{x-1}, \quad x=1,2,\dots

推导步骤：

  1. 对数似然函数：
log⁡f(X∣p)=log⁡p+(X−1)log⁡(1−p)\log f(X|p) = \log p + (X-1)\log(1-p)
  1. 二阶导数：
d2dp2log⁡f(X∣p)=−1p2−X−1(1−p)2\frac{d^2}{dp^2} \log f(X|p) = -\frac{1}{p^2} - \frac{X-1}{(1-p)^2}
  1. 计算期望：
I(p)=1p2(1−p)I(p) = \frac{1}{p^2(1-p)}

渐近分布：

MLE p^=1/Xˉn\hat{p} = 1/\bar{X}_n 的渐近分布为：

p^≈N(p, p2(1−p)n)\hat{p} \approx N\left( p,\, \frac{p^2(1-p)}{n} \right)

注意：

  • p^\hat{p} 在小样本下有偏：E(p^)>pE(\hat{p}) > p

  • 实际方差可能与理论值存在差异

3.3 正态分布 | Normal Distribution#

模型设定：

X∼N(μ,σ2)X \sim N(\mu, \sigma^2)，参数 θ=(μ,σ)\theta = (\mu, \sigma)

Fisher 信息矩阵：

I(θ)=[1σ2002σ2]I(\theta) = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{2}{\sigma^2} \end{bmatrix}

渐近分布：

对于 MLE θ^=(Xˉn,σ^)\hat{\theta} = (\bar{X}_n, \hat{\sigma})，当 nn 较大时：

{Xˉn∼N(μ, σ2n)(精确分布)σ^≈N(σ, σ22n)(近似，因σ≥0)\begin{cases} \bar{X}_n \sim N\left( \mu,\, \frac{\sigma^2}{n} \right) \quad (\text{精确分布}) \\ \hat{\sigma} \approx N\left( \sigma,\, \frac{\sigma^2}{2n} \right) \quad (\text{近似，因} \sigma \geq 0) \end{cases}

四、学习建议#

  1. 动手推导：对每个分布的 Fisher 信息量进行手算，验证二阶导数与期望的计算。

  2. 模拟验证：使用 Python/R 生成随机样本，比较 MLE 的样本分布与理论渐近分布。

  3. 对比分析：分析几何分布中 p^=1/Xˉn\hat{p} = 1/\bar{X}_n 的偏差与方差特性。

关键术语对照表：

  • 最大似然估计量 (Maximum Likelihood Estimator, MLE)

  • Fisher 信息量 (Fisher Information)

  • 渐近正态性 (Asymptotic Normality)

  • 独立同分布 (Independent and Identically Distributed, iid)

上一篇下一讲