跳到主内容
@wquguru
讲义

统计第7讲：最大似然估计 | MLE

从似然函数出发推导最大似然估计，比较泊松、正态与伽马分布案例，并辨析似然法和矩估计的差异。

本文目录 · 14 节

一、基本概念#

1.1 似然函数 (Likelihood Function)#

设观测数据 x1,x2,…,xnx_1, x_2, \dots, x_n 是独立同分布 (iid) 随机变量 X1,X2,…,XnX_1, X_2, \dots, X_n 的样本值，其概率密度函数为 f(x∣θ)f(x|\theta)，其中 θ∈Θ⊂Rk\theta \in \Theta \subset \mathbb{R}^k。似然函数定义为：

L(θ)=∏i=1nf(xi∣θ)L(\theta) = \prod_{i=1}^n f(x_i|\theta)

对应的对数似然函数 (Log-Likelihood Function) 为：

ℓ(θ)=log⁡L(θ)=∑i=1nlog⁡f(xi∣θ)\ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i|\theta)

1.2 最大似然估计 (MLE)#

MLE 的核心思想：选择使得观测数据出现概率最大的参数值 θ^\hat{\theta}。

求解步骤：

  1. 构建似然函数 L(θ)L(\theta) 或对数似然函数 ℓ(θ)\ell(\theta)

  2. 对 ℓ(θ)\ell(\theta) 求导并令导数为零：∂ℓ∂θ=0\frac{\partial \ell}{\partial \theta} = 0

  3. 验证二阶导数 ∂2ℓ∂θ2<0\frac{\partial^2 \ell}{\partial \theta^2} < 0 确保极大值

二、典型分布案例#

2.1 泊松分布案例 | Poisson Distribution#

参数: λ\lambda

概率质量函数:

f(x∣λ)=λxe−λx!,x=0,1,2,…f(x|\lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x=0,1,2,\dots

推导过程#

  1. 似然函数：
L(λ)=∏i=1nλxie−λxi!=λ∑xie−nλx1!x2!…xn!L(\lambda) = \prod_{i=1}^n \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{x_1!x_2!\dots x_n!}
  1. 对数似然函数（忽略常数项）：
ℓ(λ)=(∑i=1nxi)log⁡λ−nλ\ell(\lambda) = \left(\sum_{i=1}^n x_i\right) \log \lambda - n\lambda
  1. 求导并解方程：
dℓdλ=∑xiλ−n=0⇒λ^=xˉ\frac{d\ell}{d\lambda} = \frac{\sum x_i}{\lambda} - n = 0 \quad \Rightarrow \quad \hat{\lambda} = \bar{x}

学习建议：重点理解如何从概率质量函数构建似然函数，并掌握对数转换简化计算的技巧。

2.2 正态分布案例 | Normal Distribution#

参数: μ\mu（均值）, σ\sigma（标准差）

概率密度函数:

f(x∣μ,σ)=12πσe−(x−μ)22σ2f(x|\mu,\sigma) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}

推导过程#

  1. 对数似然函数：
ℓ(μ,σ)=−n2log⁡(2π)−nlog⁡σ−12σ2∑i=1n(xi−μ)2\ell(\mu,\sigma) = -\frac{n}{2}\log(2\pi) - n\log\sigma - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2
  1. 对 μ\mu 求导：
∂ℓ∂μ=1σ2∑i=1n(xi−μ)=0⇒μ^=xˉ\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (x_i - \mu) = 0 \quad \Rightarrow \quad \hat{\mu} = \bar{x}
  1. 对 σ\sigma 求导：
∂ℓ∂σ=−nσ+1σ3∑i=1n(xi−μ)2=0⇒σ^2=1n∑i=1n(xi−xˉ)2\frac{\partial \ell}{\partial \sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^3}\sum_{i=1}^n (x_i - \mu)^2 = 0 \quad \Rightarrow \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2

关键点：注意方差估计量 σ^2\hat{\sigma}^2 是有偏估计量，修正为无偏估计时需使用 n−1n-1。

2.3 伽马分布案例 | Gamma Distribution#

参数: α\alpha（形状参数）, λ\lambda（速率参数）

概率密度函数:

f(x∣α,λ)=λαΓ(α)xα−1e−λx,x>0f(x|\alpha,\lambda) = \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, \quad x>0

推导特点#

  1. 对数似然函数：
ℓ(α,λ)=nαlog⁡λ−nlog⁡Γ(α)+(α−1)∑i=1nlog⁡xi−λ∑i=1nxi\ell(\alpha,\lambda) = n\alpha \log\lambda - n\log\Gamma(\alpha) + (\alpha-1)\sum_{i=1}^n \log x_i - \lambda \sum_{i=1}^n x_i
  1. 联立方程（需数值方法求解）：
log⁡(αxˉ)−Γ′(α)Γ(α)+1n∑i=1nlog⁡xi=0\log\left(\frac{\alpha}{\bar{x}}\right) - \frac{\Gamma'(\alpha)}{\Gamma(\alpha)} + \frac{1}{n}\sum_{i=1}^n \log x_i = 0 λ^=α^xˉ\hat{\lambda} = \frac{\hat{\alpha}}{\bar{x}}

学习建议：对于复杂分布的MLE，重点掌握联立方程的构建方法，并了解数值求解的必要性。

三、MLE 与矩估计 (MOM) 的比较#

3.1 方法论差异#

  • MOM: 通过匹配样本矩和理论矩来估计参数

  • MLE: 基于概率密度函数最大化似然性

3.2 性能比较#

特性MLEMOM
估计量显式表达式通常无显式解总能用样本矩表示
标准误 (Standard Error)更小较大
偏差 (Bias)通常更小可能较大

应用建议：在计算资源允许时优先选择MLE，当模型复杂时可将MOM作为初始值辅助计算。

四、学习总结#

  1. 核心公式需熟练掌握：

    • 似然函数构建：L(θ)=∏f(xi∣θ)L(\theta) = \prod f(x_i|\theta)

    • 对数似然函数转换：ℓ(θ)=∑log⁡f(xi∣θ)\ell(\theta) = \sum \log f(x_i|\theta)

  2. 典型分布案例需独立推导一遍，特别注意：

    • 泊松分布的均值估计

    • 正态分布方差的有偏性

    • 伽马分布的数值求解特点

  3. 编程实践建议：使用Python的scipy.optimize模块实现伽马分布参数的MLE估计。