统计第6讲：矩估计法 | Method of Moments

点击放大 ⤢

基本概念#

参数估计问题#

设观测数据 $x_1,...,x_n$ 为独立同分布随机变量 $X_1,...,X_n$ 的实现值，其概率质量/密度函数为 $f(x|\theta)$，其中 $\theta \in \Theta$ 为未知参数。我们需要通过样本对参数进行估计。

两种主要方法：

1. 矩估计法 (Method of Moments)

2. 最大似然估计法 (Maximum Likelihood Estimation)

矩的基本定义#

对于随机变量 $X$：

• 第k阶总体矩：$\mu_k = E(X^k) \quad k=1,2,...$

• 第k阶样本矩：$\hat{\mu}k = \frac{1}{n}\sum{i=1}^n X_i^k$

重要性质：$\hat{\mu}_k$ 是 $\mu_k$ 的无偏估计量，即 $E(\hat{\mu}_k) = \mu_k$

矩估计法步骤#

1. 建立方程：将前k个总体矩与对应的样本矩相等

2. 解方程组：从方程组中解出参数估计量

3. 代入样本值：得到具体的参数估计值

符号约定#

• $\hat{\theta}$：参数的估计量（随机变量）

• $\theta$：参数真值

• $\Theta$：参数空间（所有可能的参数取值范围）

典型分布应用#

泊松分布 | Poisson Distribution#

概率质量函数：

参数空间：$\lambda \in \mathbb{R}^+$

矩估计过程：

1. 计算一阶矩：

2. 建立方程：

3. 得到估计量：

估计量性质：

• 标准差：$SE = \sqrt{\frac{\lambda}{n}}$

• 区间估计：$\lambda \approx \bar{x} \pm \sqrt{\frac{\lambda}{n}}$

学习建议：通过计算样本均值可直接获得λ的估计值，注意泊松分布的均值与方差相等这一特性

伯努利分布 | Bernoulli Distribution#

概率质量函数：

参数空间：$p \in (0,1)$

矩估计过程：

1. 计算一阶矩：

2. 建立方程：

3. 得到估计量：

估计量性质：

• 标准差：$SE = \sqrt{\frac{p(1-p)}{n}}$

示例：抛硬币实验中正面向上的概率估计

正态分布 | Normal Distribution#

概率密度函数：

参数空间：$\mu \in \mathbb{R}$, $\sigma^2 \in \mathbb{R}^+$

矩估计过程：

1. 建立方程组：

2. 解得估计量：

注意：与样本方差 $S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2$ 的区别

估计量评价#

重要指标#

1. 偏差 (Bias)：$Bias(\hat{\theta}) = E(\hat{\theta}) - \theta$

2. 标准差 (Standard Error)：$SE = SD(\hat{\theta})$

矩估计特点#

• 优点：计算简单，不需要似然函数

• 局限：在复杂模型中可能不如MLE有效

学习建议：比较不同分布的矩估计结果，理解参数空间对估计的影响

习题建议#

1. 推导指数分布 $Exp(\lambda)$ 的矩估计量

2. 对均匀分布 $U(a,b)$ 建立矩估计方程组

3. 计算二项分布 $Bin(n,p)$ 的矩估计量（已知n）