概率第8讲：极限定理 | Limit Theorems

马尔可夫不等式 | Markov's Inequality

定理陈述

对于任意非负随机变量（non-negative random variable）X 和任意 a > 0，有：

证明推导

1. 定义指示函数（indicator function）$I = \begin{cases} 1 & \text{if } X \geq a \\ 0 & \text{otherwise} \end{cases}$

2. 显然有 $I \leq \frac{X}{a}$（当 $X \geq a$ 时，左边为1，右边 ≥1；当 X < a 时，左边为0，右边 ≥0）

3. 取期望：$E[I] \leq E\left[\frac{X}{a}\right]$

4. 左边 $E[I] = P(X \geq a)$，右边 $E\left[\frac{X}{a}\right] = \frac{E[X]}{a}$

5. 综上：$P(X \geq a) \leq \frac{E[X]}{a}$

示例与应用

例子：假设某设备寿命 X（小时）满足 E[X] = 100，用马尔可夫不等式估计 $P(X \geq 500)$ 的上界。

解：

$P(X \geq 500) \leq \frac{100}{500} = 0.2$

学习建议：

• 马尔可夫不等式适用于所有非负随机变量，但不一定给出紧的上界。

• 练习：若 X 服从指数分布 $Exp(\lambda)$，计算真实概率并与马尔可夫不等式的估计比较。

切比雪夫不等式 | Chebyshev's Inequality

定理陈述

若随机变量 X 的期望为 $\mu$，方差为 $\sigma^2$（finite mean and variance），则对任意 k > 0：

证明推导

1. 对随机变量 $(X - \mu)^2$ 应用马尔可夫不等式：

1. 注意到 $(X - \mu)^2 \geq k^2 \iff |X - \mu| \geq k$，且 $E[(X - \mu)^2] = \sigma^2$

2. 代入得：$P(|X - \mu| \geq k) \leq \frac{\sigma^2}{k^2}$

示例与应用

例子：假设考试成绩 X 的均值为 70 分，标准差为 10 分，估计分数偏离均值超过 20 分的概率上界。

解：

$P(|X - 70| \geq 20) \leq \frac{10^2}{20^2} = 0.25$

学习建议：

• 切比雪夫不等式需要方差存在，适用于更广泛的分布。

• 练习：假设 $X \sim Uniform(0,1)$，计算 $P(|X - 0.5| \geq 0.3)$ 的真实概率并与不等式结果对比。

重要推论 | Key Corollaries

方差为零的性质

推论：若 Var(X) = 0，则 X 几乎必然等于其期望，即 $P(X = E[X]) = 1$。

证明

1. 设 $\mu = E[X]$，对任意正整数 n，应用切比雪夫不等式：

2. 由概率的可列可加性：

3. 因此 $P(X = \mu) = 1$

学习建议：

• 这一性质表明方差为零的随机变量退化为常数。

• 思考：如何用此推论证明样本均值的相合性？

附：练习合集