跳到主内容
@wquguru
数理基础统计推断（Statistical Inference） · 统计第1–10讲2/10模块导览 →
讲义

统计第2讲：概率进阶 | Probability (2)

讲解均方误差与条件期望，梳理累积分布函数和正态分布的性质，并用中心极限定理进行正态近似。

完成状态保存在当前浏览器，可随时取消。

本文目录 · 17 节

均方误差（Mean Square Error, MSE）#

基本定义与性质#

对于随机变量 (Y)( Y )，其均方误差定义为：

MSE=E[(Y−c)2]MSE = E[(Y - c)^2]

  • 预测值选择：当用常数 (c)( c ) 预测(Y)( Y ) 时：

    • (MSE=var(Y)+[E(Y)−c]2)( MSE = \text{var}(Y) + [E(Y) - c]^2 )

    • 最小化条件：当 (c=E(Y))( c = E(Y) ) 时，(min⁡MSE=var(Y))( \min MSE = \text{var}(Y) )

条件期望下的MSE#

若 (Y)( Y ) 与另一随机变量 (X)( X ) 相关：

MSE=var(Y∣X)+[E(Y∣X)−c]2MSE = \text{var}(Y|X) + [E(Y|X) - c]^2

  • 条件MSE：(MSE=E[(Y−c)2∣X])( MSE = E[(Y - c)^2 | X] )

  • 最优预测：当 (c=E(Y∣X))( c = E(Y|X) ) 时，(min⁡MSE=var(Y∣X))( \min MSE = \text{var}(Y|X) )

  • 对比：若错误地使用 (c=E(Y))( c = E(Y) )，MSE会增加([E(Y∣X)−E(Y)]2)( [E(Y|X) - E(Y)]^2 )

例子#

假设 ( Y ) 表示股票收益率，( X ) 为市场指数。若已知 (E(Y∣X=10%)=8%)( E(Y|X=10\%) = 8\% )，则用 (c=8%)( c=8\% )预测的误差最小。

条件期望的随机性（Random Conditional Expectations）#

条件期望的性质#

设 (X,Y)( X, Y ) 为随机变量：

  1. (E[Y∣X])( E[Y|X] ) 是随机变量，取值为 (E[Y∣x])( E[Y|x] )（概率由 ( X ) 的分布决定）

  2. 双重期望公式：

E(E[X2∣X1])=E(X2)E(E[X_2|X_1]) = E(X_2)
  1. 方差分解公式：
var(E[X2∣X1])+E(var[X2∣X1])=var(X2)\text{var}(E[X_2|X_1]) + E(\text{var}[X_2|X_1]) = \text{var}(X_2)

学习建议#

尝试证明方差分解公式（提示：从 (var(X)=E(X2)−[E(X)]2)( \text{var}(X) = E(X^2) - [E(X)]^2 ) 出发）。

累积分布函数（Cumulative Distribution Function, CDF）#

定义与性质#

对随机变量 ( X )，其CDF定义为：

F(x)=P(X≤x)F(x) = P(X \leq x)

  • 性质：

    • 定义域为(R)( \mathbb{R} )，值域为([0,1])([0, 1])

    • 若 (X)( X ) 有概率密度函数 (f(x))( f(x) )，则：

F(x)=∫−∞xf(t) dtF(x) = \int_{-\infty}^x f(t) \, dt

正态分布（Normal Distribution）#

标准正态分布#

设 (Z∼N(0,1))( Z \sim N(0, 1) )，其密度函数为：

ϕ(z)=12πe−z2/2\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}

  • 矩性质：

    • (E(Z)=0),(var(Z)=1)( E(Z) = 0 ), ( \text{var}(Z) = 1 )

    • 所有奇次矩为零：(E(Z2k+1)=0)( E(Z^{2k+1}) = 0 )

一般正态分布#

设 (X∼N(μ,σ2))( X \sim N(\mu, \sigma^2) )，可通过标准化转为标准正态：

X−μσ∼N(0,1)\frac{X - \mu}{\sigma} \sim N(0, 1)

线性变换与独立性#

  • 线性变换：对常数 (a,b≠0)( a, b \neq 0 )，有：
a+bX∼N(a+bμ,b2σ2)a + bX \sim N(a + b\mu, b^2\sigma^2)
  • 独立性：若 (X⊥Y)( X \perp Y )，则：
X+Y∼N(μX+μY,σX2+σY2)X + Y \sim N(\mu_X + \mu_Y, \sigma_X^2 + \sigma_Y^2)

中心极限定理（Central Limit Theorem, CLT）#

定理表述#

设 (X1,…,Xn)( X_1, \dots, X_n ) 为独立同分布随机变量，均值为 (μ)( \mu )，标准差为 (σ)( \sigma )。定义 (Sn=∑i=1nXi)( S_n = \sum_{i=1}^n X_i )，则当 (n→∞)( n \to \infty ) 时：

Sn−nμnσ→dN(0,1)\frac{S_n - n\mu}{\sqrt{n}\sigma} \xrightarrow{d} N(0, 1)

伯努利试验的例子#

设 (Xi∼Bernoulli(p))( X_i \sim \text{Bernoulli}(p) )，则 (Sn∼Binom(n,p))( S_n \sim \text{Binom}(n, p) )。当 (n)( n ) 足够大时：

Sn≈N(np,np(1−p))S_n \approx N(np, np(1-p))

学习建议#

尝试用Python模拟抛硬币实验(p=0.5)( p=0.5 )，观察 (Sn)( S_n )的分布如何随 (n)( n ) 增大接近正态分布。

关键术语对照：

  • 均方误差：Mean Square Error (MSE)

  • 条件期望：Conditional Expectation

  • 累积分布函数：Cumulative Distribution Function (CDF)

  • 中心极限定理：Central Limit Theorem (CLT)

上一篇下一讲