条件数学期望

11.5. 条件数学期望#

正如之前课程内容中介绍的，我们讨论过条件概率是符合概率的公理化定义。由此，根据条件概率，我们可以定义随机变量的条件分布。既然有分布，我们也可以定义这个分布的特征数。这里，我们首先介绍如何定义条件分布的数学期望——条件期望。

条件期望: 条件分布的数学期望（若存在）称为条件期望，即

\[\begin{split}E(X | Y=y)=\left\{\begin{aligned} &\sum_{i} x_{i} P\left(X=x_{i} | Y=y\right) , &\quad \text{离散场合},\\ &\int_{-\infty}^{+\infty} x P(x | y) d x,&\quad \text{连续场合}. \end{aligned} \right.\end{split}\]

因为条件期望是一种期望，所以条件期望也满足期望的性质。

Property 11.1

\(E\left(a_{1} X_{1}+a_{2} X_{2} | Y=y\right)=a_{1} E\left(X_{1} | Y=y\right)+a_{2} E\left(X_{2} | Y=y\right)\) ;

这里从另一个角度来看条件期望。在给定 \(Y=y\) 的条件下， \(X\) 的条件分布会因 \(y\) 的取值不同而不同，从而导致了 \(E(X|Y=y)\) 亦是如此。所以， \(E(X|Y=y)\) 可以看作 \(y\) 的函数。我们记 \(g(y) = E(X|Y=y)\) 。

对于随机变量 \(Y\) ， \(g(Y)= E(X|Y)\) 是随机变量 \(Y\) 的函数。所以，条件期望 \(E(X|Y)\) 可以看作随机变量 \(Y\) 的函数，通常仍是一个随机变量。这里，我们讨论一下，其期望 \(E(E(X|Y))\) 是什么呢？

Theorem 11.1 (重期望公式)

设 \((X,Y)\) 是二维随机变量且 \(E(X)\) 存在，则

\[E(X)=E(E(X | Y)).\]

类似地，我们可以定义条件方差，即 \(Var(X|Y)\) ，即

\[\begin{split} \begin{eqnarray*} \text{Var}(X | Y) &=& E\left ( (X-E(X | Y))^{2} | Y \right )\\ &=&E(X^{2} | Y)-\left ( E(X | Y) \right )^{2}. \end{eqnarray*} \end{split}\]

类似于重期望公式，我们也可以将 \(X\) 的方差拆解成两个部分，即

\[\text{Var}(X)=E(\text{Var}(X | Y))+\text{Var}(E(X | Y)),\]

其中，前者可以看成组内方差，后者可以看成组间方差。

Example 11.7

一矿工被困在有三个门的矿井里。第一个门通一坑道，沿此坑道走 3 小时可到达安全区；第二个门通一坑道，沿此坑道走 5 小时又回到原处；第三个门通一坑道，沿此坑道走 7 小时也回到原处。假定此矿工总是等可能地在三个门中选择一个，试求他平均要用多少时间才能到达安全区。

Example 11.8

设 \(X_{1},X_{2},\cdots\) 为一列独立同分布的随机变量，随机变量 \(N\) 只取正整数值且 \(N\) 与 \({X_{n}}\) 独立，证明

\[ E\left(\sum_{i=1}^{N} X_{i}\right)=E\left(X_{1}\right) \cdot E(N) \]

（课后自学）

\[ \text{Var}\left(\sum_{i=1}^{N} X_{i}\right)=\operatorname{Var}\left(X_{1}\right) E(N)+\left(E\left(X_{1}\right)\right)^{2} \operatorname{Var}(N) \]