漫步数理统计五——条件概率与独立(上)

对某些随机试验，我们只对样本空间 C 子集 C1 中的元素感兴趣，这就意味着样本空间只要是子集 C1 就够了，接下来问题就是如何在 C1 这个新样本空间上定义概率集合函数。

定义在样本空间 C 上的概率集合函数是 P(C) ， C1 是 C 的子集且满足 P(C1)>0 。我们现在考虑随机试验的结果只是 C1 中的元素；这时候我们取 C1 为样本空间。令 C2 是 C 的另一个子集，那么相对于新的样本空间 C1 ，我们如何定义事件 C2 的概率呢？一旦定义了，我们就称这个概率为事件 C2 相对于事件 C1 的条件概率；或者更简洁一点，给定 C1 后 C2 的条件概率，这样的概率用符号 P(C2|C1) 表示。现在我们回到产生这个符号的问题，因为现在 C1 是样本空间，我们关心的 C2 的元素也得是 C1 的元素，即 C1∩C2 的元素，这样的话我们可以用下面的方式来定义 P(C2|C1) ：

P(C1|C1)=1andP(C2|C1)=P(C1∩C2|C1)

进一步，从相对频率的角度讲，为了保持一致性，我们需要将事件 C1∩C2,C1 相对于空间 C1 的概率之比等于这些事件相对于空间 C 的概率之比；即

P(C1∩C2|C1)P(C1|C1)=P(C1∩C2)P(C1)

上面的三个关系式可导出

P(C2|C1)=P(C1∩C2)P(C1)

当 p(C1)>0 时，上面的关系式可以看成给定事件 C1,C2 的条件概率。进一步我们有

P(C2|C1)≥0 P(C2∪C3∪⋯|C1)=P(C2|C1)+P(C3|C1)+⋯ ，假设 C2,C3,… 是两两互斥的集合。 P(C1|C1)=1

性质(1)(3)很显然；性质(2)的证明读者可以自己尝试一下。这些都是概率集合函数必须满足的条件， P(C2|C1) 是定义在 C1 子集上的一个概率集合函数，可以称为相对于假设 C1 的条件概率集合函数；或者给定 C1 的条件概率集合函数。注意概率集合函数只有在 P(C1)>0 的时候才有定义。

例1： 从52张牌中一次性的随机抽5张牌，事件 C1 表示五张牌中至少有四张是同种花色，事件 C2 表示五张牌同种花色，那么在事件 C1 的前提下，事件 C2 的条件概率是

P(C2|C1)=P(C2)P(C1)=(135)/(525)[(134)(391)+(135)]/(525)=(135)(134)(391)+(135)=0.0441

根据条件概率集合函数的定义，我们可以看出

P(C1∩C2)=P(C1)P(C2|C1)

这个关系常被称为概率的乘法法则，有时候对于某些随机试验，可以假设 P(C1),P(C2|C1) 是已知的，那么 P(C1∩C2) 可以在这个假设下计算出来，为此考虑下面的例2，例3。

例2： 一个瓶中有八个球，三个红的，五个蓝的。我们随机不放回的抽两个球，我们打算求第一个球是红色时 (C1) 第二个球是蓝色 (C2) 的概率，我们可以这么分配概率：

P(C1)=38,P(C2|C1)=57

那么在假设下，我们有 P(C1∩C2)=3857=1556=0.2679 。

例3： 依然考虑随机抽牌的试验，令 C1 表示前五张牌中有两张是同种花色， C2 表示第六张与那两张同色，因此我们想计算的就是概率 P(C1∩C2) ，

P(C1)=(132)(393)(525)=0.2743andP(C2|C1)=1147=0.2340

所求的概率 P(C1∩C2) 就是这两项之积。

乘法法则可以扩展到是三个或更多的事件。对于三个事件的情况，利用两个事件的乘法法则得：

P(C1∩C2∩C3)=P[(C1∩C2)∩C3]=P(C1∩C2)P(C3|C1∩C2)

但是 P(C1∩C2)=P(C1)P(C2|C1) ，因此假设 P(C1∩C2)>0 ，那么

P(C1∩C2∩C3)=P(C1)P(C2|C1)P(C3|C1∩C2)

这个过程可用于四个或更多的事件，对于 k 个事件的通用公式通过数学归纳法即可得出。

例4：依然考虑抽牌的随机试验，每个花色各一个的概率是 (1352)(1351)(1350)(1349)=0.0044

考虑 k 个互斥的事件C1,C2,…,Ck，满足 P(Ci)>0,i=1,2,…,k 。假设这些事件组成 C 的一个划分，这里不要求事件 C1,C2,…,Ck 等可能的发生，令 C 是另一事件，那么C发生且 C1,C2,…,Ck 中只有一个发生的概率；即

C=C∩∗(C1∪C2∪⋯Ck)=(C∩C1)∪(C∩C2)∪⋯∪(C∩Ck)

因为 C∩Ci,i=1,2,… 是互斥的，所以我们有

P(C)=P(C∩C1)+P(C∩C2)+⋯+P(C∩Ck)

然而， P(C∩Ci)=P(Ci)P(C|Ci),i=1,2,…,k ；所以

P(C)=P(C1)P(C|C1)+P(C2)P(C|C2)+⋯+P(Ck)P(C|Ck)=∑i=1kP(Ci)P(C|Ci)

这个结果又是称为全概率公式。

假设 P(C)>0 ，根据条件概率的定义，我们利用全概率公式可得

P(Cj|C)=P(Cj∩C)P(C)=P(Cj)P(C|Cj)∑ki=1P(Ci)P(C|Ci)

这就是著名的贝叶斯公式。利用此公式我们可以利用 C1,C2,…,Ck 以及 C 的条件概率计算给定C,Cj的条件概率。