• 贝叶斯法则

    贝叶斯法则

    贝叶斯法则描述了P(h)、P(h|D)、P(D)、以及P(D|h)这四个概率之间的关系:

    贝叶斯法则 - 图1

    这个公式是贝叶斯方法论的基石。在数据挖掘中,我们通常会使用这个公式去判别不同事件之间的关系。

    我们可以计算得到在某些条件下这位运动员是从事体操、马拉松、还是篮球项目的;也可以计算得到某些条件下这位客户是否会购买Sencha绿茶等。我们会通过计算不同事件的概率来得出结论。

    比如说我们要决定是否给一位客户展示Sencha绿茶的广告,已知他所在的地区邮编是88005。我们有两个相反的假设:

    • 这位用户会购买Sencha绿茶的概率,即:P(购买|88005);
    • 不会购买的概率:P(┐购买|88005)。

    假设我们计算得到P(购买|88005) = 0.6,而P(┐购买|88005) = 0.4,则可以认为用户会购买,从而显示相应的广告。

    再比如我们要为一家销售电子产品的公司发送宣传邮件,共有笔记本、台式机、平板电脑三种产品。我们需要根据目标用户的类型来分别派送这三种宣传邮件。

    比如我们有一位居住在88005地区的女士,她的女儿在读大学,并居住在家中,而且她还会参加瑜伽课程。那我应该派发哪种邮件呢?

    让我们用D来表示这位客户的特征:

    • 居住在88005地区
    • 有一个正在读大学的女儿
    • 练习瑜伽

    因此我们需要计算以下三个概率:

    贝叶斯法则 - 图2

    并选择概率最大的结果。

    再抽象一点,如果我们有h1, h2, …hn等事件,它们就相当于不同的类别(篮球、体操、或是有没有患糖尿病等)。

    贝叶斯法则 - 图3

    在计算出以上这些概率后,选取最大的结果,就能用作分类了。这种方法叫最大后验估计,记为hMAP。

    贝叶斯法则 - 图4

    我们可以用以下公式来表示最大后验估计:

    贝叶斯法则 - 图5

    H表示所有的事件,所以h∈H表示“对于集合中的每一个事件”。整个公式的含义就是:对于集合中的每一个事件,计算出P(h|D)的值,并取最大的结果。

    使用贝叶斯法则进行替换:

    贝叶斯法则 - 图6

    所以我们需要计算的就是以下这个部分:

    贝叶斯法则 - 图7

    可以发现对于所有的事件,公式中的分母都是P(D),因此即便只计算P(D|h)P(h),也可以判断出最大的结果。那么这个公式就可以简化为:

    贝叶斯法则 - 图8

    作为演示,我们选取Tom M. Mitchell《机器学习》中的例子。Tom是卡耐基梅隆大学机器学习部的首席,也是非常友好的一个人。

    这个例子是通过一次血液检验来判断某人是否患有某种癌症。已知这种癌症在美国的感染率是0.8%。血液检验的结果有阳性和阴性两种,且存在准确性的问题:如果这个人患有癌症,则有98%的几率测出阳性;如果他没有癌症,会有97%的几率测出阴性。

    我们来尝试将这些描述语言用公式来表示:

    • 美国有0.8%的人患有这种癌症:P(癌症) = 0.008
    • 99.2%的人没有患有这种癌症:P(┐癌症) = 0.992
    • 对于患有癌症的人,他的血液检测结果返回阳性的概率是98%:P(阳性|癌症) = 0.98
    • 对于患有癌症的人,检测结果返回阴性的概率是2%:P(阴性|癌症) = 0.02
    • 对于没有癌症的人,返回阴性的概率是97%:P(阴性|┐癌症) = 0.97
    • 对于没有癌症的人,返回阳性的概率是3%:P(阳性|┐癌症) = 0.03

    贝叶斯法则 - 图9

    Ann到医院做了血液检测,呈阳性。初看结果并不乐观,毕竟这种血液检测的准确率高达98%。那让我们用贝叶斯法则来计算看看:

    • P(阳性|癌症)P(癌症) = 0.98 * 0.008 = 0.0078
    • P(阳性|┐癌症)P(┐癌症) = 0.03 * 0.992 = 0.0298

    分类的结果是她不会患有癌症。

    如果想得到确切的概率,我们可以使用标准化的方法:

    贝叶斯法则 - 图10

    可以看到,血液检测为阳性的人患有这种癌症的概率是21%。

    贝叶斯法则 - 图11

    可能你会觉得这并不合情理,毕竟血液检测的准确率有98%,而结果却说Ann很可能并没有这种癌症。事实上,很多人都会有这样的 疑问。

    我来说明一下为什么会是这样的结果。很多人只看到了血液检测的准确率是98%,但没有考虑到全美只有0.8%的人患有这种癌症。

    假设我们给一个有着一百万人口的城市做血液检测,也就是说其中有8,000人患有癌症,992,000人没有。首先,对于那8,000个癌症病人,有7,840个人的血液检测结果会呈阳性,160人会呈阴性。

    对于992,000人,有962,240人会呈阴性,30,000人呈阳性。将这些数字总结到下表中:

    贝叶斯法则 - 图12

    Ann的测试结果呈阳性,从上表看阳性中有30,000人其实是健康的,只有7,840人确实患有癌症,所以我们才会认为Ann很有可能是健康的。

    还是没弄明白?没关系,在接触了更多练习后就会慢慢理解了。