数据挖掘(5.1)--贝叶斯分类网站首页 其他

疾病诊断示例

两个诊断(检查)结论：患者有癌症（+）；或者无癌症（-）

先验知识：所有人口中，患病率0.8%

有病患者确诊准确率98%，无病患者确诊准确率97%

P(cancer) = 0.008 P(!cancer) = 0.992

P(+|cancer) = 0.98 P(-|cancer) = 0.02

P(+|!cancer) = 0.03 P(-|!cancer) = 0.97

设 B1, B2,…, Bn 为互不相容事件，P(Bi)>0, i=1, 2,…, n，且 $eq?%5Cbigcup_%7Bi%3D1%7D%5E%7Bn%7DBi%3D%5COmega$ ,对任意的事件 $eq?A%5Csubset%20%5Cbigcup_%7Bi%3D1%7D%5E%7Bn%7DBi$ ,计算事件A概率的公式为：

设P(A) >0，则在事件A发生的条件下，事件Bi发生的概率为：

，称该公式为贝叶斯公式

2.贝叶斯决策准则

如果对于任意 i ≠ j，都有P(Ci|X) > P(Cj|X) 成立，则样本模式 X 被判定为类别 Ci

3.极大后验假设

根据贝叶斯公式可得到一种计算后验概率的方法：在一定假设的条件下，根据先验概率和统计样本数据得到的概率，可以得到后验概率。

令P(c)是假设c的先验概率，它表示c是正确假设的概率，P(X) 表示的是训练样本X的先验概率，P(X|c) 表示在假设c正确的条件下样本X发生或出现的概率，根据贝叶斯公式可以得到后验概率的计算公式：

p设C为类别集合也就是待选假设集合，在给定未知类别标号样本X时，通过计算找到可能性最大的假设c∈C，具有最大可能性的假设或类别被称为极大后验假设(maximum a posteriori)，记作：

4.例题

假设当天的天气情况：X = { Sunny, Hot, High, Weak }，判断今天是否可以打网球？

①统计个数

②计算先验概率

③计算后验概率（由于我们是判断当日是否出去打球，所以下面计算时，只计算上面一部分）

P(Yes | X) = P(Yes)*P(Sunny|Yes)*P(Hot|Yes)*P(High|Yes)P(Weak|Yes)

= 9/14 * 2/9 * 2/9 * 3/9 * 6/9 ≈ 0.0071

P(No | X) = P(No)*P(Sunny|No)*P(Hot|No)*P(High|No)P(Weak|No)

= 5/14 * 3/5 * 2/5 * 4/5 * 2/5 ≈ 0.0026

2.朴素贝叶斯分类模型

朴素贝叶斯分类模型：算法逻辑简单、运算速度快、分类耗时短、精度高

以属性的类条件独立性假设为前提，即在给定类别状态条件下，属性之间是相互独立的

朴素贝叶斯分类器的算法描述：

初始化：随机选择一个类别作为“先验概率”，通常设为0.5。这意味着在训练过程中，我们始终将样本分为两个类别：正例(或支持例，positive example)和负例(或拒绝例，negative example)。
计算后验概率：对于每个样本，我们需要计算其属于各个类别的后验概率。对于给定的样本，我们可以使用贝叶斯公式来计算其属于各个类别的后验概率：P(C|X) = (P(X|C) * P(C)) / P(X)；其中，P(C|X) 是样本 X 在类别 C 下的后验概率，P(X|C) 是类别 C 下样本为正例的似然度，P(C) 是类别 C 的先验概率，P(X) 是样本 X 的边际概率。
选择最优类别：根据所有样本的后验概率，选择具有最高概率的类别作为最终预测结果。

需要注意的是，朴素贝叶斯分类器假设特征之间相互独立。在实际应用中，这种假设可能并不总是成立，因此需要对模型进行调整以适应特定的数据分布。此外，朴素贝叶斯分类器在处理缺失值和噪声数据时可能表现不佳。

朴素贝叶斯分类器的结构示意图

朴素贝叶斯算法特点

优点

逻辑简单、易实现、分类过程中时间空间开销比较小；

算法比较稳定、具有比较好的健壮性

缺点

有属性间类条件独立的这个假定，而很多实际问题中这个独立性假设并不成立，导致分类效果下降。

3.贝叶斯信念网

贝叶斯信念网络，简称贝叶斯网络，用图形表示一组随机变量之间的概率关系

贝叶斯网络有两个主要成分：

一个有向无环图，表示变量之间的依赖关系
一个条件概率表，把各结点和它的直接父结点关联起来

在贝叶斯信念网中，每个结点还关联一个概率表。如果结点X没有父母结点，则表中只包含先验概率P(X)，如果结点X只有一个父母结点Y，则表中包含条件概率P(X|Y)，如果结点X有多个父母结点 {Y1, Y2,…, Yk} ，则表中包含条件概率 P(X|Y1, Y2,…, Yk)