VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • 分类与监督学习,朴素贝叶斯分类算法

(1)简述分类与聚类的联系与区别。
 
联系:两者都是对于想要分析的目标点,都会在数据集中寻找它最近的点,即二者都用到了NN算法。
 
区别:
 
  分类:从机器学习的观点,分类技术是一种有指导的监督学习,即每个训练样本的数据对象已经有类标识,通过学习可以形成表达数据对象与类标识间对应的知识。
 
  聚类:在机器学习中,聚类是一种无指导的无监督学习。也就是说,聚类是在预先不知道欲划分类的情况下,根据信息相似度原则进行信息聚类的一种方法。
 
(2)简述什么是监督学习与无监督学习。
 
监督学习:表示机器学习的数据是带标记的,这些标记可以包括数据类别、数据属性及特征点位置等。这些标记作为预期效果,不断修正机器的预测结果。
 
无监督学习:表示机器学习的数据是没有标记的。机器从无标记的数据中探索并推断出潜在的联系。
 
2.朴素贝叶斯分类算法实例
 
利用关于心脏病患者的临床历史数据集,建立朴素贝叶斯心脏病分类模型。
 
有六个分类变量(分类因子):性别,年龄、KILLP评分、饮酒、吸烟、住院天数
 
目标分类变量疾病:
 
–心梗
 
–不稳定性心绞痛
 
新的实例:–(性别=‘男’,年龄<70, KILLP=‘I',饮酒=‘是’,吸烟≈‘是”,住院天数<7)
 
最可能是哪个疾病?
 
上传手工演算过程。
 
 
 
性别
 
年龄
 
KILLP
 
饮酒
 
吸烟
 
住院天数
 
疾病
 
1
 
 
>80
 
1
 
 
 
7-14
 
心梗
 
2
 
 
70-80
 
2
 
 
 
<7
 
心梗
 
3
 
 
70-81
 
1
 
 
 
<7
 
不稳定性心绞痛
 
4
 
 
<70
 
1
 
 
 
>14
 
心梗
 
5
 
 
70-80
 
2
 
 
 
7-14
 
心梗
 
6
 
 
>80
 
2
 
 
 
7-14
 
心梗
 
7
 
 
70-80
 
1
 
 
 
7-14
 
心梗
 
8
 
 
70-80
 
2
 
 
 
7-14
 
心梗
 
9
 
 
70-80
 
1
 
 
 
<7
 
心梗
 
10
 
 
<70
 
1
 
 
 
7-14
 
心梗
 
11
 
 
>80
 
3
 
 
 
<7
 
心梗
 
12
 
 
70-80
 
1
 
 
 
7-14
 
心梗
 
13
 
 
>80
 
3
 
 
 
7-14
 
不稳定性心绞痛
 
14
 
 
70-80
 
3
 
 
 
>14
 
不稳定性心绞痛
 
15
 
 
<70
 
3
 
 
 
<7
 
心梗
 
16
 
 
70-80
 
1
 
 
 
>14
 
心梗
 
17
 
 
<70
 
1
 
 
 
7-14
 
心梗
 
18
 
 
70-80
 
1
 
 
 
>14
 
心梗
 
19
 
 
70-80
 
2
 
 
 
7-14
 
心梗
 
20
 
 
<70
 
3
 
 
 
<7
 
不稳定性心绞痛
 
朴素贝叶斯公式:
 
 
 
 
 
 计算:
 
p(实例) = 8/20 * 5/20 * 10/20 * 4/20 * 9/20 * 6/20 = 54/40000
 
p(心梗 / 实例) = ( 7/16 * 4/16 * 9/16 * 3/16 * 7/16 * 4/16 ) * 16/20 / ( 54/40000 ) ≈ 75%
 
p(不稳定性心绞痛 / 实例) = ( 1/4 * 1/4 * 1/4 * 1/4 * 2/4 * 2/4 * 1/4 ) * 4/20 / (54 / 40000) ≈ 15%
 
由于p(心梗 / 实例) > p(不稳定性心绞痛 / 实例) ,所以该实例最可能患心梗
 
3.使用朴素贝叶斯模型对iris数据集进行花分类。
 
尝试使用3种不同类型的朴素贝叶斯:
 
高斯分布型
多项式型
伯努利型
并使用sklearn.model_selection.cross_val_score(),对各模型进行交叉验证。
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
##朴素贝叶斯算法
# 导入朴素贝叶斯模型
from sklearn.naive_bayes import GaussianNB, MultinomialNB, BernoulliNB
# 模型交叉验证
from sklearn.model_selection import cross_val_score
# 导入鸢尾花数据库
from sklearn.datasets import load_iris
 
# 导入鸢尾花数据集
iris = load_iris()
x = iris['data']
y = iris['target']
 
### 高斯分布型
# 构建模型
GNB_model = GaussianNB()
# 训练模型
GNB_model.fit(x, y)
# 预测模型
GNB_pre = GNB_model.predict(x)
print("高斯分布型:")
print("模型准确率:", sum(GNB_pre == y)/len(x))
# 模型交叉验证得分
GNB_score = cross_val_score(GNB_model, x, y, cv=10)
print("平均精度:%.2f\n" % GNB_score.mean())
 
### 多项式型
# 构建模型
MNB_model = MultinomialNB()
# 训练模型
MNB_model.fit(x, y)
# 预测模型
MNB_pre = MNB_model.predict(x)
print("多项式型:")
print("准确率:", sum(MNB_pre == y)/len(x))
# 模型交叉验证得分
MNB_score = cross_val_score(MNB_model, x, y, cv=10)
print("平均精度:%.2f\n" % MNB_score.mean())
 
### 伯努利型
BNB_model = BernoulliNB()  # 构建模型
BNB_model.fit(x, y)  # 训练模型
BNB_pre = BNB_model.predict(x)  # 预测模型
print("伯努利型:")
print("模型准确率:", sum(BNB_pre == y)/len(x))
# 模型交叉验证得分
BNB_score = cross_val_score(BNB_model, x, y, cv=10)
print("平均精度:%.2f\n" % BNB_score.mean())
 
 
 
 
 
 
 
 
 
__EOF__
 
作  者:Raicho
出  处:https://www.cnblogs.com/lzhdonald

相关教程