赵走x博客 - 开发者的网上家园

深入浅出Python机器学习：16、决策树

资源编号:75901 人工智能深入浅出Python机器学习热度：119

决策树与随机森林--会玩读心本的算法按照惯例，我们还是用一个小故事来引入本章的内容：某天，小C 的表妹小Q 来找小C ，说她遇到了一点困扰一一小Q 的同事给她介绍了一个对象Mr. Z, Mr. Z 现年37 岁，在某省机关做文员工作。但是小Q 的择偶标准是需要对方月薪在5 万以上（不要骂小Q拜金，我们只是为了引入后面的内容），但是又不好直接问Mr. Z ，所以拿不定主意要不要和Mr. Z 深入交往，想让小C 帮忙做个决策。说到决策，小C 自然想到决策树算法，而说到决策树算法，又自然会想到随机森林。本章主要涉及的知识点有： 1、决策树的基本原理和构造 2、决策树的优势和不足 3、随机森林的基本原理和构造 4、随机森林的优势和不足 5、实例演示：小Q要不要和相亲对象进一步发展

> 决策树与随机森林--会玩读心本的算法
按照惯例，我们还是用一个小故事来引入本章的内容： 某天，小C 的表妹小Q 来找小C ，说她遇到了一点困扰一一小Q 的同事给她介绍了一个对象Mr. Z, Mr. Z 现年37 岁，在某省机关做文员工作。但是小Q 的择偶标准是需要对方月薪在5 万以上（不要骂小Q拜金，我们只是为了引入后面的内容），但是又不好直接问Mr. Z ，所以拿不定主意要不要和Mr. Z 深入交往，想让小C 帮忙做个决策。说到决策，小C 自然想到决策树算法，而说到决策树算法，又自然会想到随机森林。
本章主要涉及的知识点有：
1、决策树的基本原理和构造
2、决策树的优势和不足
3、随机森林的基本原理和构造
4、随机森林的优势和不足
5、实例演示：小Q要不要和相亲对象进一步发展

决策树是一种在分类与回归中都有非常广泛应用的算法，它的原理是通过对一系列问题进行if/else 的推导，最终实现决策。
# 1、 决策树基本原理
记得有个在公司团建时候经常玩的游戏，称为“读心术”一一在一组人里选出一个出题者，出题者在心中默想一个人或事物， 其余的人可以提问题，但是出题者只能回答“是”或者“否” ， 游戏限定提问者一共只能提出2 0 个问题。在20 个问题内，如果有人猜中了出题者心里想的人或事物，则出题者输掉游戏；如果20 个问题问完还没有人猜中，则出题者胜利。这个游戏就可以使用决策树的算法来进行表达。

举个例子： 假设出题者心里想的是斯嘉丽· 约翰逊、泰勒斯威夫特、吴彦祖、威尔·史密斯4 个人中的一个，则提问决策树如图所示：

![bs64](https://img.handsomemark.com/2019/09/30/c42a1aac-e394-11e9-ace6-0242ac140002.png)

图 中，最终的4 个节点，也就是4 个人物的名字，被称为决策树的树叶。例子中的这棵决策树只有4 片树叶，所以通过手动的方式就可以进行建模。但是如果样本的特征特别多， 就不得不使用机器学习的办法来进行建模了。

# 2、决策树的构建
下面我们再次使用酒的数据集来演示一下决策树的构建， 还记得在第2 章做的实验吗？下面我们先载入酒的数据集，然后将它做成训练集和数据集，输入代码如下：
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入tree 模型和数据集加载工具
from sklearn import tree, datasets
# 导入数据集拆分工具
from sklearn.model_selection import train_test_split

wine = datasets.load_wine()
# 只选取数据集的前两个特征
X = wine.data[:, : 2]
y = wine.target
# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y)
```
现在完成了数据集的准备， 开始用决策树分类器进行分类。
>⚠️：为了便于用图形进行演示， 我们仍然只选取了数据集中样本的前两个特征。

接下来，输入代码如下：
```
# 设定决策树分类器最大深度为1
clf = tree.DecisionTreeClassifier(max_depth=1)
# 拟合训练数据集
clf.fit(X_train, y_train)
print(clf)
```

运行结果:
```
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=1,
                       max_features=None, max_leaf_nodes=None,
                       min_impurity_decrease=0.0, min_impurity_split=None,
                       min_samples_leaf=1, min_samples_split=2,
                       min_weight_fraction_leaf=0.0, presort=False,
                       random_state=None, splitter='best')
```
［结果分析］ Jupyter Notebook 把分类器的参数返回，这些参数中， 我们先关注其中之一， 就是max_ depth 参数。这个参数指的是决策树的深度，也就是我们在玩“读心术”游戏的时候， 所问的问题的数量，问题数量越多， 就代表决策树的深度越深。现在我们使用的最大深度是1 ， 所以max d epth = 1 。

现在看看分类器的表现如何，我们把图形画出来，输入代码如下：
```
# 定义图像中分区的颜色和散点的颜色
cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF'])
cmap_bold = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])
# 分别用样本的两个特征值创建图像和横轴和纵轴
x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1
y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),
                     np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类中的样本分配不同的颜色
Z = Z.reshape(xx.shape)

plt.figure()
plt.pcolormesh(xx, yy, Z, cmap=cmap_light)
# 用散点把样本表示出来
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold, edgecolor='k', s=20)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier: (max_depth = 1 )")
plt.show()
```
运行结果：

![bs64](https://img.handsomemark.com/2019/09/30/38f9f24c-e397-11e9-8664-0242ac140002.png)
［结果分析］ 很显然， 最大深度等于l1时分类器的表现肯定不会太好，分类器只分了两类。我们需要加大深度试试看结果会有什么变化。
输入代码如下：
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入tree 模型和数据集加载工具
from sklearn import tree, datasets
# 导入数据集拆分工具
from sklearn.model_selection import train_test_split

wine = datasets.load_wine()
# 只选取数据集的前两个特征
X = wine.data[:, : 2]
y = wine.target
# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y)

# 设定决策树分类器最大深度为3
clf = tree.DecisionTreeClassifier(max_depth=3)
# 拟合训练数据集
clf.fit(X_train, y_train)
print(clf)

# 定义图像中分区的颜色和散点的颜色
cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF'])
cmap_bold = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])
# 分别用样本的两个特征值创建图像和横轴和纵轴
x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1
y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),
                     np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类中的样本分配不同的颜色
Z = Z.reshape(xx.shape)

［ 结果分析］现在我们看到， 当决策树最大深度设为3 的时候，分类器能够进行3个分类的识别， 而且大部分数据点都进入了正确的分类，当然还有一小部分数据点的分类是错误的， 接下来我们进一步调整max_depth 的值，看会有怎样的变化。
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入tree 模型和数据集加载工具
from sklearn import tree, datasets
# 导入数据集拆分工具
from sklearn.model_selection import train_test_split

# 设定决策树分类器最大深度为5
clf = tree.DecisionTreeClassifier(max_depth=5)
# 拟合训练数据集
clf.fit(X_train, y_train)
print(clf)

![bs64](https://img.handsomemark.com/2019/09/30/bbc6c772-e397-11e9-988c-0242ac140002.png)

［结果分析］现在可以看到， 分类器的表现进一步提升了。它在更加努力地把每一个数据点放入正确的分类当中。可能很多读者朋友会感到好奇，在这个过程中， 决策树在每一层当中都做了哪些事情呢？我们可以用一个名叫graphviz 的库来展示一下这个过程，首先需要安装这个库。
在命令提示符中输入：
```
pip install graphviz
```
> graphviz 只是帮助我们演示决策树的工作过程，对于读者来说，安装它并不是必须的。

graphviz 的安装很快就会完成，我们现在就开始在Jupyter notebook 中用它来将决策树的工作流程展示出来，输入代码如下：
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入tree 模型和数据集加载工具
from sklearn import tree, datasets
# 导入数据集拆分工具
from sklearn.model_selection import train_test_split

# 设定决策树分类器最大深度为3
clf = tree.DecisionTreeClassifier(max_depth=3)
# 拟合训练数据集
clf.fit(X_train, y_train)

# 导入graphviz工具
import graphviz
# 导入决策树中输出graphviz的接口
from sklearn.tree import export_graphviz

# 选择最大深度为3的分类模型
export_graphviz(clf, out_file="wine.dot", class_names=wine.target_names,
                feature_names=wine.feature_names[: 2], impurity=False, filled=True)
# 打开一个dot文件
with open("wine.dot") as f:
    dot_graph = f.read()
# 显示dot文件中的图形
dot=graphviz.Source(dot_graph)
dot.view()

```
运行结果:

![bs64](https://img.handsomemark.com/2019/09/30/a8528acc-e39d-11e9-848f-0242ac140002.png)

>为了控制图片不要太大，我们选择了用max_depth=3 的分类器来绘制图形，这样可以方便大家观看。

［结果分析］ 图非常清晰地展现了决策树是如何进行预测的，这种展示方法非常便于我们向非专业人士来解释算法是如何进行工作的。先从决策树的根部开始看起，第一个条件是酒精含量小于或等于12.78, samples= 133 指在根节点上，有133 个样本。Value = [41 ，51， 39 ］ 是指有4 1 个样本属于class_0, 53 个样本属于class_1， 其余39 个样本属于class 2 。接下来我们跟着树枝一起前进，在酒精度小于或等于12.78 这个条件为True 的情况下，决策树判断分类为class 1 ，如果是False，则判断为class 0 ，这样到下一层，判断为class 1的样本共有58 个，而判断为class_0 的样本则有75 个，而再下一层则对酒的苹果酸含量进行判断， 进一步对样本进行分类。左边class_1的分支的判断条件是苹果酸含量小于或等于2.96 ，如果为True ，则再判断酒精含量是否小于或等于12.55 ，如果为Fal se 则判断酒精含量是否低于12.1 ，依此类推，直到将样本全部放进3个分类当中。

# 3、决策树的优势和不足
相比其他算法，决策树有一个非常大的优势，就是可以很容易地将模型进行可视化，就像我们在上图所做的一样。这样就可以让非专业人士也可以看得明白。另外，由于决策树算法对每个样本特征进行单独处理， 因此并不需要对数据进行转换（数据转换的概念我们会在第10 章为大家介绍） 。这样一来，如果使用决策树算法的话，我们几乎不需要对数据进行预处理。这也是决策树算法的一个优点。

当然，决策树算法也有它的不足之处一一即便我们在建模的时候可以使用类似max_depth 或是max_leaf_nodes 等参数来对决策树进行预剪枝处理，但它还是不可避免会出现过拟合的问题，也就让模型的泛化性能大打折扣了。

为了避免过拟合的问题出现，可以使用集合学习的方法，也就是我们下面要介绍的随机森林算法。