赵走x博客 - 开发者的网上家园

Python机器学习基础教程：3、第一个应用：鸢尾花分类

资源编号:75714 Python机器学习基础教程人工智能热度：119

本节我们将完成一个简单的机器学习应用，并构建我们的第一个模型。同时还将介绍一些核心概念和术语。

>上一篇文章：[Python机器学习基础教程：2、必要的库和工具](http://www.handsomemark.com/articles/2019/07/27/1564200425359.html)
>下一篇文章：

本节我们将完成一个简单的机器学习应用，并构建我们的第一个模型。同时还将介绍一些核心概念和术语。

假设有一名植物学爱好者对她发现的鸢尾花的品种很感兴趣。她收集了每朵鸢尾花的一些测量数据：花瓣的长度和宽度以及花萼的长度和宽度，所有测量结果的单位都是厘米（见图 1-2）。
![image.png](https://img.hacpai.com/file/2019/08/image-3944138c.png)
图 1-2：鸢尾花局部

她还有一些鸢尾花的测量数据，这些花之前已经被植物学专家鉴定为属于 setosa、versicolor 或 virginica 三个品种之一。对于这些测量数据，她可以确定每朵鸢尾花所属的品种。我们假设这位植物学爱好者在野外只会遇到这三种鸢尾花。

我们的目标是构建一个机器学习模型，可以从这些已知品种的鸢尾花测量数据中进行学习，从而能够预测新鸢尾花的品种。

因为我们有已知品种的鸢尾花的测量数据，所以这是一个监督学习问题。在这个问题中，我们要在多个选项中预测其中一个（鸢尾花的品种）。这是一个分类 （classification）问题的示例。可能的输出（鸢尾花的不同品种）叫作类别 （class）。数据集中的每朵鸢尾花都属于三个类别之一，所以这是一个三分类问题。

单个数据点（一朵鸢尾花）的预期输出是这朵花的品种。对于一个数据点来说，它的品种叫作标签 （label）。

# 1.7.1　初识数据

本例中我们用到了鸢尾花（Iris）数据集，这是机器学习和统计学中一个经典的数据集。它包含在 scikit-learn 的 datasets 模块中。我们可以调用 load_iris 函数来加载数据：

```
from sklearn.datasets import load_iris
iris_dataset=load_iris()
```

load_iris 返回的 iris 对象是一个 Bunch 对象，与字典非常相似，里面包含键和值：

```
print("keys of iris_dataset:\n{}".format(iris_dataset.keys()))
```
输出
```
keys of iris_dataset:
dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])   
```

DESCR 键对应的值是数据集的简要说明。我们这里给出说明的开头部分（你可以自己查看其余的内容）：

In[12]:

>   
> print(iris_dataset['DESCR'][:193] + "\n...")  
>   
>   
>

Out[12]:

>   
> Iris Plants Database  
> ====================  
>   
> Notes  
> ----  
> Data Set Characteristics:  
>     :Number of Instances: 150 (50 in each of three classes)  
>     :Number of Attributes: 4 numeric, predictive att  
> ...  
> ----  
>   
>   
>

target_names 键对应的值是一个字符串数组，里面包含我们要预测的花的品种：

In[13]:

>   
> print("Target names: {}".format(iris_dataset['target_names']))  
>   
>   
>

Out[13]:

>   
> Target names: ['setosa' 'versicolor' 'virginica']  
>   
>   
>

feature_names 键对应的值是一个字符串列表，对每一个特征进行了说明：

In[14]:

>   
> print("Feature names: \n{}".format(iris_dataset['feature_names']))  
>   
>   
>

Out[14]:

>   
> Feature names:  
> ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)',  
>  'petal width (cm)']  
>   
>   
>

数据包含在 target 和 data 字段中。data 里面是花萼长度、花萼宽度、花瓣长度、花瓣宽度的测量数据，格式为 NumPy 数组：

In[15]:

>   
> print("Type of data: {}".format(type(iris_dataset['data'])))  
>   
>   
>

Out[15]:

>   
> Type of data: <class 'numpy.ndarray'>  
>   
>   
>

data 数组的每一行对应一朵花，列代表每朵花的四个测量数据：

In[16]:

>   
> print("Shape of data: {}".format(iris_dataset['data'].shape))  
>   
>   
>

Out[16]:

>   
> Shape of data: (150, 4)  
>   
>   
>

可以看出，数组中包含 150 朵不同的花的测量数据。前面说过，机器学习中的个体叫作样本 （sample），其属性叫作特征 （feature）。data 数组的形状 （shape）是样本数乘以特征数。这是 scikit-learn 中的约定，你的数据形状应始终遵循这个约定。下面给出前 5 个样本的特征数值：

In[17]:

>   
> print("First five rows of data:\n{}".format(iris_dataset['data'][:5]))  
>   
>   
>

Out[17]:

>   
> First five rows of data:  
> [[ 5.1  3.5  1.4  0.2]  
>  [ 4.9  3.   1.4  0.2]  
>  [ 4.7  3.2  1.3  0.2]  
>  [ 4.6  3.1  1.5  0.2]  
>  [ 5.   3.6  1.4  0.2]]  
>   
>   
>

从数据中可以看出，前 5 朵花的花瓣宽度都是 0.2cm，第一朵花的花萼最长，是 5.1cm。

target 数组包含的是测量过的每朵花的品种，也是一个 NumPy 数组：

In[18]:

>   
> print("Type of target: {}".format(type(iris_dataset['target'])))  
>   
>   
>

Out[18]:

>   
> Type of target: <class 'numpy.ndarray'>  
>   
>   
>

target 是一维数组，每朵花对应其中一个数据：

In[19]:

>   
> print("Shape of target: {}".format(iris_dataset['target'].shape))  
>   
>   
>

Out[19]:

>   
> Shape of target: (150,)  
>   
>   
>

品种被转换成从 0 到 2 的整数：

In[20]:

>   
> print("Target:\n{}".format(iris_dataset['target']))  
>   
>   
>

Out[20]:

>   
> Target:  
> [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0  
>  0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1  
>  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2  
>  2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2  
>  2 2]  
>   
>   
>

上述数字的代表含义由 iris['target_names'] 数组给出：0 代表 setosa，1 代表 versicolor，2 代表 virginica。

1.7.2　衡量模型是否成功：训练数据与测试数据

我们想要利用这些数据构建一个机器学习模型，用于预测新测量的鸢尾花的品种。但在将模型应用于新的测量数据之前，我们需要知道模型是否有效，也就是说，我们是否应该相信它的预测结果。

不幸的是，我们不能将用于构建模型的数据用于评估模型。因为我们的模型会一直记住整个训练集，所以对于训练集中的任何数据点总会预测正确的标签。这种“记忆”无法告诉我们模型的泛化 （generalize）能力如何（换句话说，在新数据上能否正确预测）。

我们要用新数据来评估模型的性能。新数据是指模型之前没有见过的数据，而我们有这些新数据的标签。通常的做法是将收集好的带标签数据（此例中是 150 朵花的测量数据）分成两部分。一部分数据用于构建机器学习模型，叫作训练数据 （training data）或训练集 （training set）。其余的数据用来评估模型性能，叫作测试数据 （test data）、测试集 （test set）或留出集 （hold-out set）。

scikit-learn 中的 train_test_split 函数可以打乱数据集并进行拆分。这个函数将 75% 的行数据及对应标签作为训练集，剩下 25% 的数据及其标签作为测试集。训练集与测试集的分配比例可以是随意的，但使用 25% 的数据作为测试集是很好的经验法则。

scikit-learn 中的数据通常用大写的 X 表示，而标签用小写的 y 表示。这是受到了数学标准公式 f (x )=y 的启发，其中 x 是函数的输入，y 是输出。我们用大写的 X 是因为数据是一个二维数组（矩阵），用小写的 y 是因为目标是一个一维数组（向量），这也是数学中的约定。

对数据调用 train_test_split ，并对输出结果采用下面这种命名方法：

In[21]:

>   
> from sklearn.model_selection import train_test_split  
> X_train, X_test, y_train, y_test = train_test_split(  
>     iris_dataset['data'], iris_dataset['target'], random_state=0)  
>   
>   
>

在对数据进行拆分之前，train_test_split 函数利用伪随机数生成器将数据集打乱。如果我们只是将最后 25% 的数据作为测试集，那么所有数据点的标签都是 2 ，因为数据点是按标签排序的（参见之前 iris['target'] 的输出）。测试集中只有三个类别之一，这无法告诉我们模型的泛化能力如何，所以我们将数据打乱，确保测试集中包含所有类别的数据。

为了确保多次运行同一函数能够得到相同的输出，我们利用 random_state 参数指定了随机数生成器的种子。这样函数输出就是固定不变的，所以这行代码的输出始终相同。本书用到随机过程时，都会用这种方法指定 random_state 。

train_test_split 函数的输出为 X_train 、X_test 、y_train 和 y_test ，它们都是 NumPy 数组。X_train 包含 75% 的行数据，X_test 包含剩下的 25%：

In[22]:

>   
> print("X_train shape: {}".format(X_train.shape))  
> print("y_train shape: {}".format(y_train.shape))  
>   
>   
>

Out[22]:

>   
> X_train shape: (112, 4)  
> y_train shape: (112,)  
>   
>   
>

In[23]:

>   
> print("X_test shape: {}".format(X_test.shape))  
> print("y_test shape: {}".format(y_test.shape))  
>   
>   
>

Out[23]:

>   
> X_test shape: (38, 4)  
> y_test shape: (38,)  
>   
>   
>

1.7.3　要事第一：观察数据

在构建机器学习模型之前，通常最好检查一下数据，看看如果不用机器学习能不能轻松完成任务，或者需要的信息有没有包含在数据中。

此外，检查数据也是发现异常值和特殊值的好方法。举个例子，可能有些鸢尾花的测量单位是英寸而不是厘米。在现实世界中，经常会遇到不一致的数据和意料之外的测量数据。

检查数据的最佳方法之一就是将其可视化。一种可视化方法是绘制散点图 （scatter plot）。数据散点图将一个特征作为 x 轴，另一个特征作为 y 轴，将每一个数据点绘制为图上的一个点。不幸的是，计算机屏幕只有两个维度，所以我们一次只能绘制两个特征（也可能是 3 个）。用这种方法难以对多于 3 个特征的数据集作图。解决这个问题的一种方法是绘制散点图矩阵 （pair plot），从而可以两两查看所有的特征。如果特征数不多的话，比如我们这里有 4 个，这种方法是很合理的。但是你应该记住，散点图矩阵无法同时显示所有特征之间的关系，所以这种可视化方法可能无法展示数据的某些有趣内容。

图 1-3 是训练集中特征的散点图矩阵。数据点的颜色与鸢尾花的品种相对应。为了绘制这张图，我们首先将 NumPy 数组转换成 pandas DataFrame 。pandas 有一个绘制散点图矩阵的函数，叫作 scatter_matrix 。矩阵的对角线是每个特征的直方图：

In[24]:

>   
> # 利用X_train中的数据创建DataFrame  
> # 利用iris_dataset.feature_names中的字符串对数据列进行标记  
> iris_dataframe = pd.DataFrame(X_train, columns=iris_dataset.feature_names)  
> # 利用DataFrame创建散点图矩阵，按y_train着色  
> grr = pd.scatter_matrix(iris_dataframe, c=y_train, figsize=(15, 15), marker='o',  
>                         hist_kwds={'bins': 20}, s=60, alpha=.8, cmap=mglearn.cm3)  
>   
>   
>

![null](images/00142.jpg)

图 1-3：Iris 数据集的散点图矩阵，按类别标签着色

从图中可以看出，利用花瓣和花萼的测量数据基本可以将三个类别区分开。这说明机器学习模型很可能可以学会区分它们。

1.7.4　构建第一个模型：k近邻算法

现在我们可以开始构建真实的机器学习模型了。scikit-learn 中有许多可用的分类算法。

这里我们用的是 k 近邻分类器，这是一个很容易理解的算法。构建此模型只需要保存训练集即可。要对一个新的数据点做出预测，算法会在训练集中寻找与这个新数据点距离最近的数据点，然后将找到的数据点的标签赋值给这个新数据点。

k 近邻算法中 k 的含义是，我们可以考虑训练集中与新数据点最近的任意 k 个邻居（比如说，距离最近的 3 个或 5 个邻居），而不是只考虑最近的那一个。然后，我们可以用这些邻居中数量最多的类别做出预测。第 2 章会进一步介绍这个算法的细节，现在我们只考虑一个邻居的情况。

scikit-learn 中所有的机器学习模型都在各自的类中实现，这些类被称为 Estimator 类。k 近邻分类算法是在 neighbors 模块的 KNeighborsClassifier 类中实现的。我们需要将这个类实例化为一个对象，然后才能使用这个模型。这时我们需要设置模型的参数。 KNeighborsClassifier 最重要的参数就是邻居的数目，这里我们设为 1 ：

In[25]:

>   
> from sklearn.neighbors import KNeighborsClassifier  
> knn = KNeighborsClassifier(n_neighbors=1)  
>   
>   
>

knn 对象对算法进行了封装，既包括用训练数据构建模型的算法，也包括对新数据点进行预测的算法。它还包括算法从训练数据中提取的信息。对于 KNeighborsClassifier 来说，里面只保存了训练集。

想要基于训练集来构建模型，需要调用 knn 对象的 fit 方法，输入参数为 X_train 和 y_train ，二者都是 NumPy 数组，前者包含训练数据，后者包含相应的训练标签：

In[26]:

>   
> knn.fit(X_train, y_train)  
>   
>   
>

Out[26]:

>   
> KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',  
>            metric_params=None, n_jobs=1, n_neighbors=1, p=2,  
>            weights='uniform')  
>   
>   
>

fit 方法返回的是 knn 对象本身并做原处修改，因此我们得到了分类器的字符串表示。从中可以看出构建模型时用到的参数。几乎所有参数都是默认值，但你也会注意到 n_neighbors=1 ，这是我们传入的参数。scikit-learn 中的大多数模型都有很多参数，但多用于速度优化或非常特殊的用途。你无需关注这个字符串表示中的其他参数。打印 scikit-learn 模型会生成非常长的字符串，但不要被它吓到。我们会在第 2 章讲到所有重要的参数。在本书的其他章节中，我们不会给出 fit 的输出，因为里面没有包含任何新的信息。

1.7.5　做出预测

现在我们可以用这个模型对新数据进行预测了，我们可能并不知道这些新数据的正确标签。想象一下，我们在野外发现了一朵鸢尾花，花萼长 5cm 宽 2.9cm，花瓣长 1cm 宽 0.2cm。这朵鸢尾花属于哪个品种？我们可以将这些数据放在一个 NumPy 数组中，再次计算形状，数组形状为样本数（1）乘以特征数（4）：

In[27]:

>   
> X_new = np.array([[5, 2.9, 1, 0.2]])  
> print("X_new.shape: {}".format(X_new.shape))  
>   
>   
>

Out[27]:

>   
> X_new.shape: (1, 4)  
>   
>   
>

注意，我们将这朵花的测量数据转换为二维 NumPy 数组的一行，这是因为 scikit-learn 的输入数据必须是二维数组。

我们调用 knn 对象的 predict 方法来进行预测：

In[28]:

>   
> prediction = knn.predict(X_new)  
> print("Prediction: {}".format(prediction))  
> print("Predicted target name: {}".format(  
>        iris_dataset['target_names'][prediction]))  
>   
>   
>

Out[28]:

>   
> Prediction: [0]  
> Predicted target name: ['setosa']  
>   
>   
>

根据我们模型的预测，这朵新的鸢尾花属于类别 0，也就是说它属于 setosa 品种。但我们怎么知道能否相信这个模型呢？我们并不知道这个样本的实际品种，这也是我们构建模型的重点啊！

1.7.6　评估模型

这里需要用到之前创建的测试集。这些数据没有用于构建模型，但我们知道测试集中每朵鸢尾花的实际品种。

因此，我们可以对测试数据中的每朵鸢尾花进行预测，并将预测结果与标签（已知的品种）进行对比。我们可以通过计算精度 （accuracy）来衡量模型的优劣，精度就是品种预测正确的花所占的比例：

In[29]:

>   
> y_pred = knn.predict(X_test)  
> print("Test set predictions:\n {}".format(y_pred))  
>   
>   
>

Out[29]:

>   
> Test set predictions:  
> [2 1 0 2 0 2 0 1 1 1 2 1 1 1 1 0 1 1 0 0 2 1 0 0 2 0 0 1 1 0 2 1 0 2 2 1 0 2]  
>   
>   
>

In[30]:

>   
> print("Test set score: {:.2f}".format(np.mean(y_pred == y_test)))  
>   
>   
>

Out[30]:

>   
> Test set score: 0.97  
>   
>   
>

我们还可以使用 knn 对象的 score 方法来计算测试集的精度：

In[31]:

>   
> print("Test set score: {:.2f}".format(knn.score(X_test, y_test)))  
>   
>   
>

Out[31]:

>   
> Test set score: 0.97  
>   
>   
>

对于这个模型来说，测试集的精度约为 0.97，也就是说，对于测试集中的鸢尾花，我们的预测有 97% 是正确的。根据一些数学假设，对于新的鸢尾花，可以认为我们的模型预测结果有 97% 都是正确的。对于我们的植物学爱好者应用程序来说，高精度意味着模型足够可信，可以使用。在后续章节中，我们将讨论提高性能的方法，以及模型调参时的注意事项。

1.8　小结与展望

总结一下本章所学的内容。我们首先简要介绍了机器学习及其应用，然后讨论了监督学习和无监督学习之间的区别，并简要介绍了本书将会用到的工具。随后，我们构思了一项任务，要利用鸢尾花的物理测量数据来预测其品种。我们在构建模型时用到了由专家标注过的测量数据集，专家已经给出了花的正确品种，因此这是一个监督学习问题。一共有三个品种：setosa、versicolor 或 virginica，因此这是一个三分类问题。在分类问题中，可能的品种被称为类别 （class），每朵花的品种被称为它的标签 （label）。

鸢尾花（Iris）数据集包含两个 NumPy 数组：一个包含数据，在 scikit-learn 中被称为 X ；一个包含正确的输出或预期输出，被称为 y 。数组 X 是特征的二维数组，每个数据点对应一行，每个特征对应一列。数组 y 是一维数组，里面包含一个类别标签，对每个样本都是一个 0 到 2 之间的整数。

我们将数据集分成训练集 （training set）和测试集 （test set），前者用于构建模型，后者用于评估模型对前所未见的新数据的泛化能力。

我们选择了 k 近邻分类算法，根据新数据点在训练集中距离最近的邻居来进行预测。该算法在 KNeighborsClassifier 类中实现，里面既包含构建模型的算法，也包含利用模型进行预测的算法。我们将类实例化，并设定参数。然后调用 fit 方法来构建模型，传入训练数据（X_train ）和训练输出（y_trian ）作为参数。我们用 score 方法来评估模型，该方法计算的是模型精度。我们将 score 方法用于测试集数据和测试集标签，得出模型的精度约为 97%，也就是说，该模型在测试集上 97% 的预测都是正确的。

这让我们有信心将模型应用于新数据（在我们的例子中是新花的测量数据），并相信模型在约 97% 的情况下都是正确的。

下面汇总了整个训练和评估过程所必需的代码：

In[32]:

>   
> X_train, X_test, y_train, y_test = train_test_split(  
>     iris_dataset['data'], iris_dataset['target'], random_state=0)  
>   
> knn = KNeighborsClassifier(n_neighbors=1)  
>   
> knn.fit(X_train, y_train)  
>   
> print("Test set score: {:.2f}".format(knn.score(X_test, y_test)))  
>   
>   
>

Out[32]:

>   
> Test set score: 0.97  
>   
>   
>

这个代码片段包含了应用 scikit-learn 中任何机器学习算法的核心代码。fit 、predict 和 score 方法是 scikit-learn 监督学习模型中最常用的接口。学完本章介绍的概念，你可以将这些模型应用到许多机器学习任务上。下一章，我们会更深入地介绍 scikit-learn 中各种类型的监督学习模型，以及这些模型的正确使用方法。