赵走x博客 - 开发者的网上家园

深入浅出Python机器学习：19、支持向量机SVM 基本概念

资源编号:75906 人工智能深入浅出Python机器学习热度：163

又到了作者绞尽脑汁给小C 设计任务的时候了，这一次需要帮助的是小C 的室友D 。小D 最近也交了一个女朋友，但是这个女孩好像非常情绪化，喜怒无常，让小D 捉摸不透。面对如此棘手的难题，小D 只好来请教小C 。当然对于小C 来说，这个问题也很难办，因为小D 女朋友的情绪完全不是“线性可分”的，于是小C 想到了SVM 算法，也就是大名鼎鼎的一一支持向量机。本章主要涉及的知识点有： 1、支持向量机的基本原理和构造 2、支持向量机的核函数 3、支持向量机的参数调节 4、支持向量机实例一一对波士顿房价进行回归分析

>支持向量机SVM ---专治线性不可分  :
又到了作者绞尽脑汁给小C 设计任务的时候了，这一次需要帮助的是小C 的室友D 。小D 最近也交了一个女朋友，但是这个女孩好像非常情绪化， 喜怒无常，让小D 捉摸不透。面对如此棘手的难题， 小D 只好来请教小C 。当然对于小C 来说，这个问题也很难办，因为小D 女朋友的情绪完全不是“线性可分”的，于是小C 想到了SVM 算法，
也就是大名鼎鼎的一一支持向量机。
本章主要涉及的知识点有：
1、支持向量机的基本原理和构造
2、 支持向量机的核函数
3、支持向量机的参数调节
4、支持向量机实例一一对波士顿房价进行回归分析

# 1、支持向量机SVM的原理
首先，我们要先了解一下什么是“线性可分”和“线性不可分”。举个例子，我们知道男生是很简单的动物， 假设，只是假设， 男生的情绪分布如图所示。

![bs64](https://img.handsomemark.com/2019/10/03/a430adf4-e58f-11e9-997c-0242ac140002.png)
可以看到， 当我们提取样本特征是“是否有妹子” 和“是否有好吃的”这两项的时候，能够很容易用图中的直线把男生的情绪分成“开心”和“不开心”两类，这种情况下我们说样本是线性可分的。

但是呢，女生的情绪可能要复杂很多， 有时候从男生的角度来看，她们的情绪分布可能是如图所示的这样：

![bs64](https://img.handsomemark.com/2019/10/03/bac42a6e-e58f-11e9-8fb4-0242ac140002.png)

从图中我们己经可以感受到线性模型“深深的绝望”了，无论是用哪一条直线，都无法将女生的情绪进行正确的分类。在这种情况下，我们说样本是线性不可分的。那怎么办？是不是就真的束手无策了呢？

不要怕！我们有强大的SVM 支持向量机，它的核函数功能可以帮助到我们。现在大家想象一下，假如“开心”的情绪是轻飘飘的，而“不开心”的情绪是沉重的，我们把数据扔到水里， “开心”就会漂浮起来，而“不开心”就会沉下去，变成图 所示的样子：

![bs64](https://img.handsomemark.com/2019/10/03/f07bbdd4-e58f-11e9-9a97-0242ac140002.png)

从图中，我们看到，经过处理之后的数据，很容易用一块玻璃板将两种心情进行分类了。如果从正上方向下看，将三维视图还原成二维，那么你可能会发现分类器是下面的样子：

![bs64](https://img.handsomemark.com/2019/10/03/089350ee-e590-11e9-aada-0242ac140002.png)

如果这样看起来的话，这一点也不像是线性分类器的样子了。而刚才我们通过利用“开心”和“ 不开心”的重量差实现将二维数据变成三维的过程，称为将数据投射至高维空间。这正是SVM 算法的核函数（ kernel trick）功能，在SVM 中用得最普遍的两种把数据投射到高维空间的方法分别是多项式内核（Polynomial kernel ）和径向基内核（ Radial basis function kernel ，RBF ） 。其中多项式内核比较容易理解，它是通过把样本原始特征进行乘方来把数据投射到高维空间， 比如特征1 乘2 次方、特征2 乘3 次方，特征3 乘5 次方等。
而RBF 内核也被称为高斯内核（ Gaussian kernel ），接下来我们详细介绍一下RBF 内核。

# 2、支持向量机SVM的核函数
在SVM 算法中，训练模型的过程实际上是对每个数据点对于数据分类决定边界的重要性进行判断。也就是说， 在训练数据集中，只有一部分数据对于边界的确定是有帮助的，而这些数据点就是正好位于决定边界上的。这些数据被称为“ 支持向量”（ support vectors ），这也是“支持向量机”名字的由来。下面我们用图像来直观理解一下，在Jupyter Notebook 中输入代码如下：
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
# 导入支持向量机SVM
from sklearn import svm
# 导入数据集生成工具
from sklearn.datasets import make_blobs

# 先创建50个数据点，让它们分为两类
X, y = make_blobs(n_samples=50, centers=2, random_state=6)
# 创建一个线性内核的支持向量机模型
clf = svm.SVC(kernel='linear', C=1000)
clf.fit(X, y)
# 把数据点画出来
plt.scatter(X[:, 0], X[:, 1], c=y, s=30, cmap=plt.cm.Paired)
# 建立图像坐标
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
# 生成两个等差数列
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)
# 把分类的决定边界画出来
ax.contour(XX,YY,Z,colors='k',levels=[-1,0,1],alpha=0.5,linestyles=['--','-','--'])
ax.scatter(clf.support_vectors_[:,0],
           clf.support_vectors_[:,1],s=100,linewidth=1,facecolors='none')
plt.show()
```
运行结果：

![bs64](https://img.handsomemark.com/2019/10/03/a9164508-e5b3-11e9-94ac-0242ac140002.png)

｛结果分析］从图7-5 中，可以清晰地看到，在分类器两侧分别有两条虚线，那些正好压在虚线上的数据点， 就是我们刚刚提到的支持向量。而本例使用的这种方法称为“最大边界间隔超平面”（ Maximum Margin Separating Hyperplane ） 。指的是说中间这条实线（在高维数据中是一个超平面） ，和所有支持向量之间的距离，都是最大的。

如果我们把SVM 的内核换成是RBF ，会得到怎样的结果呢？下面我们输入代码如下：
```
# 导入numpy
import numpy as np
# 导人画图工具
import matplotlib.pyplot as plt
# 导入支持向量机SVM
from sklearn import svm
# 导入数据集生成工具
from sklearn.datasets import make_blobs

# 先创建50个数据点，让它们分为两类
X, y = make_blobs(n_samples=50, centers=2, random_state=6)
# 创建一个RBF 内核的支持向盘机模型
clf = svm.SVC(kernel='rbf', C=1000)
clf.fit(X, y)
# 把数据点画出来
plt.scatter(X[:, 0], X[:, 1], c=y, s=30, cmap=plt.cm.Paired)
# 建立图像坐标
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
# 生成两个等差数列
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)
# 把分类的决定边界画出来
ax.contour(XX,YY,Z,colors='k',levels=[-1,0,1],alpha=0.5,linestyles=['--','-','--'])
ax.scatter(clf.support_vectors_[:,0],
           clf.support_vectors_[:,1],s=100,linewidth=1,facecolors='none')
plt.show()
```
运行结果：

![bs64](https://img.handsomemark.com/2019/10/03/0938dbee-e5b4-11e9-b229-0242ac140002.png)

［结果分析｝ 从图中，我们看到分类器的样子变得完全不一样了，这是因为当我们使用RBF 内核的时候，数据点之间的距离是用如下公式来计算的：
$$k_{rbf} (x_1,x_2)=exp(\gamma(||x_1-x_2||^2)) $$
公式中的$$x_1$$ ， 和$$x_2$$代表两个不同的数据点，而$$||x_1-x_2||$$代表两个点之间的欧几里得距离。
$$\gamma$$ (gamma ）是用来控制RBF 内核宽度的参数，也就是图中实线距离两条虚线的距离。