SVM算法又称为支持向量机，用于分类，优点是适用于小样本和算法优美（此处优美表现在数学推导上）。

那么，其实分类算法我们已经介绍了几种了，先来回顾一下

1. 逻辑回归通过拟合曲线（或者学习超平面）实现分类；
2. 决策树通过寻找最佳划分特征进而学习样本路径实现分类；
3. 朴素贝叶斯是通过特征概率来预测分类。

而现在介绍的SVM（支持向量机）则是通过寻找 分类超平面进而最大化类别间隔 实现分类；

先来介绍一下SVM算法的分类类型，进而介绍SVM算法中提及的最大间隔，分类超平面，及其实现原理。

线性可分样本集：只要我们可以使用一条直线将样本集完全分开，如图1.

非线性可分样本集：没有办法直接画一条直线，只能用曲线等模式来分开的样本集，如图2

下面整体的思路就是由线性可分样本集推到非线性可分的问题
基于线性可分样本集，我们发现只要存在一条直线（一个超平面）可以将类1与类2进行分开。那也就说明实际上有无数条直线（超平面）可以将类1与类2分开。如下图：
那么问题来了： 1 选择哪一条直线（超平面）最好呢？

从图中可以得出，在样本统计中，如果我们是 允许误差存在的。那么2号线（超平面）的容错度可能更大一点 ，就是说线2更加robust，这个超平面离直线两边的数据的间隔最大，对训练集的数据的局限性或噪声有最大的“容忍”能力。

接着，问题又来了， 怎么取到2号线（2号超平面）的呢 ？

解答：随机预测出某条线，然后将这条线进行平行移动，直到它交于某一个圈或某几个圈为止；同理，又进行平移，直到交于某几个星为止，这样我们找到两个相交的线，两条相交线的间隔就是最大分类间隔，间隔的中点位置就是2号线位置。如下图：

所以，很显然，d越大，也就说明红色实线距离样本点越远，此时容错率也就更高。所以我们的目标为：找分类间隔d最大的线，也就是寻找 分类间隔最大的超平面 。

• 超平面：在二维中就是一条直线，在多维空间里它是一个N维的，我们可能无法想象，所以定义为超平面。

• 支持向量：支持向量就是将平行线向左右移动， 相交的样本点就称为支持向量 。如图中的红点。所以也就是说，我们的支持向量机只与支持向量有关，与其它向量无关。
  

在有对 线性可分样本集与非线性可分样本集 、分类间隔、超平面、支持向量的概念后，我们把它翻译为数学语言，并说明SVM算法是如何应用的。

1. 定义训练数据和标签
   

• xi：向量。实际上是训练数据集的位置。注意这里是向量，不是支持向量，支持向量是离平面最近的点，也就是平面左右平移中第一个与之相交的点。

• yi：标签
  
  这里的类1：+1，是指在超平面上面，类2：-1，是指在超平面下面。这里是为了方便后面公式推导这样假设的，不影响。

• 超平面：这里再讲一下（观点与上面一样）。那有了这个定义后，假设目标函数为一条直线。已知x,y，则需要求解两个条件：w,b。得到方程如下：

但是实际情况是，我们使用支持向量机解决的问题 通常都不是简单的二维问题，而是更高维度的 。所以x、w如下：

得到超平面模型为：

补充：当f ( x )等于0的时候，x便是位于超平面上的点，而f ( x ) 大于0的点对应 y=1 的数据点，f ( x ) 小于0的点对应y=-1的点。f(x) = wTx + b

2. 训练集线性可分的数学定义
   二维理解：如图，及如上面的图，1条线把图分为两类，在平面上方>0，在平面下方<0
   
   所以，同理可得对于超平面来说线性可分的定义如下：
   
3. 求解向量到超平面的距离

• 回顾一下点到平面的距离公式：
  平面方程为Ax+By+Cz+D=0；点P的坐标(x0,y0,z0)；d为点P到平面的距离公式如下:
  
  同理推导向量到超平面的距离
  

4. 优化目标，利用SVM求出合适的超平面进行分类

数据：3个点。其中正例X1(3,3),X2(4,3),负例X3(1,1)

目标函数（超平面的公式转为求α最大值的问题）：

约束条件：
（1）αi*yi的和为0
（2）αi>=0 i=1,2,3
那现在，我们就将数据代入到目标公式：


那整个式子只与α1、α2有关。那我们需要将整个式子求解最大值。我们也转换为求极小值。



但是α2<0是不符合约束条件的。所以我们需要的这个解不在偏导为0的位置。思考，处于α1=0或者α2=0的边界位置上。

现在求得了α之后，我们其实是需要求解w,b的。

• 软间隔：假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情况。 软间隔，就是允许一定量的样本分类错误

当容忍一些样本分类错误的线性可分模型，我们可以称为近似线性可分。如下：

那为了使样本分类不那么严格，我们引入了松弛因子。构建新的目标函数：

C为常数项，C的右边部分为松弛因子。当常数项越大，松弛因子越小，说明软间隔越小，相反，则软间隔越大。
同时，新的目标函数就是我们讲的“软间隔支持向量机”

对于非线性样本集，不论多么高级的线性分类器，都无法处理。

这时，我们需要引入一个新的概念：核函数。它可以 将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以 使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进行 。
图示：

我们可以形象地理解为：桌子上零散地放着核桃和腰果两种零食，我们要把它分类。那么假设我们用力且巧妙的一拍打，恰好可以把所有腰果跳出桌面，停在空中，那么我们用力且巧妙的一拍打就可以理解为是核函数。

所以在非线性 SVM 中，核函数的选择就是影响 SVM 最大的变量。最常用的核函数有线性核、多项式核、高斯核、拉普拉斯核、sigmoid 核，或者是这些核函数的组合。这些函数的区别在于映射方式的不同。通过这些核函数，我们就可以把样本空间投射到新的高维空间中。

常用的核函数为：