2.5 SVM的核方法

学习目标

【SVM + 核函数】具有极大威力。

核函数并不是SVM特有的，核函数可以和其他算法也进行结合，只是核函数与SVM结合的优势非常大。

核函数，是将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。

下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的，此时该如何把这两类数据分开呢?

若x，z是X空间中的点，函数k(x,z)满足下述条件，那么都成立，则称k为核函数，而ϕ为映射函数：

经过上面公式，具体变换过过程为：

$x=(x_1, x_2, x_3)=(1,2,3)$
$y=(y_1, y_2, y_3)=(4,5,6)$
$f(x)=(x_1x_1,x_1x_2,x_1x_3,x_2x_1,x_2x_2,x_2x_3,x_3x_1,x_3x_2,x_3x_3)$
$f(x)=(1,2,3,2,4,6,3,6,9)$
$f(y)=(16,20,24,20,25,36,24,30,36)$
$<f(x),f(y)>=16+40+72+40+100+180+72+180+324=1024$
$K(x,y)=(<x,y>)^2=<f(x),f(y)>=(4+10+18)^2=32^2=1024$

（前后轴为x轴，左右轴为y轴，上下轴为z轴）

1.多项核中，d=1时，退化为线性核；

2.高斯核亦称为RBF核。

线性核和多项式核：
- 这两种核的作用也是首先在属性空间中找到一些点，把这些点当做base，核函数的作用就是找与该点距离和角度满足某种关系的样本点。
- 当样本点与该点的夹角近乎垂直时，两个样本的欧式长度必须非常长才能保证满足线性核函数大于0；而当样本点与base点的方向相同时，长度就不必很长；而当方向相反时，核函数值就是负的，被判为反类。即，它在空间上划分出一个梭形，按照梭形来进行正反类划分。
RBF核：
- 高斯核函数就是在属性空间中找到一些点，这些点可以是也可以不是样本点，把这些点当做base，以这些base为圆心向外扩展，扩展半径即为带宽，即可划分数据。
- 换句话说，在属性空间中找到一些超圆，用这些超圆来判定正反类。
Sigmoid核：
- 同样地是定义一些base，
- 核函数就是将线性核函数经过一个tanh函数进行处理，把值域限制在了-1到1上。
总之，都是在定义距离，大于该距离，判为正，小于该距离，判为负。至于选择哪一种核函数，要根据具体的样本分布情况来确定。