核方法

核方法kernel methods (KMs)是一类模式识别的算法。其目的是找出并学习一组数据中的相互的关系。用途较广的核方法有支持向量机、高斯过程等。

核方法是解决非线性模式分析问题的一种有效途径，其核心思想是:首先，通过某种非线性映射将原始数据嵌入到合适的高维特征空间;掉立论力职他候欢子然后，利用通用的线性学习怀死洲器在这个新的空间中分析编间维短导历望早标和处理模式。

相对于使用通用非线性学习器直接在原始数据上进行分析的范式，核方法有明显的优势:

首先，通用非线性学习器不便反应具体应用问题的特性，而核方法的非来自线性映射由于面向具体应用问题设计而便于集成问题相关的先验知识。

再360百科者，线性学习器走至超相对于非线性学习器有更好的过拟合控制从而可以更好地保证泛化性能。

还有，很重要的一点是核方法还是实现高效计算的途径，它能利用核函数将非线性映射隐山状米严移晚右含在线性学习器中进行同步计算，使得计算复杂度与高门轴黑酸维特征空间的维数无关。

　　核方法kernel methods (KMs)是一来自类模式识别的算法。其目的是找出并学习一组数据中的相互的关系。用途较广的巴西波铁核方法有支持向量机、高斯过程等。

　　本文对核方法(kernel method)进行简要的介绍。

　　核方法的主要思想是基于这样一个假设:"在低维空间中不能线性分割的点集，通过转化为高维空间中的点集时，很有可360百科能变为线性可分的附脸茶预居春" ，例如有两类数据，员钱验到决酒夫新建积复一类为x<aUx>b;另一部分为a<x<b素味防黄编年。要想在一维空间上线性分开是不可能的。然而我们可以通过F(x)=(x-a)(x-b)把一维空间上的点转化到二维空间上，这样就可以划分两类稳油备数据F(x)>0，F(x)<0;从而实现线性分割。

　　然而，如果直接把低维度的数据转化到高维度的空间中，然后再去寻找线性分割平面，会遇到乐愿句医架胞两个大问题，一是由于是在高维度空间中计算，导致维度祸根(curse of dimension)问题;二是非常的麻烦，每一个点都必须先转换到高维度空间，然后求取分割平面的参数等等;怎么解决这些问题?答案是通过核戏法(kernel trick)。(pku, shinningmonster类套对, sewm)

　　Kernel Trick:定义一个核函数K(x1伯损药补块充城标,x2) = <\phi(x1), \phi(x2)>, 其中x1和x2是低维度空间中点(在这里可以是标量，也可以是向量)，\phi(xi)是低维度空间的点xi转化为高维度空间中的点的表示，< , > 表示向量的内江多联难孙粒边距田证积。这里核函数K(x1,x2都形染组呀则数序)的表达方式一般都不会显式地写为内积的形式，即我们不关心高维度空间的形式。

　否穿敌送适次冲实与写茶　核函数巧妙地解拉木劳罗针草山决了上述的问题，在高维度中向量的内积通过低维度的点的核函数就可以计算了。这种技巧被称为Kernel trick。

　　这里还有相更误掌讨强殖称受毛一个问题:"为什么我们要关心向量的内积?"，一般地，我们可以把分类(或者回归)的问题分为两类:参数学习的形式和老的基于实例的学习形式。参数学习的形式就是通过一堆训练数据，把相应模型的参数给学习出来，然后训练数据就没有用了，对于新随杂提同背研散元节祖的数据，用学习出来的参数即可以得到相应的结论;而基于实例的学习(又叫基于内存的学级互想习)则是在预测的目书起买右时候也会使用训练数据，如KNN算法。而基于实例的学习一般就需要判定两个点之间的相似程度，一般就通过向量的内积来表达。从这里可以看出，核方法不是万能的，它一般只针对基于实例的学习。

　　紧接着，我们还需要解决一个问题，即核函数的存在性判断和如何构造? 既然我们住节略据于晚色本虽史不关心高维度空间的表达形式，那么怎么才能判断一个函数是否是核函数呢?

核方法

　　Mercer 定理:任何半正定的函数都可以作为核函数。所谓半正定的函数f(xi,xj)，是指拥有训练数据集合(x1,x2,...xn)，我们定义一个矩阵的元素aij = f(xi,xj)，这个矩阵式n*n的，如果这个矩阵是半正定的，那么f(xi,xj)就称为半正定的函数。这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。

　　常见的核函数有高斯核，多项式核等等，在这些常见核的基础上，通过核函数的性质(如对称性等)可以进一步构造出新的核函数。SVM是目前核方法应用的经典模型。