基于支持向量机的回归应用研究

基于支持向量机的回归应用研究

摘要：本文通过-支持向量机进行非线性回归的实例研究，通过交叉验证确定最优系数。结果在大部分的数据点，都取得了良好的效果。

关键词：svm；非线性回归；交叉验证

1 引言[1]

支持向量机是在统计学习理论的基础上产生出了一种新型的学习机器。支持向量机算法在解决小样本问题的同时，又能解决神经网络算法中的高维问题和局部极值问题，使其具有更大的优势，其结构也非常简单，为统计学习理论的实际应用提供了有效的工具。

支持向量机使用了大间隔因子来控制学习机器的训练过程，使其只选择具有最大分类间隔的分类超平面从而使其在满足分类条件的情况下，又具有高的推广能力。寻找最优超平面的过程最终转化为二次型优化问题，从理论上讲，得到的是全局最优解。与传统的学习机器不同的是，支持向量机是将原始的模式矢量映射到非常高维的特征空间，仍然使用大间隔因子在高维特征空间中寻找最大间隔超平面。得到的高维特征空间中的超平面对应着原始模式空间中的非线性分类面。而实际上，其优化过程并没有真正在高维空间中进行，只是通过一些具有特殊性质的核函数，将高维空间中的内积运算转化为原始空间中核函数的运算，从而巧妙地避免了在高维空间中处理问题的困