支持向量机及支持向量回归简介

3．支持向量机（回归）

3.1.1 支持向量机

支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。

所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。

特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间

n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。如果

221

(,)((),()),

{}k k k k k K x y a x y a l φφ∞

==∈∑，

那么取1

()()k k k x a x φφ∞

==∑即为所求的非线性嵌入映射。由于核函数(,)K x y 的定义

域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内

积

(),())x y φφ（所需付出的计算代价。实际计算中，我们只要选定一个(,)K x y ，

并不去重构嵌入映射1

()()k k k x a x φφ∞

==∑。所以寻找核函数(,)K x y （对称且非负）

就是主要任务了。满足以上条件的核函数很多，例如

可以取为d-阶多项式：(,)(1)d K x y x y =+，其中y 为固定元素。

可以取为径向函数：()22(,)exp ||||/K x y x y σ=-，其中y 为固定元素。

可以取为神经网络惯用的核函数：()12(,)tanh ()K x y c x y c =+，其中y 为固定元素。

一般地，核函数的存在性只依赖于如何寻找一个平方收敛的非负序列{}k a 。这样的序列在2l 空间的正锥{}{}22|0,k k l a l a k +=∈≥?中的序列都满足。但哪一个最佳还有待于进一步讨论。经验表明，分类问题对于核函数不太敏感。当然，重新构造一个核函数也不是一个简单的事。因此，实际操作中往往就在上述三类中挑出一个来使用就可以了。

支持向量机的结构示意图可以表示如下：

图1 支持向量机结构示意图

其中输入层是为了存贮输入数据，并不作任何加工运算；中间层是通过对样本集的学习，选择(,),1,2,3,...,i K x x i L =；最后一层就是构造分类函数

1

sgn((,))L

i i i i y y a K x x b ==+∑

整个过程等价于在特征空间中构造一个最优超平面。

支持向量机的作用之一就是分类。根据分类的任务，可以划分为一分类，二分类以及多分类。对于多类分类问题，可以用若干种手法将其分解为若干个二分类问题叠加。因此，为了实现支持向量机分类的算法，我们只要针对二分类，从头来给出它的数学原理。

3.1.2 支持向量机分类的数学原理

设样本集为{}{}(,)|;1,1,1,...,n i i i i x y x R y i I ∈∈-+=，我们的目的是寻找一个最优超平面H 使得标签为＋1 和－1的两类点不仅分开且分得间隔最大。

当在n 维欧几里德空间中就可以实现线性分离时，也即存在超平面将样本集按照标签－1与＋1分在两边。由于超平面在n 维欧几里德空间中的数学表达式是一个线性方程 ,0w x b <>+=，其中，w 为系数向量，x 为n 维变量，

,w x <>内积，b 为常数。空间中点i x 到超平面L 的距离

|,|(,)||||i i w x b d x L w <>+=

。欲使得(,)i d x H 最大，等价于21

||||2

w 最小。于是，

得到一个在约束条件下的极值问题

21min ||||2(,)1,1,2,...,i i w y w x b i I

?

?

?

?<>+≥=? 引入Lagrange 乘子12(,,...,)I αααα=，可以解得关于该参变量的方程

12

1

,1

(),I

I

i i

j

i j i j i i j Q y y x x αααα

===-

<>∑∑

称之为Lagrange 对偶函数。其约束条件为

,1

0,0,1,2,...,I

i

i

i i j y

i I αα==≥=∑

在此约束条件之下， 使得()Q α达到最大值的α的许多分量为0，不为0的i α 所对应的样本i x 就称为支持向量。这就是支持向量的来历。

当在输入空间不能实现线性分离，假设我们找到了非线性映射φ将样本集

{}{}(,)|;1,1,1,...,n

i

i

i

i

x y x R y i I ∈∈-+=映射到高维特征空间H 中，此时我们

考虑在H 中的集合{}{}((),)|;1,1,1,...,n i i i i x y x R y i I φ∈∈-+=的线性分类，即在H 中构造超平面，其权系数w 满足类似的极值问题。由于允许部分点可以例外，那么可以引入松弛项，即改写为：

2

1

1min ||||2(,)1,0,1,2,...,L

i

i i

i i i w C y w x b i I

ξξξ=?+???<>+≥-≥=?∑ 最终转化为一个二次型在约束条件下的二次规划问题：

''

'11min 20,0(,...,)(,...,)T T I

D c y A C C αααα

αααα?+??

?=≤=≤=? 其中，1(,...,)T I y y y =，(1,...,1)T c =--，()1,(,)i j i j i j I D K x x y y ≤≤=为矩阵。(,)K x s 是核函数。

一分类问题是一个极端情形但却又是非常有用的，它可以表示为如下数学模型：设{}|,1,...,n i i x x R i I ∈=为空间n R 的有限观测点，找一个以a 为心，以R 为半径的包含这些点的最小球体。因此，一分类是对于求一个化合物成分的最小包络曲面的最佳方法。与前面完全相同的手法，设φ是由某个核函数(,)K x s 导出的从输入空间到特征空间中的嵌入映射，最后可以得到二次规划问题

'''11min 20,0(,...,)(,...,)T T I

D c y A C C α

ααααααα?

+??

?=≤=≤=? 其中，1(,...,)T I y y y =， (1,...,1)T c =--， ()1,(,)i j i j i j I D K x x y y ≤≤=为矩阵。(,)K x s 是核函数。此时

1

1

1

()(,)2(,)(,)L L

L

i i i

j

i

j

i j i f x K x x K x x K x x ααα====-+∑∑

∑

此时几乎所有的点满足2()f x R ≤。参数C 起着控制落在球外点的数目,变化区间为：1/1L C <<.

3.1.3基于线性规划的SVM 分类

由于分类问题的自然推理过程都会归结到二次规划求解，计算复杂度相对较高。

如果能将其简化为线性规划而且没有较大的误差， 那么计算量将急速减少。于是提出了基于线性规划的SVM 分类。此方法经过数学严格推理，是合理的（因为涉及泛函的知识较多，推理过程放在附录中）。因此产生了基于线性规划一分类、二分类、多分类。此处，我们仅给出基于线性规划的SVM 分类的最终形式：

11

1

min .(,),1,...,;1;,0

L

i i L

L

i i j j i

i i i i C s t K x x j L ρξαρξα

αξ===???-+?

?????

???≥-==≥??∑∑∑

解出α与ρ则得出决策函数1

()(,)L

i i j i f x K x x α==∑以及阈值。参数C 控制着满足条

件()f x ρ≥的样本数量。特别核函数取为径向函数时，参数2σ越小，精度越高。 另外，要提醒注意的是，在求解大规模分类问题得SVM 算法实现时，需要以下辅助手段：

停机准则：由于分类问题等价于求对偶问题在约束条件下的极值

1111max (,)

..0,0,1,2,...,L L L

i i j i j i j i i j L

i i i j y y K x x s t y C i L ααααα====?

-??

??=≤≤=??

∑∑∑∑ 而KKT 条件

[(,())1]0

()0,1,2,...,i i i i i i y w x b C i L αφξαξ<>+-+=??

-==?

是收敛的充分必要条件。 因此通过监控KKT 条件来得到停机条件

110,0,1,2,...,1,0,((,))1,0,1,,L

i i i j i L

i i i i j i

j i y C i L i y y K x x b C i

C i αααααα==?=≤≤=???

≥=?????+=<

∑∑ 这个条件中的不等式不必严格成立，只要在一定误差条件下成立就可以用了。

选块算法＋分解法

1. 给定参数0M >，0ε>， 0k =。 选取初始工作集0W T ?，记其对应的样

本点的下标集为0J 。令k W T ?第k 次更新的工作集，其对应的样本点的下标集为k J 。

2. 基于工作集k W T ?， 由优化问题

1111max (,)

..0,0,L L L

i i j i j i j i i j L

i i i k j y y K x x s t y C i J ααααα====?

-??

??=≤≤∈??

∑∑∑∑ 求出最优解?{,}j k a

j J ∈，构造 1(,...,)k k k

L ααα=按照如下方式：

?,0,

k j

k k j

k

j J j J αα?∈?=????

3. 如果k α已经在精度ε内满足停机准则，那么以此权系数构造决策函数即可。

否则继续下一步。

4. 在\k T W 中找出M 个最严重破坏条件

11,0,((,))1,0,1,,i L

i i i i j i j i i y y K x x b C i C i

αααα=≥=???

+=<

∑ 加入k W 得出新的工作集1k W +，相应的下标集记为1k J +。 5． 重复2）－3），直到样本集耗完为止。

序列最小优化算法（SMO ）

Input: the observed dataset {}11(,),...,(,)|,n l l i j S x y x y x R y R =∈∈, 输入精度

要求0ε>及指定核函数(,)K x y ，初始化00α=，0k =。 Output: the classification of these samples Step1. 由更新公式

12211

111222()

k k k k k k y y αααααα+++=+

=+-

Step2. 如果第k 步时达到停机要求，取近似解?k α

α=，否则继续迭代，直到满足停机为止，取为近似解。

支持向量回归（SVR ）模型

对于分类，支持向量机相当于导师样本为有限集的情形。考虑导师集合为不可数的情形，例如训练集可以为形如

{}11(,),...,(,)|,n l l i j S x y x y x R y R =∈∈

的情形，则演化出支持向量回归概念。

支持向量回归也分为线性回归和非线性回归两种，但不是统计学中的线性或者非线性回归了，而是根据是否需要嵌入到高维空间来划分的，我们简述如下：

对于给定的样本集S , 以及任意给定的0ε>，如果在原始空间n R 存在超平面(),,

,n f x w x b w R b R =<>+∈∈ 使得 |()|,

(,)i i i i y f x x y S ε-≤?∈，则

称(),f x w x b =<>+是样本集合S 的ε－线性回归。 与初等代数类似，|()|,

(,)i i i i y f x x y S ε-≤?∈等价于S 中任何点(,)i i x y 到超

平面(),f x w x b =<>+的距离不超过

2

1||||

w +。由于我们是分类，所以希望

调整超平面的斜率w 使得与S 中任点(,)i i x y 距离都尽可能大。也即使得

2

1||||w +最大化，这等价于要求{}2min ||||w 。于是，ε－线性回归问题转化

为优化问题：

2

12min ||||..

|,|,1,2,...,i i w s t w x b y i l ε???<>+-≤=?? 于是，引入松弛变量，并使用Lagrange 乘子法，得到优化问题的对偶形式：

****,111**1

1min ()(),()()2..()0,0,,1,2,...,l l l

i i j j i j i i i i i i j i i l i i i i i x x y s t C i l ααααααααεαααα====---<>+--+-=≤≤=?????????????∑∑∑∑

对于不可能在原始空间n R 就可以线性分离的样本集S ，先用一个非线性映射φ将数据S 映射到一个高维特征空间中，

使得()S φ在特征空间H 中具有很好的线性回归特征，先在该特征空间中进行线性回归，然后返回到原始空间n R 中。这就是支持向量非线性回归。

于是，支持向量非线性回归的对偶优化问题如下：

****,111**1

1min ()()(,(()()2..()0,0,,1,2,...,))l l l

i i j j i j i i i i i i j i i l i i i i i x x y s t C i l ααααφφααααεαααα====---<>+--+-=≤≤=?????????????∑∑∑∑

于是，非线性回归问题的实施步骤为：

1．寻找一个核函数(,)K s t 使得(,)(),()i j i j K x x x x φφ=<>，

2．求优化问题

****,111**1

1min ()()(,)()()2..()0,0,,1,2,...,l l l

i i j j i j i i i i i i j i i l

i i i i i K x x y s t C i l ααααααααεαααα====---+--+-=≤≤=??????????

???∑∑∑∑ 的解*,i i αα。

3． 计算

*,1*,1*

()(,),()(,),0)

0)

l

i i j i i i j l

i i j i i j j j i

K x x K x x y C b y C ααααααεε==--?+-∈??=??--∈??

∑∑当当（，（，

4．构造非线性函数

*1()()(,),

,l

n i i j i i f x K x x b x R b R αα==-+∈∈∑。

3.2.2支持向量机分类与支持向量回归的关系

支持向量机用以分类和回归，两者到底是什么关系为了建立回归与分类的关系，我们在特征空间中考虑如下的上下移动集合：

{}(((),1)|(,)i i i i D x y x y S φε+=++∈，{}(((),1)|(,)i i i i D x y x y S φε-=--∈ 对于充分大的ε，D +与D -是线性可分离的。于是得出关于D +与D -分类。引入松弛变量ξ，由SVM 分类方法得到

2

11?min ||||2??..,)1,,,)1,,0,1,2,...,L

i

i i i i i i i i w

C s t w z b z

D w z b z D i l ξξξξ=+-?+??

?<>+-≤-∈<>++≥∈≥=?

∑ 将目标函数中的?w

改写为12???(,),w w w = 特别令2?1w =-, 那么上式变成 21

121

111?min ||||2?..,()11,?,()11,0,1,2,...,L

i

i i i i i i i i w

C s t w x y b w x y b i l ξφεξφεξξ=?++???<>---+-≤-??<>-++++≤?

≥=??

∑

而基于观测集{}11(,),...,(,)|,n l l i j S x y x y x R y R =∈∈，在特征空间中寻找单参数约束下的回归函数(),()f x w x b φ=<>+的问题等价于

2

1

1min ||||2..,(),,(),0,1,2,...,L

i

i i i i i i i i w C s t y w x b w x y b i l ξφξεφξεξ=?+???

-<>-≤+??<>-+≤+?

≥=??

∑

也就是说，回归问题可以通过分类的算法来实现。

附录：基于线性规划的分类的合理性

设输入向量的空间为n R ， 记(),1,p n L R p ≤≤∞为n R 上一切p －绝对值可积函数g （即 一切可测且满足|()|()n p R

g x d x μ<+∞?）

，按照通常的加法和数乘，构成的线性空间。一般地，我们偏好选则一个非线性映射φ将n R 嵌入到2()n L R 空间。因为在该Hilbert 空间中，任意闭子空间的正交补子空间存在问题是一个已解决了的问题，而在(),2,p n L R p ≠还是一个没有被完全解决的问题。如前所述，在此空间中得到的结果，特别是诱导出的核函数是一个非常好的亮点。

在有限维空间中，任何距离都是等价的。这一特征也是有限维空间独有的。类似于上面所述，我们可以在有限维空间n R 上赋予p L 范数：

11||||||n p

p p i i x x =??= ?

??

∑

p 取遍区间 [1,]+∞，

特别，L ∞范数就是通常的最大值范数：1||||max ||i n i x x ∞≤≤=，1L 范数就是通常的绝对值求和范数，2L 范数就是通常的欧式范数。如果用

,w x <>表示内积，那么由Holder 不等式，我们得|,|||||||||q p w x w x <>≤，其中

111p q +=是[1,]+∞中的一对共轭数。假设一对平行的超平面为：

11(),f x w x b =<>+与22(),f x w x b =<>+，那么，两个平面之间的距离为

1212||

(,)||||q

b b d f f w -=

特别，如果n R 上赋予的是1L 范数，则

1212||

(,)||||b b d f f w ∞

-=

于是，导出相应的优化问题

{},min max ||

..(,)1,1,2,...,j j w b i i w s t y w x b i l ???

<>+≥=??

于是得到线性规划： min ..(,)1,1,2,...,,,1,2,...,,,,i i n j j a s t y w x b i l a w a w j l a b R w R ??

<>+≥=??≥≥-=∈∈? 简化了计算。同理，对于不可分离的情况，引入松弛变量后可得

1min ..

(,)1,1,2,...,,,0,1,2,...,,,,l

i i i

i i

n

j j j a C s t

y w x b i l

a w a w j l a

b R w R ξξξ=???+???

???

???<>+≥-=??≥≥-≥=∈∈?

∑ 同理，对于非线性分类的情况，换成核函数

11min ..(,)1,1,2,...,,,0,1,2,...,,,,l i i l

i j j

j i i

j n j j j a C s t

y y K x x b i l

a a j l a

b R w R ξαξααξ==???+???

???

??????+≥-= ????

?≥≥-≥=∈∈??

∑∑

同样也采用L ∞范数，此时相应的优化问题为

1min ..

(,)1,1,2,...,,,0,1,2,...,,,,n i i i

i

n

j j j j j a s t

y w x b i l

a w a w j n a

b R w R

ξ=?????

???????<>+≥=??≥≥-≥=∈∈?∑ 而非线性问题的松弛条件下的优化问题为：

111min ..(,)1,1,2,...,,,0,1,2,...,,,,n l

i i i i l

i j j

j i i

j n j j j j j a C s t

y y K x x b i l

a a j l a

b R w R

ξαξααξ===???+???

?????????+≥-= ????

?≥≥-≥=∈∈??∑∑∑ 无论是那种，都简化了运算。但是由此会付出多大的代价呢如果记1SVM ，2SVM ，SVM ∞分别为基于上述相应范数得出的支持向量机，我们留作习题，请大家自己

选择一个样本数据库，然后基于该库中数据，对三种在时间复杂度，精度，鲁棒

性进行比较，也即填写如下表格：

小节

SVM 的程序会很多，基于不同范数得到不同计算复杂度的程序。选择不同的核函数计算复杂度也会有区别；核函数的选取有研究价值，但难度大。目前见到的核函数对于精度的影响从某种意义上讲是“不大”。但我们已经从个案中发现，有时差异很大，于是，最优核函数的存在性问题值得深入讨论。

SVM 的用途很多，可以取

代神经网络的角色（支持向量回归SVR ）；可以求有界集的“最小体积”（一分类问题）；多分类问题。其它的应用还在探索中，与随机图，与粗糙集的结合也已经有人在做，我已经审阅过的期刊论文就是这样。

(完整word版)支持向量机(SVM)原理及应用概述分析

支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输

支持向量机及支持向量回归简介

3．支持向量机（回归） 3.1.1 支持向量机 支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代 替在特征空间中内积(),())x y φφ（的计算。因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间 n R 上的二元函数，设H 中的规范正交基为12(),(),...,(), ...n x x x φφφ。如果 2 2 1 (,)((),()), {}k k k k k K x y a x y a l φφ∞ == ∈∑ ， 那么取1 ()() k k k x a x φφ∞ ==∑ 即为所求的非线性嵌入映射。由于核函数(,)K x y 的定义 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内 积 (),())x y φφ（所需付出的计算代价。实际计算中，我们只要选定一个(,)K x y ，

支持向量回归简介

支持向量回归简介 人类通过学习，从已知的事实中分析、总结出规律，并且根据规律对未来 的现象或无法观测的现象做出正确的预测和判断，即获得认知的推广能力。在对智能机器的研究当中，人们也希望能够利用机器（计算机）来模拟人的良好学习能力，这就是机器学习问题。基于数据的机器学习是现代智能技术中的重要方面，机器学习的目的是通过对已知数据的学习，找到数据内在的相互依赖关系，从而获得对未知数据的预测和判断能力，在过去的十几年里，人工神经网络以其强大的并行处理机制、任意函数的逼近能力，学习能力以及自组织和自适应能力等在模式识别、预测和决策等领域得到了广泛的应用。但是神经网络受到网络结构复杂性和样本复杂性的影响较大，容易出现“过学习”或低泛化能力。特别是神经网络学习算法缺乏定量的分析与完备的理论基础支持，没有在本质上推进学习过程本质的认识。 现有机器学习方法共同的重要理论基础之一是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 与传统统计学相比, 统计学习理论(Statistical Learning Theory 或SLT ) 是一种专门研究小样本情况下机器学习规律的理论Vladimir N. Vapnik 等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟[17] ，也由于神经网络等学习方法在理论上缺乏实 质性进展, 统计学习理论开始受到越来越广泛的重视。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题）等；同时, 在这一理论基础上发展了一种新的通用学习方法—支持向量机(Support Vector Machine 或SVM ) ，它已初步表现出很多优于已有方法的性能。一些学者认为，SVM 正在成为继神经网络研究之后新的研究热点，并将有力地推动机 器学习理论和技术的发展。 支持向量机（SVM ）是一种比较好的实现了结构风险最小化思想的方法。它的机器学习策略是结构风险最小化原则为了最小化期望风险，应同时最小化经验风险和置信范围） 支持向量机方法的基本思想： （1 ）它是专门针对有限样本情况的学习机器，实现的是结构风险最小化：在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷，以期获得最好的推广能力； （2 ）它最终解决的是一个凸二次规划问题，从理论上说，得到的将是全局最优解，解决了在神经网络方法中无法避免的局部极值问题； （3 ）它将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，巧妙地解决了维数问题，并保证了有较好的推广能力，而且算法复杂度与样本维数无关。 目前，SVM 算法在模式识别、回归估计、概率密度函数估计等方面都有应用，且算法在效率与精度上已经超过传统的学习算法或与之不相上下。

(完整版)支持向量回归机

3.3 支持向量回归机 SVM 本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR ）是支持向量在函数回归领域的应用。SVR 与SVM 分类有以下不同：SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR 基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 b x x f +?=ω)(拟合n i y x i i ,...,2,1),,(=，n i R x ∈为输入量，R y i ∈为输出量，即 需要确定ω和b 。 图3-3a SVR 结构图 图3-3b ε不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式()i c ξ% 噪声密度 ()i p ξ ε -不敏感 i εξ 1 exp()2(1) i εξε-+ 拉普拉斯 i ξ 1 exp()2 i ξ- 高斯 212 i ξ 21 exp()22i ξπ -

标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合如图（3-3a ）所示， ** ()()1,2,...,,0 i i i i i i i i y f x f x y i n εξεξξξ-≤+??-≤+=??≥? （3.11） 式中，*,i i ξξ是松弛因子，当划分有误差时，ξ，*i ξ都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： ∑=++?=n i i i C R 1 ** )(21 ),,(ξξωωξξω （3.12） 式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数0>C 表示对超出误差ε的样本的惩罚程度。求解式（3.11）和式（3.12）可看出，这是一个凸二次优化问题，所以引入Lagrange 函数： * 11 ****1 1 1()[()] 2[()]() n n i i i i i i i i n n i i i i i i i i i i L C y f x y f x ωωξξαξεαξεξγξγ=====?++-+-+-+-+-+∑∑∑∑ （3.13） 式中，α，0*≥i α，i γ，0*≥i γ，为Lagrange 乘数，n i ,...,2,1=。求函数L 对ω， b ，i ξ，*i ξ的最小化，对i α，*i α，i γ，*i γ的最大化，代入Lagrange 函数得到对偶形式，最大化函数：

随机森林与支持向量机分类性能比较

随机森林与支持向量机分类性能比较 黄衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码： A Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。 通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。 E-mail: huangyan189@https://www.wendangku.net/doc/a717804079.html,.

20.ENVI4.3 支持向量机分类原理、操作及实例分析

ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量

支持向量机SVM分类算法

支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛

支持向量机资料

支持向量机 1基本情况 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。 其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。支持向量机的提出有很深的理论背景 支持向量机方法是在近年来提出的一种新方法。 SVM的主要思想可以概括为两点： ⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能； ⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面， 使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上 界。 例子 如图： 将1维的“线性不可分”上升到2维后就成为线性可分了。 在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论。 2一般特征 ⑴SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数

的全局最小值。而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。 ⑵SVM通过最大化决策边界的边缘来控制模型的能力。尽管如此，用户必须提供其他 参数，如使用核函数类型和引入松弛变量等。 ⑶通过对数据中每个分类属性引入一个哑变量，SVM可以应用于分类数据。 ⑷SVM一般只能用在二类问题，对于多类问题效果不好。 3原理简介 SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空 间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线 性可分的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般 情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）．一般的升维都会带来计算的复杂化，SVM 方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论． 选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种： ⑴线性核函数K(x,y)=x·y； ⑵多项式核函数K(x,y)=[(x·y)+1]^d； ⑶径向基函数K(x,y)=exp(-|x-y|^2/d^2） ⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）． 最优分类面：最优超平面 SVM是从线性可分情况下的最优分类面发展而来的，基本思想可用图2的两维情况说明。 如图：方形点和圆形点代表两类样本，H为分类线，H1，H2分别为过各类中离分类线最近的样本且平行于分类线的直线，他们之间的距离叫分类间隔。 最优分类线就是要求分类线不但能将两类正确分开（训练错误率为0），且使分类间隔最大。 推广到高维空间，最优分类线就变为最优分类面。

支持向量机非线性回归通用MATLAB源码

支持向量机非线性回归通用MA TLAB源码 支持向量机和BP神经网络都可以用来做非线性回归拟合，但它们的原理是不相同的，支持向量机基于结构风险最小化理论，普遍认为其泛化能力要比神经网络的强。大量仿真证实，支持向量机的泛化能力强于BP网络，而且能避免神经网络的固有缺陷——训练结果不稳定。本源码可以用于线性回归、非线性回归、非线性函数拟合、数据建模、预测、分类等多种应用场合，GreenSim团队推荐您使用。 function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF,Para1,Para2) %% % SVMNR.m % Support Vector Machine for Nonlinear Regression % All rights reserved %% % 支持向量机非线性回归通用程序 % GreenSim团队原创作品，转载请注明 % GreenSim团队长期从事算法设计、代写程序等业务 % 欢迎访问GreenSim——算法仿真团队→ % 程序功能： % 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测 % 试需使用与本函数配套的Regression函数。 % 主要参考文献: % 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报 % 输入参数列表 % X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数 % Y 输出样本原始数据，1×l的矩阵，l为样本个数 % Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少 % C 惩罚系数，C过大或过小，泛化能力变差 % TKF Type of Kernel Function 核函数类型 % TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归 % TKF=2 多项式核函数 % TKF=3 径向基核函数 % TKF=4 指数核函数 % TKF=5 Sigmoid核函数 % TKF=任意其它值，自定义核函数 % Para1 核函数中的第一个参数 % Para2 核函数中的第二个参数 % 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义 % 输出参数列表 % Alpha1 α系数 % Alpha2 α*系数 % Alpha 支持向量的加权系数（α－α*）向量

支持向量回归机

支持向量回归机 SVM 本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR ）是支持向量在函数回归领域的应用。SVR 与SVM 分类有以下不同：SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR 基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 b x x f +?=ω)(拟合n i y x i i ,...,2,1),,(=，n i R x ∈为输入量，R y i ∈为输出量，即 需要确定ω和b 。 图3-3a SVR 结构图 图3-3b ε不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式()i c ξ 噪声密度 ()i p ξ ε -不敏感 i εξ 1 exp()2(1) i εξε-+ 拉普拉斯 i ξ 1 exp()2 i ξ- 高斯 212 i ξ 21 exp()22i ξπ -

标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合如图（3-3a ）所示， ** ()()1,2,...,,0 i i i i i i i i y f x f x y i n εξεξξξ-≤+??-≤+=??≥? （） 式中，*,i i ξξ是松弛因子，当划分有误差时，ξ，*i ξ都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： ∑=++?=n i i i C R 1 ** )(21 ),,(ξξωωξξω （） 式（）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数0>C 表示对超出误差ε的样本的惩罚程度。求解式（）和式（）可看出，这是一个凸二次优化问题，所以引入Lagrange 函数： * 11 ****1 1 1()[()] 2[()]() n n i i i i i i i i n n i i i i i i i i i i L C y f x y f x ωωξξαξεαξεξγξγ=====?++-+-+-+-+-+∑∑∑∑ （） 式中，α，0*≥i α，i γ，0*≥i γ，为Lagrange 乘数，n i ,...,2,1=。求函数L 对ω， b ，i ξ，*i ξ的最小化，对i α，*i α，i γ，*i γ的最大化，代入Lagrange 函数得到对偶形式，最大化函数：

3.支持向量机(回归)

3.支持向量机(回归) 3.1.1 支持向量机 支持向量机(SVM是美国Vapnik教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVh方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM从理论上解释了多层感知器的 隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数K(x, y)使其满足K(x,y) ( (x), (y))，代 替在特征空间中内积((x), (y))的计算。因为对于非线性分类，一般是先找一个非线性映射将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别，对特征空间H为Hilbert空间的情形，设K(x, y)是定义在输入空间 R n上的二元函数，设H中的规范正交基为1(x), 2(x),..., n(x), ...。如果 2 K(x, y) a k ( k(x), k(y)), k 1 那么取(x) 3k k(x)即为所求的非线性嵌入映射。由于核函数K(x,y)的定义k 1 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内积((x), (y))所需付出的计算代价。实际计算中，我们只要选定一个K(x,y)， 并不去重构嵌入映射(x) a k k(x)。所以寻找核函数K(x,y)(对称且非负) k 1

支持向量机在分类和回归中的应用研究_冼广铭

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００８，４４（２７） １引言 模式分类和回归分析是知识发现中的重要内容，也是处理其它问题的核心。虽然分类和回归具有许多不同的研究内容，但它们之间却具有许多相同之处，简单地说，它们都是研究输入输出变量之间的关系问题，分类的输出是离散的类别值，而回归的输出是连续的数值。用于分类和回归的方法很多，如传统的统计学和神经网络方法和最近刚刚兴起的支持向量机等［１］。 现有机器学习方法的重要理论基础之一是统计学。当人们面对数据而又缺乏理论模型时，统计分析方法是最先采用的方法。然而传统的统计方法只有在样本数量趋于无穷大时才能有理论上的保证，现有学习方法也多是基于此假设。而在实际应用中样本数目通常都是有限的，甚至是小样本，对此基于大数定律的传统统计方法难以取得理想的效果［２］。 ＡＮＮ（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，人工神经网络）［３］等经验非线性方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。同时设计者在设计过程中利用了自己的经验和先验知识，取得了许多成功的应用。但是在实际工程应用中，有很多数据建模问题属于数学中的小样本、不适定问题，而人工神经网络等方法忽略了这一特点，将其作为无穷样本、适定问题来求解。所以神经网络具有局部极小点、过学习以及结构和类型的选择过分依赖于经验等固有的缺陷，降低了其应用和发展的效果。 作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过一个线性超平面实现线性划分（或回归），而与特征空间的线性划分（或回归）相对应的却是样本空间的非线性分类（或回归）。但是采用升维的方法，即向高维空间做映射，一般只会增加计算的复杂性，甚至会引起“维数灾难”。 ＳＶＭ通过核函数实现到高维空间的非线性映射，所以适合于解决本质上非线性的分类、回归等问题。同时，ＳＶＭ方法巧妙地解决了如何求得非线性映射和解决算法的复杂性这两个难题：由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式；由于是在高维特征空间中应用线性学习机的方法，所以与线性模型相比几乎不增加计算的复杂性，这在某种程度上避免了“维数灾难”［２］。 近年来ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势，成为继模式识别和神经网络研究之后机器学习领域的一个新颖而有发展前途的研究方向。随着研究的进一步深入，ＳＶＭ的应用将更加广泛。 国际上对ＳＶＭ算法及其应用的研究日益广泛和深入，而我国在此领域的研究才刚起步不久［４］。因此，加强这一方面的研究工作，使我国在这一领域的研究和应用能够尽快赶上国际先 ◎数据库、信号与信息处理◎ 支持向量机在分类和回归中的应用研究 冼广铭１，曾碧卿１，冼广淋２ ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ１，ＺＥＮＧＢｉ－ｑｉｎｇ１，ＸＩＡＮＧｕａｎｇ－ｌｉｎ２ １．华南师范大学南海校区计算机工程系，广东佛山５２８２２５ ２．广东轻工职业技术学院计算机系，广州５１０３００ １．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｈａＣａｍｐｕｓ，ＳｏｕｔｈＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｏｓｈａｎ，Ｇｕａｎｇｄｏｎｇ５２８２２５，Ｃｈｉｎａ ２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＧｕａｎｇｄｏｎｇＩｎｄｕｓｔｒｙＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ５１０３００，Ｃｈｉｎａ Ｅ－ｍａｉｌ：Ｘｇｍ２００１１＠１６３．ｃｏｍ ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ，ＺＥＮＧＢｉ－ｑｉｎｇ，ＸＩＡＮＧｕａｎｇ－ｌｉｎ．ＡｐｐｌｉｃａｔｉｏｎｒｅｓｅａｒｃｈｏｆＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００８，４４（２７）：１３４－１３６． Ａｂｓｔｒａｃｔ：ＳＶＭｐｌａｙａｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔｒｏｌｅｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．Ｂｅｃａｕｓｅｏｆｅｘｃｅｌｌｅｎｔｐｅｒｆｏｒｍａｎｃｅｉｎａｐｐｌｉ－ｃａｔｉｏｎ，ａｌｏｔｏｆＳＶＭｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｉｎｒｅｃｅｎｔｙｅａｒｓ．ＩｎｔｈｉｓｐａｐｅｒａｓｅｒｉｅｓｏｆｉｓｓｕｅａｂｏｕｔＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓ－ｓｉｏｎｉｓｐｒｏｐｏｓｅｄ．Ｉｔｉｓｍａｇｎｉｆｉｃａｎｔｆｏｒｕｓｔｏｃａｔｃｈｕｐｗｉｔｈｉｎｔｅｒｎａｔｉｏｎａｌａｄｖａｎｃｅｌｅｖｅｌ． Ｋｅｙｗｏｒｄｓ：ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）；ｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｒｅｇｒｅｓｓｉｏｎ 摘要：ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势。由于ＳＶＭ方法较好的理论基础和它在一些领域的应用中表现出来的与众不同的优秀的泛化性能，近年来，许多关于ＳＶＭ方法的应用研究陆续提了出来。围绕支持向量机在分类和回归中的问题进行了阐述，使我国在这一领域的研究和应用能够尽快赶上国际先进水平具有十分重要的意义。 关键词：支持向量机；分类；回归 ＤＯＩ：１０．３７７８／ｊ．ｉｓｓｎ．１００２－８３３１．２００８．２７．０４３文章编号：１００２－８３３１（２００８）２７－０１３４－０３文献标识码：Ａ中图分类号：ＴＰ３１１ 作者简介：冼广铭，男，博士，讲师，研究方向为数据挖掘和软件工程等。 收稿日期：２００８－０１－０８修回日期：２００８－０７－１４ １３４