分类器融合中模糊积分理论研究进展
收稿日期:2007-01-25 基金项目:国家自然科学基金重点项目(60234030)资助;国家基础研究项目(A 1420060159)资助;国家自然科学基金青年基金项目(60404021)资助. 作者简介:孔志周,男,1974年生,博士研究生,讲师,研究方向为信息融合、数据挖掘;蔡自兴,男,1938年生,教授,博士生导师,C CF 会员,研究方向为人工智能、机器人学、智能控制等.
分类器融合中模糊积分理论研究进展
孔志周1,2,蔡自兴
1
1(中南大学信息科学与工程学院智能系统与软件研究所,湖南长沙410083)2(
湖南大学统计学院,湖南长沙410079)
E -mail :zh izk @yahoo .com .cn
摘 要:将模糊积分理论与多分类器融合方法中其他两种研究热点方法进行了比较.介绍模糊积分的基本模型及通用求解过程.讨论目前分类器融合领域模糊积分理论的几个研究方向的发展现状和面临的问题,分析模糊积分理论基本模型和几种扩展模型的求解算法.提出了分类器融合领域模糊积分理论未来理论和应用研究中的开放课题.
关键词:分类器融合;模糊积分;模糊测度;模糊密度
中图分类号:T P 18 文献标识码:A 文章编号:1000-1220(2008)06-1093-06
Prospect of Research in Fuzzy Integral for Classifiers 'Fusion
K ON G Zhi -zhou 1,2,CAI Zi -xing 1
1
(Center of I ntellige nt System and S of tw are ,Colleg e of Inf ormation S cienc e and E ngineer ,Central S outh Univ ersity ,Changsha 410083,China )2(
Colleg e o f Statistics ,H unan Univ er sity ,Chang sha 410079,China )
Abstract :F uzzy Integ ra l is compared with o ther tw o methods w hich ar e ho t in study ing of classifiers'fusio n.T he st andar d mod-el o f F uzzy I nt eg r al and its g eneral solut ion ar e intro duced .T hen ,t he stat e o f the a rt and t he challenge pro blems in Fuzzy Inte-gr al resear ch field are discussed.T he algo r ithms for st andar d and ex tended F uzzy Integ ra l mo dels a re briefly analy zed.F inally ,the open area s o f theor etic and applied r esearch in F uzzy I nteg r al ar e bro ught fo rw ar d .Key words :fusion of classifier s;fuzzy integr al;fuzzy measur e;fuzzy densit y
1 引 言
在数据挖掘、机器人导航控制、自动目标识别(包括人脸识别)、多目标跟踪、机器学习等领域中,一个普遍关心的核心问题是如何借助某种方法,降低分类的不确定性[1].不确定性的降低对提高分类精度、鲁棒性,高效实现分类任务将是非常重要的,尤其是在机器人导航控制、自动目标识别、多目标跟踪中.分类不确定的研究主要分两个方向:改进已有理论或寻找新的方法;信息融合方法.从计算简单和概念清晰来看,信息融合方法自然成为人们首先追寻的方向.
信息融合方法在多分类器中应用,即多分类器融合,避开了单个分类器所能达到性能的限制,通过适当的融合方法将相应的表现良好的分类器输出进行融合,这样就可以利用多种分类方法之间具有的互补性,产生精确度更高、性能更好的结果,从而降低分类的不确定性.
模糊积分是与勒贝格积分相类似的新的积分理论,是定义在模糊测度上的非线性函数,利用了非负单调的集合函数,即模糊测度来取代加权值,综合考虑了多个分类器相互作用,从多个分类器的一致和相互冲突的结果中找出最大一致性的结果,是在不确定条件下进行强有力推理的方法.
模糊积分是近些年发展起来的一种信息融合方法,在信号处理、目标识别与跟踪、机器人导航、文本挖掘等许多领域
有广泛应用,如[2-6].它为证据的融合找到了一种非线性方法,使得对融合证据的独立性要求放宽,只要求单调性,不要
求可加性.基于模糊积分,使得被融合信息各成分之间的关系得到充分体现,突出了问题的本质.
模糊积分的主要应用包括,计算机视觉[2];目标检测[3];语言识别[4];目标识别[5];综合评估[6];手写体识别[7];EEG 等医学数据处理等.由于分类问题具有不确定性,如何在开放、动态的环境下实现高效、可信的不确定知识的共享与利用,正成为A I 的研究热点[1].
2 模糊积分与其他方法的比较
2.1 分类器融合方法研究进展
多分类器融合方法是目前信息融合的热点[8],旨在利用各分类器检测的信息互补性和不同的处理方法以获得对分类对象的全面检测信息,从而提高分类精度和可靠性.
综合D ymit r R ut a 等[9]、L udm ila I.K uncheva 等[10]关于分类器融合方法的分类,可分为以下四类:训练方法、单分类标号方法、类排序方法、软输出融合方法等,如图1(见下页).分类器融合的根本目的在于利用分类器之间的互补性来降低分类的不确定性.随着分类器不确定性研究的深入,开始由基于数据的方法向基于知识的方法转变[11,12].以模糊积分
小型微型计算机系统Jour nal o f Chinese Computer Systems 2008年6月第6期V o l .29N o .62008
理论[13-16]、贝叶斯推理[17]、证据推理[18-19]为代表的智能化融合方法在分类器融合的研究中占有很大比重,体现了其在多分类器融合领域的独特优势.[11,12]更明确提出了模糊积分(F uzzy Integ ra l)、证据推理(Dempst er-shaffer Co mbinatio n)、贝叶斯推理(A v erag e Bayes Combination )三种方法是今后发展的趋势.
2.2 模糊积分的优势
基于模糊集理论的模糊积分融合方法可以很好的描述由不确定现象,使数学模型更贴近实际情况,因而在上述三种热点研究方法中占有独特的优势
.
图1 分类器融合方法分类图F ig.1 M ethods o f classifier fusio n
与模糊积分方法相比,贝叶斯推理需要先验信息,而这种先验信息通常难以获得,或者即使获得,也不够准确;当有多个可能的假设和多个条件相关事件时,计算复杂,要求对立的假设彼此不相容,无法分配总的不确定性.尤其重要的是,贝叶斯推理方法也未考虑到分类器的可靠性问题.
与模糊积分方法相比,D-S 证据推理虽然不需要先验信息,但要求所使用的证据必须相互独立,这就使问题复杂化,而且更为致命的问题是计算复杂度随着测量维数的增加以指数形式递增,容易出现“维数灾”.同样,D-S 证据推理也未考虑到分类器的可靠性问题.
而基于模糊集理论的模糊积分融合方法可以很好的表达和处理不确定性问题.该方法通过综合考虑客观证据与人的主观评判,将主客观之间的信息进行最佳的匹配,由此获得问题的最优解,既避免了需要给定先验信息,又充分考虑分类器间差异导致的不同可靠性.
模糊积分作为一种基于模糊密度的非线性决策融合方法,它不仅合成各分类器提供的客观结果,还考虑到分类器本身在融合过程中的重要程度.它通过定义模糊密度可得到单
个分类器或分类器集合的任意子集在融合系统中的重要程度,积分过程转化为分类器所提供的客观结果关于分类器重要程度的积分.它能够很好的体现分类器之间的交互作用,用它作为融合工具已在许多应用领域取得较好的效果.从信息融合的角度来看,模糊积分方法提供了一种基于信源(分类器)重要性程度的信息合成方法.它在决策级融合中起到非常重要的作用.
3 有关概念和基本模型
3.1 基本模糊积分模型
设X =(x 1,x 2,…,x n )是n 个分类器、T =(t 1,t 2,…,t m )是m 个类别,s →(i )=(s 1,s 2,…,s m )T 是记录I 的m 维源信号向量,分量间是相互独立的,则s →(i )的模糊密度可以表示为P (s →)=(p(s 1),p(s 2),…,p(s m )).
设W →
(i )=(w 1,w 2,…,w n )T 是记录I 的n 维观测信号向量,其每个观测信号分量都是m 个独立的源信号的线性组合,即W →
(i )=A ×s →(i ),这里A 是一个未知的n ×m 混合矩阵,此时W →
(i)的各个分量之间不再相互独立.
模糊积分的目标是找到一个对W →
(i )做线性变换的m ×n 矩阵G ,使得W →
(i )经变换后得到的新向量y →(i )=(y 1,y 2,…,y m )T 的各个分量之间尽可能的独立,即y →
(i )=G ×w →
(i )为源信号向量s →(i )的最佳估计.3.2 基本模糊测度
模糊测度有很多种具有特殊构造的模糊测度类型,比如可能性测度,必要性测度,信任度,似真度和g 模糊测度等等,这里主要介绍一下基本的、也是在融合中应用较多的g 模糊测度.
设 A ,B ∈X ,若A ∩B = ,则g (A ∪B )=g (A )+g (A )
+ g (A )g (B ).设有限集合A i =(x 1,x 2,…,x i ),模糊密度,即单点集上的模糊测度值为g i =g ({x i }),则g (A i )可由下式递归求得:
g (A 1)=g ({x 1})=g 1(1)
g (A i )=g i +g (A i -1)+ g i g (A i -1)(2)
其中 >-1且 ≠0可以按照下式确定:
+1=
n
i =1
(1+ g i )(3)
条件 >-1且 ≠0导致了方程3具有唯一确定的解.3.3 模糊积分的通用求解过程
一般认为,求解模糊积分的通用步骤包括3步[20]: 基信息的生成,如可采用Bagg ing 、Boo st ing 及最近的DECORA T E (diver se ensemble cr eation by o ppositio nal rela-beling o f ar tificial tr aining ex ample)等方法.
选择或定义模糊测度类型,建立模糊密度函数,该函数可根据初始密度动态选择基信息,计算模糊测度.该函数可采取某种最优化方法来进行学习.
用某种积分方法组合模糊测度信息,计算融合结果.
4 模糊积分的已有算法
4.1 模糊积分相关的现状及研究小组
1094
小 型 微 型 计 算 机 系 统 2008年
目前,在国际上有专门针对多分类器融合的国际学术会议:从2000年开始每年召开一次的国际会议M CS(M ultiple Classifier Sy stems)至今已开过6届,论文均被Spr inger出版;从1998年开始的由美国陆军研究部、IEEE信号处理学会等多个I EEE学会共同发起每年召开一次的信息融合国际会议ISIF,至今已开过9届.近年来,在神经网络、模糊信息处理、信号处理、机器学习、人工智能、数据挖掘、模式识别等领域许多顶尖的国际杂志都可看到关于模糊积分理论的论文.
表1 有代表性的研究机构和专家表
T able1 R epr esent ativ e aca demic institutio ns and exper ts 研究机构专 家
英国萨里大学J.Kittler
日本东京工业大学M ich io Su geno
韩国延世大学Sung-Bae Cho;Kim,J.H
加拿大W indsor大学M ich el Grab isch,Jean-M arie Nicolas
美国密苏里大学哥伦比亚分校
M.Ahmadi,M.Sid Ahmed,M.S hrid-h ar,J.Cao,James M.Keller,Jeffrey Os born,S ans anee Auephanw iriyak ul
法国巴黎大学Chris toph e Lab reuche,M ich el Grab isch
中国南京大学、河北大学、国防科学技术大学周志华、王熙照、庄钊文
4.2 基本模糊积分方法
4.2.1 Sug eno模糊积分
设一可测空间(X, ),g为X上的一个模糊测度,且设f: X→[0,1]为定义在集合X上的非负实值可测函数,A ,则f(x)相对于模糊测度g在A上的Sugeno模糊积分为:
∫f(x) g(?)=sup inf[a,g(A∩H a)](4)其中,H a={x f(x)≥a}.
当X为有限集时的Sugeno模糊积分可计算如下:
设有限集合A i=(x1,x2,…,x i),并且满足f(x1)≥f(x2)≥…f(x n),则有
∫f(x) g(?)=max n
i=1
min[f(x i),g(H i)](5)其中,H i={x i,x i+1,…,x n}.
在模式识别中,函数f k(x i)可看作是目标属于类k的局部估计,给定与一组特征相关联的分类器x i,Sugeno模糊积分可由公式(5)计算出更高分辨率的多分类器融合结果.
4.2.2 Choquet模糊积分
与Sug eno模糊积分完全忽视次要因素的影响不同,Cho-quet模糊积分考虑了各种影响因素.
设g为X上的一个模糊测度,且设f:X→[0,1]为定义在集合X上的非负实值可测函数,并且满足f(x1)≥f(x2)≥…f (x n),则f(x)相对于g的Cho quet积分为:
∫f(x) g(?)=∑n
i=1
g(A i)(f(x i)-f(x i+1))(6)其中f(x n+1)=0,g (A i)由公式(1)、(2)、(3)求得.
4.2.3 W eber模糊积分
Weber模糊积分是在Sug eno模糊积分基础上的推广与拓展,是关于可分解测度的积分.应用较多的是K eller和T ahani提出的S分解测度.
给定一个反三角模S,则S分解测度g具有以下属性:若A ∩B= ,则g(A∪B)=S(g(A),g(B)).参数化反三角模t-
co nor m:
S(x,y)=(x p+y p-x p y p)1/p p>0(7) T(x,y)=1-S((1-x),(1-y))(8)则Weber模糊积分可计算为:
∫f(x) g(?)=∪
i
[T(f(x i),g({x1,…,x n}))](9) 4.3 扩展模糊积分方法
正是由于模糊积分解决不确定问题方面的独特优势,很多人对基本模糊积分进行了扩展,可见综述文献[21],主要的扩展方法有以下两种.
4.3.1 广义Choquet模糊积分
广义Choquet模糊积分是建立在广义模糊测度空间上,并将这种积分整体看成可测空间上取值于模糊数(值)的集函数.
设设一可测空间(X, ),g为X上的一个模糊测度,且设f:X→[0,1]为定义在集合X上的凸函数,即x,y∈[0,1]和0 < <1,有:
f( x+(1- )y)≥ f(x)+(1- )f(y)(10)令[f(x)] =[[f(x)] ,[f(x)] ],其中0≤ ≤1,则f(x)相对于模糊测度g的广义Choquet模糊积分为:
∫f(x) g(?)=∪
∈[0,1]
[∫f(x) g(?)] (11)其中:
[∫f(x) g(?)] =[∫[f(x)] g(?),∫[f(x)] g(?)] 4.3.2 格值模糊积分
在数值模糊测度与模糊积分中,所涉及到的数值是取值于[0,1]或[0,∞],而二者均为特殊的完备格,格值模糊积分是把模糊测度取值于格,就得到了格值模糊积分.它采用格上的自然并“∨”与交“∧”运算,是Sug eno模糊积分的推广.
设 是一个Fuzzy -代数, 为 上的模糊测度,映射T:D →[0,∞]称为一个广义反三角模.f为非负可测函数,A～∈ ,则f在A～上的格值模糊积分被定义为:
∫A～f d n=inf f≤S Q A～(S)(12)
其中,S=∑
i=1
a i x A～,a i
n
≠a j(i≠j),A～i∩A～j= ～,∪
n
i=1
A～i=X,Q A～(S)=∧
i=1
T[a i, (A～∩A～c i)].而特征函数x A～可计算为: x A～(x)=
0 A～(x)=I
1 A～(x)=
x∈X
4.4 模糊积分已有解法
在模糊积分融合求解中,主要存在三个关键问题:一是如何定义适当的模糊测度来对高不确定性、高冲突性信息进行度量;一是如何定义适当的模糊密度来更好的表现各分类器自身在融合系统中具有的重要程度;一是如何对分类器间的类间关系进行模糊测度度量,以便进行融合结构优化.
4.4.1 模糊测度
1095
6期 孔志周等:分类器融合中模糊积分理论研究进展
模糊测度可以很好地刻画事件的不确定性.现有的主要及新的模糊测度:
g 模糊测度:Sug eno于1974年提出的基本模糊测度-g 模糊测度.在2.2节业已描述.Dy mitr Ruta等[9]于2000年指出,当 >0,g 模糊测度蜕变为信任度(belief); ≤0,g 模糊测度蜕变为似真度(plausibility).
可能性(po ssible)与必要性(necessar y)测度:Z adeh分别于1978年、1979年提出了可能性(possible)与必要性(nec-essar y)测度.严格来说,可能性(po ssible)与必要性(necessa ry)测度应该是信任度(belief)与似真度(plausibilit y)的特例.
S分解测度:W eber于1984年提出了.S分解测度在4.2.3节业已描述.S分解测度的最大化算子就是可能性测度.
确切性(specificity)测度:Y ag er于1990年首次提出,并分别于1991年、1998年逐步完善.
可信性(cr edibility)测度:刘宝碇于2002年首次提出.可信性测度重要性测度的区间估计.
当然,近几年也有人研究了一般化的模糊测度,如T ril-las、Alsina于1999年提出的F uzzy-M easur e等.
目前,在模糊积分融合领域,高不确定性、高冲突性信息的测度和度量是一个急待解决的问题.但目前还没有见到有关此方面的研究论述.
一个可借鉴的研究方向是Jean Dezer t[22]于2002年提出的DSmT新理论,该理论利用可能性(possible)测度来对冲突性信息进行度量,取得了较好的效果.
4.4.2 模糊测度中的模糊密度优化
计算模糊测度时,常常需要先建立模糊密度函数,以便模糊密度,过去常常采用的是静态的模糊密度,近几年集中于动态模糊密度的研究.
由于动态模糊密度没有明确的普适解,很多人提出了使用神经网络方法、规化方法、启发式方法、随机搜索方法、训练方法来动态确定模糊密度.
现有的模糊密度优化的主要解法及改进有:
4.4.2.1 神经网络方法:王熙照等[23]采用神经网络确定模糊密度,通过实验证明其有效性.然而神经网络的泛化能力对融合系统的性能有很直接的影响,因此,选择合适的神经网络是该方法的关键问题之一.另外,训练神经网络时的期望输出确定方法对融合系统的性能也有影响.同时,还通过实验得出结论:在基于Sug eno积分的多分类器融合系统中忽略模糊密度的单调性后的分类正确率不低于忽略前的分类正确率.当目标类别多时会使分类器的精度和稳健性大受影响,难以保证其可靠性的.
4.4.2.2 规化方法:如Gr abisch等[24]提出了确定模糊密度的两种规划模型,一种是线性规划模型,一种是二次规划模型,并在[25]中对二次规划模型进行了推广;王熙照等[26]采用组合线性规划确定模糊密度.具体步骤为,先利用线性规划来学习模糊密度,其次将第一阶段的线性规划转化为二次规划,再来确定一个模糊密度,并将融合精度进行比较.并通过实验得出结论:二次规划确定的模糊密度的融合精度高于基于线性规划确定的模糊密度的融合精度,但基于g 模糊密度的融合精度性能非常不稳定,有时甚至会降低融合精度,无法保证模糊密度的单调性.
4.4.2.3 启发式方法:James M.K eller等[27]、姚明海等[28]分别给出了基于混淆矩阵的两种不同的确定模糊密度方法.王熙照等[16]采用了一种启发式方法确定模糊密度.通过实验认为这种方法虽然在一定程度上降低了分类的不确定性与其他确定模糊密度的方法相比,并没有体现出显著的优势.并认为:研究分类器的多种不确定性对合理确定模糊密度、以及如何将这些不确定性进行结合以提高融合系统的性能是一个尚未得到很好解决的问题,可以作为以后继续研究的内容.
4.4.2.4 随机搜索方法:James M.K eller等于1997年提出了利用遗传算法用于模糊密度的确定.在此基础上,刘汝杰等[29]、王震源等[30]进行了进一步扩展和应用.
4.4.2.5 强化学习方法:James M.K eller,Jeffrey O sbor n[31]于1996年提出R ewar d/Punishment确定模糊密度.
4.4.3 类间关系度量
一般地,类间关系度量可采取统计方法度量.如,通过计算两两分类器间的互信息量,确定分类器之间相互依赖的程度;通过kappa统计,以 -err or图表示分类器之间的差异,等等.
但统计类方法含有较大的假设和近似,在分类器受噪声影响情况下不能进行恰当的度量.并且,也不能很好地反映不确定性中的模糊性、粗糙性.
目前此方面的研究较少,现有的主要方向有:
4.4.3.1 g 模糊测度中的 因子:王熙照等[32]通过理论证明的方式,对三个分类器二类别问题进行了分析,试图通过对 g (模糊密度累加和)来判定分类器间的相互关系,进行了有益的尝试.
4.4.3.2 条件(conditio nal)测度:L.Gar mendia等[33]近几年研究 -T-conditio na lity和 -T-inconditio nality来进行模糊关系度量.
5 待完善的研究领域
5.1 模糊积分方法的融合理论诠释问题
尽管模糊积分在融合多分类器信息方面有着广泛应用,但是,目前还没有提供一个圆满的理论解释,也缺乏不同模糊积分融合方法之间的比较,没有发掘各种模糊积分方法内在的相关成分.
模糊积分融合方法背后隐藏的实质的研究必将极大推动神经网络、模糊信息处理、信号处理、机器学习、人工智能、数据挖掘、模式识别等领域的发展.
5.2 实时动态模糊密度的理论指导方法
在分类器融合中,代表各分类器的重要性的动态模糊密度的确定是非常重要的.尽管目前出现了诸如神经网络方法、规化方法、启发式方法、随机搜索方法、强化学习方法等优化方法,但效果总体上都不是很理想,尤其是在高噪声、有限训练数据或高维样本、高类别数的情况下.当然,更缺乏这些方
1096 小 型 微 型 计 算 机 系 统 2008年
法相互间的比较.
总之,实时动态模糊密度优化的研究与应用必将推动基于优化方法的一套完备理论指导体系的形成.
5.3 基分类器性质不同的影响研究
分类器融合中一个显著的领域是基分类器是异质、同质的.异质有两种形式:一是指基分类器输入训练数据属性的不同而形成的异质,如两个决策树,一个输入属性a1…a m,一个输入属性a m+1…a n;一是指基分类器个体类型不同,如神经网络和贝叶斯.前者融合方式在实践中应用较多,但有关如何选择属性的方法却研究很少;后者融合方式在理论上基本上处于空白,难度也很大,但前景非常广阔,也更有意义.
5.4 基分类器的类间关系度量
基分类器之间的类间关系是融合计算获得更好效果的前提,也是基分类器生成和融合计算中选择的关键问题.
目前,在一个具体问题求解过程中参与融合的分类器数目和类型的生成与筛选仍无确定的方法.而实时参与融合分类器过多或过少都会给整体的分类性能带来不好的影响.若能够对基分类器之间的类间关系进行很好度量,对新的融合方法和集成学习的进一步发展都将带来很大的益处.
今后的研究难点在于实现对分类器间的可分性度量(如前述 因子、条件测度等),并建立目标函数,当该函数取极值时分类器间的可分性最大.
5.5 有序分类的模糊积分融合
有序分类问题是一个非常重要的研究领域,也是应用前景非常广阔的领域.如各种信用评级、综合评分等.它与通常的无序分类在应用上有些不同,类别号含有序列因素.在此领域采用的一般方法是L o gist ic回归.
有序分类问题在利用模糊积分融合方法来分类时,对不确定性度量更加敏感.谢禹等[34]于2004年将Sugeno模糊积分应用于有序分类问题,但缺乏对不确定性(尤其是模糊性)的完善度量.
5.6 高冲突信息、高不确定性的模糊积分融合方法
对高冲突信息、高不确定性信息的度量和处理是近几年研究的热点和难点问题.目前已经成为许多应用领域的瓶颈问题.
若各信息源中含有高冲突信息,则模糊积分融合后的结果将会矛盾信息基本忽略,从而引出不合常理的结果.Jean Dezert[22]于2002年提出解决这种问题的新理论,主要的创新就是在框架中加入和保留冲突信息.因此,如何在模糊积分融合时保留和恰当积分将是今后必须解决的问题.
同样,若各信息源中含有高不确定性信息,则模糊积分融合后的结果将会呈现非常高的不确定性.对此类问题的研究必将极大提高分类的性能,提高在不确定、不完备环境中的识别能力.
目前对高不确定性信息、高冲突信息的一个可行的研究方向是先进行适当度量,然后利用多阶段选择机制进行选择,最后进行模糊积分.至于度量方法可通过比较基于几何原理的相似度度量、基于集合的相似度度量、基于匹配的相似度度量三种方法,确定何种度量适用于何种模糊积分情况;多阶段选择机制可借鉴[35-38]的研究成果.
6 结 论
模糊积分理论是一种多用途的信息融合方法.它的应用包括等.基于模糊积分方法的分类器融合的广泛应用促使这个领域研究的流行,但是还存在许多需要解决的问题.
我们将研究高不确定性信息、高冲突信息的度量和处理,进而建立新的求解模型和算法.另外,拟将Sug eno模糊积分、Cho quet模糊积分和Weber模糊积分分别应用于移动机器人目标识别;将Cho quet模糊积分应用于有序分类问题等.
References:
[1]Li De-yi,Du Yi.Uncertainty artificial intellig ence[M].Beijing:
National Defens e In dustrial Publis hing House,2005,248-248. [2]T ah ani,Hos sein.M ultiple class ifier fu sion usin g the fu zzy inte-
gral[D].U nivers ity of M iss ou ri-Colum bia,M ay1991.
[3]Hocaog lu,Ali Kok sai.Choquet integral-based morph ological op-
erator s with applications to object d etection and information fu-sion[D].U nivers ity of M iss ouri-Colum bia,Decem ber2000. [4]Auephanw iriyak ul,s ans an ee.A study of linguistic pattern recog-
nition and s ens or fusion[D].U nivers ity of M issou ri-Columb ia,
Augu est2000.
[5]Liu Yong-xiang,Li Xiang,Zhuang Zhao-w en.T arget iden tifica-
tion of decision layer information fu sion based on choquet fuzzy integral[J].Journal of Electric In form ation,2003,25(5):1175-1199.
[6]Li Yan-peng,Li Xiang,Zh uan g Zhao-w en.T arget identification
effect evalu ation based on choquet fuzz y integral[J].Jou rnal of Sys tematic Imitation,2005,17(5):695-699.
[7]Beiraghi S,Ahmadi M,S hridhar M,et al.Application of integrals
in fusion of classifiers for low error rate handw ritten numerals recognition[A].Pattern Recognition[C].Proceed ings15th In-ternational Conference on,2000,2,487-490.
[8]Predd J B,Ku lkarni S R,Poor H V,et al.Scalab le alg or ith ms for
aggregating dis parate forecasts of probability[C].Proceed ings of th e Ninth In ternation al Conference on In form ation Fusion,
Florence,Italy,2006,1-8.
[9]Dymitr Ruta,Bogdan Gabr ys.An overview of clas sifier fusion
methods[J].Computing and Information S ystems,2000,7(1):
1-10.
[10]L udmila I,Kuncheva J ames C.Bezdek Rob ert,et al.Decision
templates for multiple clas sifier fusion:an ex perim ental com-parison[J].Pattern Recognition,2001,34(2):299-314. [11]Dymitr Ruta,Bogdan Gabrys.An overview of clas sifier fusion
m ethods[J].Com puting and Information S ystem s,2000,7(1):
1-10.
[12]Xie Hua,Xia Shu n-ren,Zh an g Zh an-chao.Study development of
mu lti-class ifier fusion m ethods in medical image identification [J].Journal of International Biomedicine Engineer ing,2006,29
(3):152-157.
[13]Ronald M ahler.Random sets:u nification an d com putation for
information fus ion-a retrospective as sess ment[C].Proceed ings
1097
6期 孔志周等:分类器融合中模糊积分理论研究进展
of the7th Intern ational Inform ation Fusion Confer ence.Stock-
h olm,Sw eden:ISIF.2004,1,1-20.
[14]Li Xue-fei,Feng Hui-min,Huang Dong-m ei,et al.Some aspects
of clas sifier fus ion based on fuzzy integrals[C].Proceedings of the Fourth Internation al Conference on M achin e L earning and Cybernetics,Guang zhou,2005,18-21.
[15]Wang Xi-zh ao,Chen J un-fen.M ultiple n eural netw orks fusion
model bas ed on choquet fuzzy in tegral[C].Proceedings of the Th ird Internation al Confer ence on M achine L earning an d C y-bern etics.S hanghai,2004,4,2024-2027.
[16]Wang X Z,W ang X J.A new methodology for determin ing fuzz y
dens ities in th e fus ion model based on fuzz y integr al[C].Pro-ceedings of the Th ird Intern ational Confer ence on M achine Learning and C ybernetics,2004,4,2028-2031.
[17]Stefan Arnb or g.Royal institute of technology r ob ust bayes ian-
ism:relation to evidence theory[J].Journal of A dvances in In-form ation Fusion,2006,1(1):63-74.
[18]S hun Huai-jiang,Hu Zhon g-shang,Yang J ing-yu.Stud y on mul-
ti-clas sifier fus ion meth ods b as ed on evidence theory[J].Journ al of Computer.2001,24(3):231-235.
[19]Dai Guang-zh on g,Pan Quan,Zh ang Shang-ying,et al.T he de-
velopm ent and ex isting problems of evidence reas oning[J].Con-trol Theory and Application.1999,16(4):465-469.
[20]M ichel Grabis ch,Jean-M arie Nicolas.Clas sification by fu zzy in-
tegral:per formance an d tests[J].Fuz zy S ets and Sys tems, 1994,65:255-271.
[21]Zhang Dei-li,Guo Cai-mei,Wu Cong-xin.Developm ent of fuzz y
integral th eory[J].Fuzzy S ystem and M ath ematics.2003,17
(4):1-10.
[22]J ean Dezert.Foundations for a n ew th eory ofplaus ible and para-
doxical reasoning[J].Information&Security,2002,9,90-95. [23]Wang Xi-zhao,Feng Hui-min.Nonnegative set fun ctions in
multiple class ifier fu sion[C].Proceed ings of the Thir d Interna-tional Confer ence on M achin e Learn ingan d Cybern etics,2004,
4:2020-2023.
[24]Grabisch M,Sugeno M.M ulti-attribu te clas sification us ing fuzz y
in tegral[C].1s t IEEE Int.Conf.on Fuzz y S ystems,S an Diego,M arch8-12,1992:47-54.
[25]M ichel Grabis ch,Jean-M arie Nicolas.Clas sification by fu zzy in-
tegral:Performance and tes ts[J].Fu zzy S ets and Sys tems, 1994,65(3):255-271.
[26]W ang Xi-zh ao,Chen Jun-fen.M u ltiple neural netw ork s fusion
model based on choquet fuzzy integral[C].Pr oceedings of the T hird International Conference on M achine Learning and Cyber-netics.Shanghai,2004,4,2024-2027.
[27]Jam es M Keller,Paul Gader,Hoss ein Tahani,et al.Advances in
fuz zy integration for pattern recognition[J].Fu zzy S ets and Sys-tems,1994,65(2-3):273-283.
[28]Yao M in-hai,He T ong-neng.A multi-classifier fusion meth od
based on fuzz y integral[J].Journal of Zhejiang Indu strial Uni-ver sity,2002,30(2):156-159.
[29]Liu Ru-jie,Yu ang Bao-zong,Tang Xiao-fang.A m ulti-clas sifier
fus ion meth od of w hich the fuzzy density evaluation is realized
by genetic arith metic[J].J ou rnal of E lectrics,2002,30(1):145-147.
[30]W ang Zhen-yuan,Kw ong-s ak Leung,Jia W ang.A genetic algo-
rithm for determinin g n on additive s et fun ctions in infor mation fusion[J].Fuzzy Sets and Sys tems,1999,102(3):463-469. [31]J ames M.Keller,Jeffrey Os born.T raining the fuzzy integral
[J].International Journal of Approxim ate Reas oning,1996,15
(1):1-24.
[32]M a Shu-h ua,W ang Xi-zhao.Fuzzy integral and its application in
mu lti-class ification pr ob lem[D].Dis sertation of M aster,Hebei Un ivers ity.2004.
[33]Gar mendia L,Salvador A,T rillas E,et al.On m easurin g -T-in-
conditionality of fuzzy relations[J].Journal of Soft Computing-
A Fusion of Foundations,M eth odologies and Ap plications,
2005,9(3):164-171.
[34]Xie Yu,Wang Ya-ling,Ling Hong-jin,et al.Study on enterpris e
credit grading method based on fuzz y integral[J].C hina S oft Scien ce,2004,9:145-149.
[35]T ed E.S enator.M ulti-stage class ification[C].Proceedin gs of
the Fifth IE EE In ternation al Conference on Data M inin g, ICDM’05:386-393.
[36]H la Zouari,Laurent Heutte,Yves Lecou rtier.Controlling th e
divers ity in clas sifier ens emb les through a m easure of agr eement [J].Pattern Recogn ition.2005,38(11):2195-2199.
[37]Giorgio Giacinto,Fabio Roli.Dynam ic classifier selection[C].
Proceedings of the First Intern ational W or kshop on multiple classifier s ystem s,Cagliar i,ITALIE,2001,177-189.
[38]Zhou Zhi-Hua,Wu Jian-xin,Wei Tang.Ens emb ling neural net-
w orks:many could be better than all[J].Ar tificial In telligence, 2002,137(1-2):239-263.
附中文参考文献:
[1]李德毅,杜 .不确定性人工智能[M].北京:国防工业出版社.
2005,248-248.
[5]刘永祥,黎 湘,庄钊文.基于Ch oquet模糊积分的决策层信息融
合目标识别[J].电子信息学报,2003,25(5):1175-1199.
[6]李彦鹏,黎 湘,庄钊文.基于Sugeno模糊积分的目标识别效果
评估[J].系统仿真学报,2005,17(5):695-699.
[12]谢 华,夏顺仁,张赞超.医学图像识别中多分类器融合方法的
研究进展[J].国际生物医学工程杂志,2006,29(3):152-157. [18]孙怀江,胡钟山,杨静宇.基于证据理论的多分类器融合方法研
究[J].计算机学报.2001,24(3):231-235.
[19]戴冠中,潘 泉,张山鹰,等.证据推理的进展及存在问题[J].控
制理论与应用.1999,16(4):465-469.
[21]张德利,郭彩梅,吴从 .模糊积分论进展[J].模糊系统与数学.
2003,17(4):1-10.
[28]姚明海,何通能.一种基于模糊积分的多分类器联合方法[J].
浙江工业大学学报,2002,30(2):156-159.
[29]刘汝杰,袁保宗,唐晓芳.用遗传算法实现模糊密度赋值的一种
多分类器融合算法[J].电子学报,2002,30(1):145-147.
[32]马树华,王熙照.模糊积分及其在多分类问题中的应用[D].硕士
论文,河北大学,2004.
[34]谢 禹,王雅林,林洪进,等.基于模糊积分的企业信用评级方法
研究[J].中国软科学,2004,9:145-149.
1098 小 型 微 型 计 算 机 系 统 2008年
数据融合
多传感器数据融合技术及其应用 多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合,对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展,根据国外研究成果,多传感器数据融合比较确切的定义可概括为充分利用不同时间与空间的多传感器数据资源,采用计算机技术对按时间序列获得的多传感器观测数据,在一定准则下进行分析、综合、支配和使用,获得对被测对象的一致性解释与描述,进而实现相应的决策和估计,使系统获得比它的各组成部分更充分的信息。 多传感器数据融合原理 多传感器数据融合技术的基本原理就像人脑综合处理信息一样,充分利用多个传感器资源,通过对多传感器及其观测信息的合理支配和使用,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,以获得被测对象的一致性解释或描述。具体地说,多传感器数据融合原理如下: 1)N个不同类型的传感器(有源或无源的)收集观测目标的数据; (2)对传感器的输出数据(离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi; (3)对特征矢量Yi进行模式识别处理(如,聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等)完成各传感器关于目标的说明; 4)将各传感器关于目标的说明数据按同一目标进行分组,即关联; (5)利用融合算法将每一目标各传感器数据进行合成,得到该目标的一致性解释与描述。 多传感器数据融合方法
多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类,随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer(D-S)证据推理、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见,神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。 卡尔曼滤波法 卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。但是,采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重的问题,例如:(1)在组合信息大量冗余的情况下,计算量将以滤波器维数的三次方剧增,实时性不能满足;(2)传感器子系统的增加使故障随之增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。 多贝叶斯估计法 贝叶斯估计为数据融合提供了一种手段,是融合静态环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合,测量不确定性以条件概率表示,当传感器组的观测坐标一致时,可以直接对传感器的数据进行融合,但大多数情况下,传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。多贝叶斯估计将每一个传感器作为一个贝叶斯估计,将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数,通过使用联合分布函数的似然函数为最小,提
基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法
一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一 ?国家自然科学基金项目(No.51205185,61308066)二江苏省博士后科研资助计划项目(No.1001027B)资助收稿日期:2013-05-20;修回日期:2013-07-23 作者简介一肖迪(通讯作者),女,1975年生,博士,副教授,主要研究方向为模式识别二数据挖掘二系统优化等.E-mail:xiaodi_12@https://www.wendangku.net/doc/b419071286.html,.南雷光,男,1988年生,硕士研究生,主要研究方向为图像处理二模式识别.基于张量的KFLD-SIFT 与RVM 模糊积分融合的 人体行为识别方法? 肖一迪一一南雷光 (南京工业大学自动化与电气工程学院一南京211816) 摘一要一针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher 非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT 局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM 模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH 人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%. 关键词一张量,核Fisher 非线性鉴别(KFLD),尺度不变特征变换(SIFT),相关向量机(RVM),模糊积分融合 中图法分类号一TP 391 KFLD-SIFT with RVM Fuzzy Integral Fusion Recognition of Human Action Based on Tensor XIAO Di,NAN Lei-Guang (College of Automation and Electrical Engineering ,Nanjing Tech University ,Nanjing 211816)ABSTRACT Due to the large sample and multiple characteristics of video sequence in the field of human action recognition,a method of kernel Fisher nonlinear discriminant (KFLD)-scale invariant feature transform (SIFT)and relevance vector machine (RVM)fuzzy integral fusion recognition based on tensor is proposed.Firstly,video sequence is pre-processed into binary video sequence,and then it is described as third-order tensor.Furthermore,as for large sample characteristics,a local feature extraction method of KFLD-SIFT is proposed to reduce the dimension around the key points under different initial scales.Meanwhile,RVM fuzzy integral fusion algorithm for behavior classification is presented.Finally,the proposed method and other relevant methods are compared through four kinds of evolution indexes and average recognition rates.The video sequence of KTH human action database and triple-cross verification method are used to test the recognition methods.Experimental results show that the proposed method achieves good recognition effect,and its average recognition rate rises by at least 2.3%compared to other 第27卷一第8期一一一一一一一一一一一一一模式识别与人工智能一一一一一一一一一一一一一一一Vol.27一No.8一2014年8月一一一一一一一一一一一一一一一一PR &AI一一一一一一一一一一一一一一一一一一Aug.一2014
大数据融合各种算法整理汇总情况情况
数据融合各种算法及数学知识汇总 粗糙集理论 理论简介 面对日益增长的数据库，人们将如何从这些浩瀚的数据中找出有用的知识？ 我们如何将所学到的知识去粗取精？什么是对事物的粗线条描述什么是细线条描述？ 粗糙集合论回答了上面的这些问题。要想了解粗糙集合论的思想，我们先要了解一下什么叫做知识？假设有8个积木构成了一个集合A，我们记： A={x1,x2,x3,x4,x5,x6,x7,x8}，每个积木块都有颜色属性，按照颜色的不同，我们能够把这堆积木分成R1={红，黄，蓝}三个大类，那么所有红颜色的积木构成集合X1={x1,x2,x6}，黄颜色的积木构成集合X2={x3,x4}，蓝颜色的积木是：X3={x5,x7,x8}。按照颜色这个属性我们就把积木集合A进行了一个划分(所谓A的划分就是指对于A中的任意一个元素必然属于且仅属于一个分类），那么我们就说颜色属性就是一种知识。在这个例子中我们不难看到，一种对集合A的划分就对应着关于A中元素的一个知识，假如还有其他的属性，比如还有形状R2={三角,方块,圆形}，大小R3={大,中,小}，这样加上R1属性对A构成的划分分别为： A/R1={X1,X2,X3}={{x1,x2,x6},{x3,x4},{x5,x7,x8}} （颜色分类） A/R2={Y1,Y2,Y3}={{x1,x2},{x5,x8},{x3,x4,x6,x7}} （形状分类） A/R3={Z1,Z2,Z3}={{x1,x2,x5},{x6,x8},{x3,x4,x7}} （大小分类） 上面这些所有的分类合在一起就形成了一个基本的知识库。那么这个基本知识库能表示什么概念呢？除了红的{x1,x2,x6}、大的{x1,x2,x5}、三角形的{x1,x2}这样的概念以外还可以表达例如大的且是三角形的{x1,x2,x5}∩{x1,x2}={x1,x2}，大三角{x1,x2,x5}∩{x1,x2}={x1,x2}，蓝色的小的圆形({x5,x7,x8}∩{x3,x4,x7}∩{x3,x4,x6,x7}={x7}，蓝色的或者中的积木{x5,x7,x8}∪{x6,x8}={x5,x6,x7,x8}。而类似这样的概念可以通过求交运算得到，比如X1与Y1的交就表示红色的三角。所有的这些能够用交、并表示的概念以及加上上面的三个基本知识(A/R1,A/R2.A/R3)一起就构成了一个知识系统记为R=R1∩R2∩R3，它所决定的所有知识是 A/R={{x1,x2},{x3,x4},{x5},{x6},{x7},{x8}}以及A/R中集合的并。 下面考虑近似这个概念。假设给定了一个A上的子集合X={x2,x5,x7}，那么用我们的知识库中的知识应该怎样描述它呢？红色的三角？****的大圆？ 都不是，无论是单属性知识还是由几个知识进行交、并运算合成的知识，都不能得到这个新的集合X，于是我们只好用我们已有的知识去近似它。也就是在所有的现有知识里面找出跟他最像的两个一个作为下近似，一个作为上近似。于是我们选择了“蓝色的大方块或者蓝色的小圆形”这个概念：{x5,x7}作为X的下近似。选择“三角形或者蓝色的”{x1,x2,x5,x7,x8}作为它的上近似，值得注意的是，下近似集是在那些所有的包含于X的知识库中的集合