一种基于粒子群算法的聚类算法
第35卷第1期2009年3月延边大学学报(自然科学版)
Journal of Yanbian University (Natural Science )Vol.35No.1Mar.2009
收稿日期:2008-10-18
作者简介:姜浩(1981—
),男,硕士研究生,研究方向为粒子群算法.文章编号:100424353(2009)0120064204
一种基于粒子群算法的聚类算法
姜浩, 崔荣一
(延边大学工学院计算机科学与技术系智能信息处理研究室,吉林延吉133002)
摘要:提出一种基于粒子群算法的聚类算法,该算法利用粒子群算法随机搜索解空间的能力找到最优解.首先,将样本所属类号的组合作为粒子,构成种群,同时引入极小化误差平方和来指导种群进化的方向.其次,通过对全局极值的调整,搜索到全局最优值.最后,通过仿真实验的对比,验证了该算法在有效性和稳定性上要好于K 2means 算法.
关键词:粒子群;聚类;极小化误差平方和中图分类号:TP301.6 文献标识码:A
A Method of Clustering
B ased on
the P article Sw arm Optimization
J IAN G Hao , CU I Rong 2yi
(I ntelli gent I nf ormation Processing L ab.,De partment of Com puter Science and Technolog y ,
College of Engineering ,Yanbian Universit y ,Yanj i 133002,China )
Abstract :A clustering method based on the particle swarm optimization is provided ,using the ability of PSO algorithm which can search all of the solution space to find the optimum solution.Firstly ,the combination of the cluster number of the samples was taken as particles to consist a swarm.Meanwhile ,the evolution trend was used to modulate with the theory of the L MS error criterion.Secondly ,according to the modulating for global best ,the algorithm researched the global optimum.Finally ,the simulation results show that the new algorithm of proposed algorithm is more efficient and stable than K 2means algorithm.K ey w ords :particle swarm optimization ;clustering ;L MS error criterion
0 引言
聚类分析研究具有很长的历史,其重要性及
与其他研究方向的交叉特性得到人们的肯定[1].聚类是数据挖掘、模式识别等研究方向的重要研究内容之一,在识别数据的内在结构方面具有极其重要的作用.聚类技术广泛应用于语音识别、字符识别、图像分割、机器视觉、数据压缩和文献信息检索等领域.聚类的另一主要应用是数据挖据(多关系数据挖掘)、时空数据库应用(GIS 等)、序列和一类数据分析等.此外,聚类还应用于统计科学.值得一提的是,聚类分析对生物学、心理学、考
古学、地质学、地理学以及市场营销等研究也都有重要应用.
粒子群优化(Particle Swarm Optimization ,PSO )算法是由Eberhart 和Kennedy [2]于1995年提出的一类基于群智能的随机优化算法.该算法模拟鸟群飞行觅食的行为,通过个体之间的集体协作和竞争来实现全局搜索,是一种基于群智能的演化计算技术.同遗传算法相比,虽然同是基于迭代的进化算法,但没有交叉和变异算子,群体在解空间中根据自身经历的最好位置,以及群体最优解来进行搜索.由于PSO 算法有着参数少,
第1期姜浩,等:一种基于粒子群算法的聚类算法
易于实现,算法简单,具有良好的全局搜索能力等优点,被广泛应用于各个领域,如结构设计、函数优化、网络训练、模糊系统控制、电磁场以及任务调度等工程优化问题中.
目前为止,已有很多结合粒子群算法的聚类分析方法[325],其关键结合点是如何构造种群以及如何评价.比较有代表性的思想是结合K2means 算法,将初始的聚类中心作为种群,然后根据中心进行聚类,再利用聚类的结果来评价种群的质量,最后依据粒子群算法的原理更新聚类中心.这种算法改进了K2means算法对初始中心敏感的问题.在文献[4]中提出了动态的聚类方法,以解决分类数目不确定的聚类问题.
本文提出的算法与上述结合K2means算法的粒子群聚类不同,采用的方法是随机地分配每个样本的类号,将这些类号的组合作为一个粒子,再利用粒子群算法进行优化.所提出的算法实现简单,实验结果正确,稳定性良好.
1 基本PSO算法
基本PSO[6]中,粒子群由n个粒子组成,每个粒子的位置代表优化问题在d维搜索空间中潜在的解.在一个d维的目标搜索空间中,由这n个粒子组成一个群落,其中第i个粒子的位置为d维的向量X i=(X i1,X i2,…,X i d);第i个粒子的历史最优位置为P i=(P i1,P i2,…,P i d);整个群体迄今为止搜索到的最好的位置记为P g=(P g1,P g2,…,P g d);第i个粒子的“飞翔”速度也是一个d维的向量V i=(V i1,V i2,…,V i d),它决定粒子在搜索空间单位迭代次数的位移.粒子按式(1)和(2)来调整自己的位置:
V ij(t+1)=w V ij(t)+r1c1(P ij-
X ij(t))+r2c2(P g-X ij(t)),(1)
X ij(t+1)=X ij(t)+V ij(t+1),
1≤i≤n,1≤j≤d.(2)其中c1和c2是非负数,称为加速度因子,通常取c1=c2=2;r1和r2为[0,1]内的随机数;w为惯性因子,一般在0.1到0.9之间取值.此外,粒子速度V i由最大速度V max所限制,即V i在[-V max, V max]内取值.
PSO的基本算法步骤描述如下:
Step1 初始化粒子群,即随机设定各粒子的初始位置和初始速度;
Step2 计算每个粒子的适应值;
Step3 对每个粒子,比较它的适应值和它经历过的最好位置的适应值;若更好,更新粒子当前最好位置P i d;
Step4 对每个粒子的P i d进行比较,最好的位置如果优于P g d,则更新P g d的值为P i d;
Step5 根据式(1)和式(2)更新粒子速度和位置;
Step6 如果达到结束条件(一般为足够好的位置或最大迭代次数),则结束,否则转Step2.
算法中的w,c1和c2是影响算法性能的重要参数.w值较大时,算法的全局搜索能力强;反之,局部搜索能力强.c1的值决定了粒子更新时受自身影响的程度,c2的值决定了整个种群对个体粒子的影响程度.
2 聚类
聚类是一个无监督的分类,它没有任何先验知识可用.聚类遵从的一般原则是:一个类簇内的实体是相似的,不同类簇的实体是不相似的;一个类簇是测试空间中点的会聚;同一类簇的任意两个点间的距离小于不同类簇的任意两个点间的距离;类簇可描述为一个包含密度相对高的点集的多维空间中的连通区域,它们借助包含密度相对较低的点集的区域与其他区域(类簇)相分离.
聚类的形式描述如下:令U={P1,P2,…, P n}表示一个模式集合,P i表示第i个模式,i= {1,2,…,n};C tΑU,t=1,2,…,k,C t={P t1, P t2,…,P t w};proximity(P ms,P i r).其中,第1个下标表示模式所属的类,第2个下标表示某类中某一模式,函数proximity用来刻画模式的相似性距离.若诸类C t为聚类的结果,则诸C t需满足如下条件:
∪k t=1C t=U,(3)对于ΠC m,C rΑU,C m≠C r,有C m∩C r= (仅限于刚性聚类);
min(p roximity(P m u,P rv))>
max(pro ximity(P m x,P m y)),(4)式(4)中参数满足如下条件:ΠP mu∈C m,ΠP rv∈C r,ΠC m,C rΑU并且C m≠C r;ΠP m x,P m y∈C m,ΠC mΑU.
典型的聚类过程主要包括数据(或称之为样本或模式)准备,特征选择和特征提取,接近度计算,聚类(或分组),对聚类结果进行有效性评估等步骤.
56
延边大学学报(自然科学版)第35卷
3 基于粒子群的聚类算法
Boer DP T 等人[7]在论述有关交叉熵对聚类
的影响时,提出了一种有趣的方法.他们将样本的聚类看做是一种样本的组合形式,这种组合的结果要尽可能地使一组内的样本特征一致,不同组之间的差异尽可能的大.当样本数达到一定数量时,组合的数量十分庞大,要想枚举出每一种可能,几乎是做不到的.本文基于这种组合的思想,提出粒子群聚类算法(Particle Swarm Optimization Clustering ,PSOC ),首先将样本随机地分到某一类,即分配类号,再利用粒子群算法的全局搜索能力,对样本所属类别进行更新,得到最优解.最优解代表了最好的分类.
在本文算法中,粒子群中的每个粒子为一种可能的划分,粒子的维数为样本的个数,每一维的值代表样本所划分的类.粒子构造为
X i =(k 1,k 2…,k m ),0 其中m 为样本个数,k i 为第i 个样本所属的类.因此,一个群代表数据集的多个候选划分.粒子的适应值采用误差平方和函数: J c = 6k i =16n i j =1 X ij -m i 2 ,(5) 其中X ij 是属于第i 类的第j 个样本;n i 是第i 类所包含的样本个数;m i 是第i 类的中心, m i = 1 n i 6 x ∈X i x. (6) 由于粒子群算法在运行过程中依靠全局极值和个体极值指导整个种群进化,所以很容易陷入局部最优.考虑到这种情况,本文采取以下方法避免局部最优的发生:每次迭代,对全局极值进行一次调整;借鉴极小化误差平方和算法[8]的思想,移动样本.按照如下公式计算样本移动的影响: P j = n j n j +1X -m j 2 ,j ≠i ; n i n i -1 X -m j 2 ,j =i. (7) 公式(7)计算的是样本从第i 类移动到第j 类所带来的影响,首先用公式(7)中的第二个公式计算出类内P j 值最大的样本,然后对其进行更新,更新时按照公式(7)中的第一个公式,计算样本移动到其它类的情况时带来的影响大小,将此样本重新划分到P j 最小值所对应的类. 本文的粒子群聚类算法描述如下: Step 1 初始化粒子群,即随机设定粒子的 初始位置和初始速度,给样本划分类别; Step 2 计算每个粒子的适应值; Step 3 对每个粒子,比较它的适应值和它经历过的最好位置的适应值;若更好,更新当前最好位置P i d ; Step 4 对每个粒子的P i d 进行比较,最好的 位置如果优于P g d ,则更新P g d 为P i d ; Step 5 对当前P gb 所代表的最优分类进行调整,以公式(7)计算的结果作为依据,从每个类内部选取一个样本进行调整; Step 6 根据式(1)和式(2)进化粒子速度 和位置; Step 7 如果达到结束条件(一般为足够好的位置或最大迭代次数),则结束,否则转Step 2. 4 实验结果与分析 本文采用90个二维点作为待分类的数据集进行实验.实验数据分为3类,是线性可划分的.由于只为了证明算法的有效性与稳定性,本文采用了固定的类数.算法中的参数设置为:群体规模 n =20,解空间d =90维,迭代次数为30次.惯性 权重w 采用线性递减策略,范围是0.9～0.4;加速因子设置为c 1=c 2=2. 结束条件为最大迭代次数. 图1为90个二维样本点数据集,可以看出,它们拥有各自的团体.图2为PSOC 运行过程中的最优适应值的下降曲线.为了更好地说明算法的优点,与传统的K 2means 算法的运算结果进行了比较.本文的PSOC 算法同K 2means 算法一样得到了图3显示的良好的聚类结果. 图1 数据集 表1所记录的是两种算法的单次所用时间.从时间上来看,K 2means 略优于PSOC.为了说明本文算法在有效性和稳定性上的优势,重复运行 66 第1期姜浩,等:一种基于粒子群算法的聚类算法100次算法,记录每次得到的聚类结果是否正确, 即样本被划分到正确的分类(当95%以上的样本被正确划分即为正确结果).表2所显示的结果表明,PSOC 算法在稳定性上要明显优于K 2mean 算法,可以保证每次都能够得到正确的聚类结果 . 图2 最优值下降曲线 表1 效率 算法K 2means PSOC 运行时间/s 0. 9 1.48 表2 有效性 算法K 2means PSOC 正确率/% 73 100 图3 划分结果 5 结束语 本文提出了一种基于粒子群算法的聚类算法,该算法利用PSO 算法的全局搜索能力对数据进行聚类.在聚类过程中以极小化误差平方和算法的思想,找到对改进分类影响最大的样本,将它重新分类,以此指导全局最优值进行更新,使种群整体向全局最优进化.多次独立实验表明,与传统的K 2means 算法相比,本文算法具有很好的稳定性. 本文算法虽然有很好的稳定性,但是对于有噪声点的样本集合,是否也具有稳定的性能,仍需要进一步研究.同时,也要进一步研究粒子群算法的改进策略.本算法实现时,考虑的是分类数目确 定的情况,对于分类数不确定的情况,算法是否能够很好地得到聚类结果也是下一步研究的重点. 参考文献: [1] 孙吉贵,刘杰,赵连宇.聚类算法研究[J ].软件学报, 2008,19(1):48261. [2] Eberhart R C ,Kennedy J.A New Optimizer Using Particle Swarm Theory [C ]//Proceedings of the Sixth International Symposium on Micro Machine and Human Science.Piscataway ,USA :IEEE Serv 2ice Center ,1995:39243.[3] 杨勋,王汪晴.求解聚类问题的混合PSO 算法设计 [J ].计算机工程与应用,2007,24(10):43245.[4] 张长胜,孙吉贵,杨凤芹,等.一种基于PSO 的动态 聚类算法[J ].计算机研究与发展,2007,44(sup 2pl.):89293.[5] 陈曦,李春月,李峰,等.基于PSO 的模糊C 2均值聚 类算法的图像分割[J ].计算机工程与应用,2008,44(18):1812185.[6] 杨维,李歧强.粒子群优化算法综述[J ].中国工程科 学,2004,6(5):87294.[7] Boer DPT ,Kroese DP ,Mannor S ,et al.A Tutori 2 al on the Cross 2Entropy Method[J ].Annals of Op 2erations Research ,2005,134(1):19267.[8] 杨光正,吴岷,张晓莉.模式识别[M ].北京:中国科 学技术大学出版社,2007. 7 6 聚类分析K-means算法综述 摘要：介绍K-means聚类算法的概念，初步了解算法的基本步骤，通过对算法缺点的分析，对算法已有的优化方法进行简单分析，以及对算法的应用领域、算法未来的研究方向及应用发展趋势作恰当的介绍。 关键词：K-means聚类算法基本步骤优化方法应用领域研究方向应用发展趋势 算法概述 K-means聚类算法是一种基于质心的划分方法，输入聚类个数k，以及包含n个数据对象的数据库，输出满足方差最小标准的k个聚类。 评定标准：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算。 解释：基于质心的划分方法就是将簇中的所有对象的平均值看做簇的质心，然后根据一个数据对象与簇质心的距离，再将该对象赋予最近的簇。 k-means 算法基本步骤 （1）从n个数据对象任意选择k 个对象作为初始聚类中心 （2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分 （3）重新计算每个（有变化）聚类的均值（中心对象） （4）计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤（2） 形式化描述 输入：数据集D，划分簇的个数k 输出：k个簇的集合 （1）从数据集D中任意选择k个对象作为初始簇的中心； （2）Repeat （3）For数据集D中每个对象P do （4）计算对象P到k个簇中心的距离 （5）将对象P指派到与其最近（距离最短）的簇； （6）End For （7）计算每个簇中对象的均值，作为新的簇的中心； （8）Until k个簇的簇中心不再发生变化 对算法已有优化方法的分析 (1)K-means算法中聚类个数K需要预先给定 这个K值的选定是非常难以估计的，很多时候,我们事先并不知道给定的数据集应该分成多少个类别才最合适，这也是K一means算法的一个不足"有的算法是通过类的自动合并和分裂得到较为合理的类型数目k，例如Is0DAIA算法"关于K一means算法中聚类数目K 值的确定，在文献中，根据了方差分析理论，应用混合F统计量来确定最佳分类数，并应用了模糊划分嫡来验证最佳分类数的正确性。在文献中，使用了一种结合全协方差矩阵RPCL算法，并逐步删除那些只包含少量训练数据的类。文献中针对“聚类的有效性问题”提出武汉理工大学硕士学位论文了一种新的有效性指标：V(k km) = Intra(k) + Inter(k) / Inter(k max)，其中k max是可聚类的最大数目,目的是选择最佳聚类个数使得有效性指标达到最小。文献中使用的是一种称为次胜者受罚的竞争学习规则来自动决定类的适当数目"它的思想是：对每个输入而言不仅竞争获胜单元的权值被修正以适应输入值，而且对次胜单元采用惩罚的方法使之远离输入值。 (2)算法对初始值的选取依赖性极大以及算法常陷入局部极小解 不同的初始值，结果往往不同。K-means算法首先随机地选取k个点作为初始聚类种子，再利用迭代的重定位技术直到算法收敛。因此，初值的不同可能导致算法聚类效果的不稳定，并且，K-means算法常采用误差平方和准则函数作为聚类准则函数(目标函数)。目标函数往往存在很多个局部极小值，只有一个属于全局最小，由于算法每次开始选取的初始聚类中心落入非凸函数曲面的“位置”往往偏离全局最优解的搜索范围，因此通过迭代运算，目标函数常常达到局部最小，得不到全局最小。对于这个问题的解决，许多算法采用遗传算法(GA)，例如文献中采用遗传算法GA进行初始化，以内部聚类准则作为评价指标。 (3)从K-means算法框架可以看出，该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时,算法的时间开销是非常大 所以需要对算法的时间复杂度进行分析，改进提高算法应用范围。在文献中从该算法的时间复杂度进行分析考虑，通过一定的相似性准则来去掉聚类中心的候选集，而在文献中，使用的K-meanS算法是对样本数据进行聚类。无论是初始点的选择还是一次迭代完成时对数据的调整，都是建立在随机选取的样本数据的基础之上，这样可以提高算法的收敛速度。 粒子群优化算法综述 摘要：本文围绕粒子群优化算法的原理、特点、改进与应用等方面进行全面综述。侧重于粒子群的改进算法，简短介绍了粒子群算法在典型理论问题和实际工业对象中的应用，并给出了粒子群算三个重要的网址，最后对粒子群算做了进一步展望。 关键词；粒子群算法；应用；电子资源；综述 0.引言 粒子群优化算法]1[(Particle Swarm Optimization ，PSO)是由美国的Kenned 和Eberhar 于1995年提出的一种优化算法,该算法通过模拟鸟群觅食行为的规律和过程，建立了一种基于群智能方法的演化计算技术。由于此算法在多维空间函数寻优、动态目标寻优时有实现容易，鲁棒性好，收敛快等优点在科学和工程领域已取得很好的研究成果。 1. 基本粒子群算法]41[- 假设在一个D 维目标搜索空间中，有m 个粒子组成一个群落，其中地i 个粒子组成一个D 维向量，),,,(21iD i i i x x x x =，m i ,2,1=，即第i 个粒子在D 维目标搜索空间中的位置是i x 。换言之，每个粒子 的位置就是一个潜在的解。将i x 带入一个目标函数就可以计算出其适 应值，根据适应值得大小衡量i x 的优劣。第i 个粒子的飞翔速度也是一个D 维向量，记为),,,(21iD i i i v v v v =。记第i 个粒子迄今为止搜索到的最优位置为),,,(21iD i i i p p p p =，整个粒子群迄今为止搜索到的最优位置为),,,(21gD gi g g p p p p =。 粒子群优化算法一般采用下面的公式对粒子进行操作 )()(22111t id t gd t id t id t id t id x p r c x p r c v v -+-+=+ω (1) 11+++=t id t id t id v x x (2) 式中，m i ,,2,1 =；D d ,,2,1 =；ω是惯性权重， 1c 和2c 是非负常数， 称为学习因子， 1r 和2r 是介于]1,0[间的随机数；],[max max v v v id -∈，max v 是常数，由用户设定。 2. 粒子群算法的改进 与其它优化算法一样PSO 也存在早熟收敛问题。随着人们对算 法搜索速度和精度的不断追求，大量的学者对该算法进行了改进，大致可分为以下两类：一类是提高算法的收敛速度；一类是增加种群多样性以防止算法陷入局部最优。以下是对最新的这两类改进的总结。 2.1.1 改进收敛速度 量子粒子群优化算法]5[:在量子系统中，粒子能够以某一确定的 概率出现在可行解空间中的任意位置，因此，有更大的搜索范围，与传统PSO 法相比，更有可能避免粒子陷入局部最优。虽然量子有更大的搜索空间，但是在粒子进化过程中，缺乏很好的方向指导。针对这个缺陷，对进化过程中的粒子进行有效疫苗接种，使它们朝着更好的进化方向发展，从而提高量子粒子群的收敛速度和寻优能力。 文化粒子群算法]6[:自适应指导文化PSO 由种群空间和信念空间 两部分组成。前者是基于PSO 的进化，而后者是基于信念文化的进化。两个空间通过一组由接受函数和影响函数组成的通信协议联系在一起，接受函数用来收集群体空间中优秀个体的经验知识；影响函数利用解决问题的知识指导种群空间进化；更新函数用于更新信念空间； 粒子群算法综述 【摘要】：粒子群算法(pso)是一种新兴的基于群体智能的启发式全局搜索算法，具有易理解、易实现、全局搜索能力强等特点，倍受科学与工程领域的广泛关注，已得到广泛研究和应用。为了进一步推广应用粒子群算法并为深入研究该算法提供相关资料，本文对目前国内外研究现状进行了全面分析，在论述粒子群算法基本思想的基础上，围绕pso的运算过程、特点、改进方式与应用等方面进行了全面综述，并给出了未来的研究方向展望。 【关键词】：粒子群算法优化综述 优化理论的研究一直是一个非常活跃的研究领域。它所研究的问题是在多方案中寻求最优方案。人们关于优化问题的研究工作，随着历史的发展不断深入，对人类的发展起到了重要的推动作用。但是，任何科学的进步都受到历史条件的限制，直到二十世纪中期，由于高速数字计算机日益广泛应用，使优化技术不仅成为迫切需要，而且有了求解的有力工具。因此，优化理论和算法迅速发展起来，形成一门新的学科。至今已出现线性规划、整数规划、非线性规划、几何规划、动态规划、随机规划、网络流等许多分支。这些优化技术在诸多工程领域得到了迅速推广和应用，如系统控制、人工智能、生产调度等。随着人类生存空间的扩大，以及认识世界和改造世界范围的拓宽，常规优化法如牛顿法、车辆梯度法、模式搜索法、单纯形法等已经无法处理人们所面的复杂问题，因此高效的 优化算法成为科学工作者的研究目标之一。 1.粒子群算法的背景 粒子群算法(particle swarm optimization，pso)是一种新兴的演化算法。该算法是由j.kennedy和r.c.eberhart于1995年提出的一种基于群智能的随机优化算法。这类算法的仿生基点是：群集动物(如蚂蚁、鸟、鱼等)通过群聚而有效的觅食和逃避追捕。在这类群体的动物中，每个个体的行为是建立在群体行为的基础之上的，即在整个群体中信息是共享的，而且在个体之间存在着信息的交换与协作。如在蚁群中，当每个个体发现食物之后，它将通过接触或化学信号来招募同伴，使整个群落找到食源；在鸟群的飞行中，每只鸟在初始状态下处于随机位置，且朝各个方向随机飞行，但随着时间推移，这些初始处于随机状态的鸟通过相互学习(相互跟踪)组织的聚集成一个个小的群落，并以相同的速度朝着相同的方向飞行，最终整个群落聚集在同一位置──食源。这些群集动物所表现的智能常称为“群体智能”，它可表述为：一组相互之间可以进行直接通讯或间接通讯(通过改变局部环境)的主体，能够通过合作对问题进行分布求解。换言之，一组无智能的主体通过合作表现出智能行为特征。粒子群算法就是以模拟鸟的群集智能为特征，以求解连续变量优化问题为背景的一种优化算法。因其概念简单、参数较少、易于实现等特点，自提出以来已经受到国内外研究者的高度重视并被广泛应用于许多领域。 一种改进的粒子群优化算法 发表时间：2011-04-08T10:15:21.830Z 来源：《价值工程》2011年第3月上旬作者：武燕张冰[导读] 介绍基本粒子群优化算法的原理、特点，并在此基础上提出了一种改进的粒子群算法。 武燕 Wu Yan；张冰 Zhang Bing （江苏科技大学电子信息学院，镇江 212003）（School of Electronics and Information，Jiangsu University of Science and Technology，Zhenjiang 212003，China）摘要：介绍基本粒子群优化算法的原理、特点，并在此基础上提出了一种改进的粒子群算法。通过在粒子初始化时引入相对基的原理使粒子获得更好的初始解，以及在迭代过程中引入变异模型，部分粒子生成相对应的扩张及收缩粒子，比较其适应度，保留最佳粒子进行后期迭代，使算法易跳出局部最优。通过经典函数的测试结果表明，新算法的全局搜索能力有了显著提高，并且能够有效避免早熟问题。 Abstract: This paper introduces the principles and characteristics of Particle Swarm Optimization algorithm，and puts forward an improved particle swarm optimization algorithm. It adopted Opposition-Based Learning in initialization to get a better solution and adopted variation model which make some particles generate two corresponding shrink and expand particles and keep the best fitness particle iterate in later iteration to avoid getting into local minumum. The experimental results of classical function show this algorithm improves the global convergence ability and efficiently prevents the algorithm from the local optimization and early maturation. 关键词：粒子群优化算法；相对基；变异模型 Key words: Particle Swarm Optimization（PSO）；Opposition-Based Learning；variation model 中图分类号：TP301.6 文献标识码：A 文章编号：1006-4311（2011）07-0161-02 0 引言 粒子群优化算法（Particle Swarm Optimization，PSO）是一种新型的仿生算法，由Kennedy和Eberhart于1995年提出[1，2]。该算法是基于群体智能（Swarm I ntelligence，SI）的优化算法，其功能与遗传算法（Genetic Algorithm，GA）非常相似[3]。PSO优化算法因其需要调节的参数少，具有简单且易于实现的优点，因此越来越多地被应用于函数优化、神经网络训练、模式分类以及其他领域[4]。但是，其数学基础不完善，实现技术不规范，在适应度函数选取、参数设置、收敛理论等方面还存在许多需要深入研究的问题。本文主要是介绍PSO算法原理和特点，并在此基础上提出一种改进的PSO算法，并用测试函数对其进行验证。 1 粒子群算法的基本原理和特点 1.1 算法原理粒子群优化算法的基本概念是源于对鸟群捕食行为的模仿研究，人们从鸟群捕食过程当中得到启示，并用于解决优化问题。在PSO算法中，每个优化问题的解都是搜索空间中一个粒子。所有的粒子都有一个由被优化的函数决定的适应度值，每个粒子还有一个速度（v）决定它们飞行的方向和距离。PSO初始化为一群随机粒子，然后粒子根据当前的最优粒子在解空间中搜索最优解。在每一次迭代中，粒子都是通过跟踪两个“极值”来更新自己，一是就是粒子自身找到的最优解，称个体极值（pbest）；另一个极值是整个群体找到的最优解，称全局极值（gbest）。如果粒子的群体规模为M，目标搜索空间为D维，则第i（i=1，2，…，M）个粒子的位置可表示为Xi，它所经过的“最好”位置记为pi，速度用Vi表示，群体中“最好”粒子的位置的位置记为pg表示，那么粒子i将根据下面的公式来更新自己的速度和位置： (2) 其中，d=1，2，…D，c1，c2为大于零的学习因子或称作加速系数；r1和r2是[0，1]上的随机数；ω（t）是Shi提出的ω线性递减的模型，即。其中，ωmax和ωmin分别是惯性权重的最大和最小值， iter[5]是最大迭代次数，iter是当前迭代次数，这样则可以保证在算法开始时，各微粒能以较大的速度步长在全局范围内探测到较好的结果；在搜索后期，较小的ω值则能保证微粒在极点周围做精细的搜索，从而使算法有较大的几率以一定精度收敛于全局最优值。 1.2 算法特点虽然PSO的功能与遗传算法极其类似，但存在如下显著的优点：无交叉和变异运算，仅依靠粒子速度完成搜索空间；有记忆性，每个粒子和群体的历史最优位置可以记忆并传递给其他粒子，而且需要调整的参数少，结构简单，易于实现；跟遗传算法采用的二进制编码不同，PSO采用实数编码，直接由问题的解决定，问题解的变量数作为粒子的维数；收敛速度快，在迭代过程中只有最优的粒子把信息传递给其他粒子，属于单向的信息流动，整个搜索更新过程是跟随当前最优解的寻优迭代过程。 2 PSO算法的改进 PSO算法虽然推出的时间不长，但有着许多的改进方法，一般而言都是在局部最优搜索问题及速度更新问题上。本文根据PSO算法的特点，在初始化以及迭代过程中作了一些改进，提出了一种基于相对基初始化及变异模型的PSO算法（OBC-PSO）。 2.1 相对基初始化相对基学习（Opposition-Based Learning）是Tizhoosh于2005年提出的一种新的机器学习算法[6]。它的主要思想是：在求解优化问题时，同时考察一个可行解和它的相对解，通过评价他们的优劣来获得较优的候选解。一般来说，在对解无任何先验知识的情况下，通常我们是采用随机法初始化群体。本文将相对基学习嵌入到PSO算法中，通过同时评价一个可行解及其相对解的优劣，以获得较优的初始候选解，从而提高收敛速度。具体方法如下： ①随机生成均匀分布的初始群体X=X i，V i i=1，2，…，N； ②计算相对群体OX：分别对X中的每个粒子按（3）、（4）式计算其相对粒子（包括位置和速度），构成相对群体OX=OX i，OV i i=1，2，…，N； ox id=L d+U d-x id（3） ov id=V min d+V max d-v id（4） 计算机工程与应用2006.16 引言 聚类分析是数据挖掘领域中的一个重要分支[1],是人们认 和探索事物之间内在联系的有效手段,它既可以用作独立的 据挖掘工具,来发现数据库中数据分布的一些深入信息,也 以作为其他数据挖掘算法的预处理步骤。所谓聚类(clus- ring)就是将数据对象分组成为多个类或簇(cluster),在同一 簇中的对象之间具有较高的相似度,而不同簇中的对象差别大。传统的聚类算法主要分为四类[2,3]:划分方法,层次方法, 于密度方法和基于网格方法。 受生物进化机理的启发,科学家提出许多用以解决复杂优 问题的新方法,如遗传算法、进化策略等。1991年意大利学A.Dorigo等提出蚁群算法,它是一种新型的优化方法[4]。该算不依赖于具体问题的数学描述,具有全局优化能力。随后他 其他学者[5～7]提出一系列有关蚁群的算法并应用于复杂的组优化问题的求解中,如旅行商问题(TSP)、调度问题等,取得 著的成效。后来其他科学家根据自然界真实蚂蚁群堆积尸体分工行为,提出基于蚂蚁的聚类算法[8,9],利用简单的智能体 仿蚂蚁在给定的环境中随意移动。这些算法的基本原理简单懂[10],已经应用到电路设计、文本挖掘等领域。本文详细地讨现有蚁群聚类算法的基本原理与性能,在归纳总结的基础上 出需要完善的地方,以推动蚁群聚类算法在更广阔的领域内 到应用。 2聚类概念及蚁群聚类算法 一个簇是一组数据对象的集合,在同一个簇中的对象彼此 类似,而不同簇中的对象彼此相异。将一组物理或抽象对象分组为类似对象组成的多个簇的过程被称为聚类。它根据数据的内在特性将数据对象划分到不同组(或簇)中。聚类的质量是基于对象相异度来评估的,相异度是根据描述对象的属性值来计算的,距离是经常采用的度量方式。聚类可用数学形式化描述为:设给定数据集X={x 1 ,x 2 ,…,x n },!i∈{1,2,…,n},x i ={x i1 ,x i2 , …,x 摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度 目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22) 4.1粒子群算法基本原理 粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids （Reynolds 对其仿真鸟群系统的命名）的仿真研究 。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids 系统中采取了下面的三条简单的规则： （1）飞离最近的个体(鸟)，避免与其发生碰撞冲突； （2）尽量使自己与周围的鸟保持速度一致； （3）尽量试图向自己认为的群体中心靠近。 虽然只有三条规则，但Boids 系统已经表现出非常逼真的群体聚集行为。但Reynolds 仅仅实现了该仿真，并无实用价值。 1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中 。Kennedy 和Eberhart 在boids 中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子（particle ）”来称呼每个个体，这样就产生了基本的粒子群优化算法[49]。 假设在一个D 维搜索空间中，有m 个粒子组成一粒子群，其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==，它是优化问题的一个潜在 一、粒子群算法概述 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，1995 年由Eberhart 博士和kennedy博士提出，源于对鸟群捕食的行为研究。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解。 PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。 PSO 初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个”极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest。另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分作为粒子的邻居，那么在所有邻居中的极值就是局部极值。 二、算法原理 粒子群算法采用常数学习因子，及惯性权重，粒子根据如下的公式更新自己的速度和位置。 V ki=ωk V i?1i+c1r1(Q bi?Q k?1i)+c2r2(Q bg?Q k?1i)Q ki=Q k?1i+V ki 三、算法步骤 1、随机初始化种群中各微粒的位置和速度； 2、评价个粒子的适应度，将各粒子的位置和适应度储存在各微粒的pbest（Q bi）中，将所有pbest中适应度最优的个体的位置和适应度存储在gbest（Q bg）中。 3、更新粒子的速度和位移。 V ki=ωk V i?1i+c1r1(Q bi?Q k?1i)+c2r2(Q bg?Q k?1i)Q ki=Q k?1i+V ki 4、对每个微粒，与其前一个最优位置比较，如果较好，则将其作为当前的最优位置。 5、比较当前所有的pbest和上一迭代周期的gbest，更新gbest。 6、若满足停止条件（达到要求精度或迭代次数），搜索停止，输出结果，否则，返回2。 K-means聚类算法研究综述 摘要:总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数，算法流程，并列举了一个实例，指出了数据子集的数目K，初始聚类中心选取，相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means 聚类的进一步研究方向。 关键词：K-means聚类算法；NP难优化问题；数据子集的数目K；初始聚类中心选取；相似性度量和距离矩阵 Review of K-means clustering algorithm Abstract: K-means clustering algorithm is reviewed. K-means clustering algorithm is a NP hard optimal problem and global optimal result cannot be reached. The goal，main steps and example of K-means clustering algorithm are introduced. K-means algorithm requires three user-specified parameters: number of clusters K，cluster initialization，and distance metric. Problems and improvement of K-means clustering algorithm are summarized then. Further study directions of K-means clustering algorithm are pointed at last. Key words: K-means clustering algorithm; NP hard optimal problem; number of clusters K; cluster initialization; distance metric K-means聚类算法是由Steinhaus1955年、Lloyed1957年、Ball & Hall1965年、McQueen1967年分别在各自的不同的科学研究领域独立的提出。K-means聚类算法被提出来后，在不同的学科领域被广泛研究和应用，并发展出大量不同的改进算法。虽然K-means聚类算法被提出已经超过50年了，但目前仍然是应用最广泛的划分聚类算法之一[1]。容易实施、简单、高效、成功的应用案例和经验是其仍然流行的主要原因。 文中总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数、算法流程，并列举了一个实例，指出了数据子集的数目K、初始聚类中心选取、相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means聚类的进一步研究方向。 1经典K-means聚类算法简介 1.1K-means聚类算法的目标函数 对于给定的一个包含n个d维数据点的数据集 12 {x,x,,x,,x} i n X=??????，其中d i x R ∈，以及要生成的数据子集的数目K，K-means聚类算法将数据对象组织为 K个划分{c,i1,2,} k C K ==???。每个划分代表一个类c k，每个类c k有一个类别中心iμ。选取欧氏距离作为相似性和 距离判断准则，计算该类内各点到聚类中心 i μ的距离平方和 2 (c) i i k i k x C J xμ ∈ =- ∑（1） 聚类目标是使各类总的距离平方和 1 (C)(c) K k k J J = =∑最小。 22 1111 (C)(c) i i K K K n k i k ki i k k k x C k i J J x d x μμ ==∈== ==-=- ∑∑∑∑∑ （2）其中， 1 i i ki i i x c d x c ∈ ? =? ? ? 若 若 ，显然，根据最小二乘 法和拉格朗日原理，聚类中心 k μ应该取为类别 k c类各数据点的平均值。 K-means聚类算法从一个初始的K类别划分开始，然 一种新的改进粒子群算法研究 马金玲，唐普英 电子科技大学光电信息学院，成都 (610054） E-mail：majinling2006@https://www.wendangku.net/doc/783116335.html, 摘 要：研究粒子群优化算法（PSO）的收敛速度，以提高该算法性能是PSO的一个重要而且有意义的研究。Jun Sun 等人通过对PSO系统下的单个个体在量子多维空间的运动及其收敛性的分析，提出了具有δ函数形式的粒子群算法（Quantum Delta-Potential-Well-based PSO）。论文在此基础上提出了改进型算法（IQDPSO），用粒子的速度来产生一个随机数引导粒子向最优解快速靠拢，并对速度的处理采取了新的策略。仿真结果表明：该改进算法较原算法在收敛速度上有很好的改善，而且稳定性也较好。 关键词：粒子群优化算法，量子行为，量子机理 中图分类号: TP301.6 1. 引言 粒子群优化算法（PSO）是近年来被广泛关注和研究的一种智能优化算法，最初由Kennedy和Eberhart于1995年提出并成功地应用于函数优化，后来又进行了有效的拓展。它是对鸟群觅食过程和集聚的模拟[1]，是一种全局优化算法。其基本的表达式为 v t+1= v t +c1·r1(P t - x t) + c2·r2(P g - x t) （1） x t+1 = x t + v t+1（2）其中，r1 ,r2是介于（0,1）之间的随机数；c1、c2均是正常数；P g是全局最优解；P t是当前代的个体粒子最优解；x t是当前代粒子的位置；v t是当前代粒子的速度。经典PSO算法的粒子就是根据以上两式来更新自己的位置和速度，寻求最优解。 后来Shi 等人又提出了惯性权重的方法[2]和用模糊控制器来动态自适应地改变惯性权重的技术[3]，以提高算法的收敛速度。Clerc 等人提出了压缩因子法[4]，以控制系统行为最终收敛。随后又有很多学者从各个角度提出了改进型算法，这些改进的算法虽然解决了一些实际应用问题，但大部分却牺牲了粒子群算法简单、易实现的特性，并且大大增加了计算量。这对要求快速找到最优解的问题显然是不适用的。所以探索在不增加计算量的情况下，能够更好的解决实际问题的粒子群算法，是一个值得研究的课题。Jun Sun等人提出的具有δ函数形式的粒子群算法就很好的保持了粒子群算法的特性[5]。文中的算法就是该算法的改进(IQDPSO)：用个体粒子的速度产生一个引导该粒子向最优解靠拢的随机数,但是只有当前代个体粒子的适应值不如前一代时，才更新粒子的速度。仿真结果显示：该改进算法在收敛率上有很大的提升，并且稳定性也近乎完美。 2. QDPSO算法 该算法改变了经典PSO的粒子更新策略。文献[5]认为，在PSO系统下的个体粒子如果具有量子行为，那么此粒子将会与经典PSO算法中的粒子以截然不同的方式运行。根据传统的牛顿力学机制，经典PSO算法中的每一个粒子的状态都是由它的速度向量和位置向量来描述的，粒子移动的过程形成了一个确定的运动“轨迹”。文献[5]的作者认为，这个所谓的“轨迹”对具有量子机理的粒子已经没有意义了。因为粒子的速度向量和位置向量不能再依据“不确定原理”被同时确定了。所以文献[5]在保持了PSO算法原理下，提出了QDPSO （Quantum Delta-Potential-Well-based PSO）算法。该算法只用了粒子的位置向量，并且是用 浅谈粒子群算法改进方法 【摘要】本文介绍了粒子群算法的基本概念及粒子群算法的训练过程，分别从基本进入、改变惯性因子、改变收缩因子三个方面对其进行优化改进。 【关键词】粒子群;进化方程;惯性因子;收缩因子 1.粒子群算法综述 二十世纪九十年代，美国的社会心理学家James Kennedy和电气工程师Russell通过对自然界的鸟群进行觅食的行为进行观察和研究，提出了模仿鸟群行为的新型群体智能算法——粒子群（Particle Swarm Optimization，PSO）算法。 粒子群算法与其它进化类算法十分相似，同样也是采用“群体”与“进化”的概念，同样也是依据粒子的适应值大小进行操作。而与之不同的是，粒子群算法不像其它进化算法那样，对于每个个体使用进化算子，而是将每个个体看作是在一个n维搜索空间中的没有重量没有体积的微粒，并在搜索空间中以一定的速度进行飞行。该飞行速度这个个体的飞行经验和群体的飞行经验来进行动态的调整。 2.粒子群算法实现的步骤 这里将基本粒子群算法的训练过程描述如下： （1）首先将初始化方程作为依据，将该粒子群体的随机位置和速度进行初始化设置; （2）计算粒子群中每个粒子的适应度值; （3）将该粒子群中每个粒子的适应值与其经历过的最好位置Pi的适应值进行比较，如果好，将它作为当前的最好位置; （4）将该粒子群体中每个粒子的适应值与所有粒子经历的最好位置Pg的适应值进行比较，如果好，将它作为当前的全局最好位置; （5）以粒子群进化方程为依据，进化粒子的速度及位置; （6）如果没有达到设置的结束条件或达到一个设置的最大迭代次数，则返回到第二步，否则结束。 3.粒子群算法进化方程的改进 3.1 基本粒子群算法进化方程的分析 粒群算法的改进方法 一．与其他理论结合的改进 1.协同PSO(CPSO)算法 原理：提出了协同PSO的基本思想，采用沿不同分量划分子群体的原则，即用N个相互独立的微粒群分别在D维的目标搜索空间中的不同维度方向上进行搜索。 优点：用局部学习策略，比基本PSO算法更容易跳出局部极值，达到较高的收敛精度． 缺点：此算法在迭代初期，适应值下降缓慢，且其收敛速度与种群所含微粒数目成反比． 2.随机PSO(SPSO)算法 原理：其基本思想是利用停止进化的微粒来改善全局搜索能力。即将式(1)中的当前速度项V过去掉，从而使得速度本身失去记忆性，减弱了全局搜索能力．但这样也使得在进化的每一代均至少有一个微 粒出予处于微粒群的历史最好位置而停止进化．然后在搜索空问中重新随机产生新的微粒以代替停止微粒的进一步进化．这样就大大增强了全局搜索麓力． 3.有拉伸功能的PSO算法 原理：为了有效地求解多模态复杂函数优化问题，Parsopoulos等人将函数“Stretching”技术引入PSO算法，形成了一种高效的全局优化算法一“Stretching PSO”(SPSO)。它通过消除不理想的局部极小而保留全局最小来避免陷入局部极小．在检测到目标函数的局部极小 点后，立即对待优化的目标函数进行拉伸变换． 优点：．SPSO具有稳健的收敛性和良好的搜索能力，在很多高维度，多局部极值的函数最小值的求解问题上，搜索成功率显著提高。 缺点：计算耗时相应地也会增加． 4.耗散PSO(DPSO)算法 原理：谢晓峰等人根据耗散结构的自组织性，提出了一种耗散型PSO 算法．耗散PSO算法构造了一个开放的耗散系统．微粒在开放系统中的“飞行”不只依赖于历史经历，还要受环境的影响．附加噪声从外部环境中，持续为微粒群弓|入负熵，使得系统处于远离平衡态的状态．又由于群体中存在内在的非线性相互作用，从而使群体能够不断进化。 二．与其他算法结合的改进 1.混合PSO(HPSO)算法 原理：Angeline于1998年提出采用进化计算中的选择操作的改进型PSO模型，成为混合PSO(HPSO)。 优点：HPSO提高了收敛速度并保持了一定的全局收敛能力 缺点：在解决超高维、非线性、多局部极值的复杂性优化问题时有些力不从心。 2.杂交PSO算法 原理：借鉴遗传算法的思想，Angelinec最早提出了杂交PSO算法的概念，而Lovbjerg等人进一步将进化计算机制应用于PSO算法，给出了算法交叉的具体形式。 信息疼术2018年第6期文章编号=1009 -2552 (2018)06 -0092 -03 DOI：10.13274/https://www.wendangku.net/doc/783116335.html,ki.hdzj.2018. 06.019 基于聚类的图像分割方法综述 赵祥宇\陈沫涵2 (1.上海理工大学光电信息与计算机学院，上海200093; 2.上海西南位育中学，上海200093) 摘要：图像分割是图像识别和机器视觉领域中关键的预处理操作。分割理论算法众多，文中 具体介绍基于聚类的分割算法的思想和原理，并将包含的典型算法的优缺点进行介绍和分析。经过比较后，归纳了在具体应用中如何对图像分割算法的抉择问题。近年来传统分割算法不断 被科研工作者优化和组合，相信会有更多的分割新算法井喷而出。 关键词：聚类算法；图像分割；分类 中图分类号：TP391.41 文献标识码：A A survey of image segmentation based on clustering ZHAO Xiang-yu1，CHEN Mo-han2 (1.School of Optical Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai200093，China；2.Shanghai Southwest Weiyu Middle School，Shanghai200093，China) Abstract:Image segmentation is a key preprocessing operation in image recognition and machine vision. There are many existing theoretical methods,and this paper introduces the working principle ol image segmentation algorithm based on clustering.Firstly,the advantages and disadvantages ol several typical algorithms are introduced and analyzed.Alter comparison,the paper summarizes the problem ol the selection ol image segmentation algorithm in practical work.In recent years,the traditional segmentation algorithms were improved and combined by the researchers,it believes that more new algorithms are blown out. Key words:clustering algorithm；image segmentation；classilication 0引百 近年来科学技术的不断发展，计算机视觉和图像 识别发挥着至关重要的作用。在实际应用和科学研 究中图像处理必不可少,进行图像处理必然用到图像 分割方法,根据检测图像中像素不重叠子区域，将感 兴趣目标区域分离出来。传统的图像分割方法:阈值 法[1]、区域法[2]、边缘法[3]等。近年来传统分割算法 不断被研究人员改进和结合，出现了基于超像素的分 割方法[4]，本文主要介绍超像素方法中基于聚类的经 典方法，如Mean Shift算法、K-m eans 算法、Fuzzy C-mean算法、Medoidshilt算法、Turbopixels算法和 SLIC 算法。简要分析各算法的基本思想和分割效果。 1聚类算法 1.1 Mean Shil't算法 1975年,Fukunaga[5]提出一种快速统计迭代算法，即Mean Shilt算法（均值漂移算法）。直到1995 年,Cheng[6]对其进行改进，定义了核函数和权值系 数，在全局优化和聚类等方面的应用，扩大了 Mean shil't算法适用范围。1997至2003年间，Co-maniciu[7-9]提出了基于核密度梯度估计的迭代式 搜索算法,并将该方法应用在图像平滑、分割和视频 跟踪等领域。均值漂移算法的基本思想是通过反复 迭代计算当前点的偏移均值，并挪动被计算点，经过 反复迭代计算和多次挪动，循环判断是否满足条件, 达到后则终止迭代过程[10]。Mean shil't的基本形 式为： 收稿日期：2017-06 -13 基金项目：国家自然科学基金资助项目（81101116) 作者简介：赵祥宇（1992-)，男，硕士研究生，研究方向为数字图像处理。 —92 —聚类分析K-means算法综述
粒子群优化算法综述
粒子群算法综述
一种改进的粒子群优化算法
蚁群聚类算法综述
粒子群优化算法及其应用研究
粒子群算法基本原理
标准粒子群算法(PSO)及其Matlab程序和常见改进算法
K-means-聚类算法研究综述
一种新的改进粒子群算法研究
浅谈粒子群算法改进方法
粒子群算法常用改进方法总结
基于聚类的图像分割方法综述