图像序列的显著性目标区域检测方法
结合域变换和轮廓检测的显著性目标检测
第30卷第8期计算机辅助设计与图形学学报Vol.30No.8 2018年8月Journal of Computer-Aided Design & Computer Graphics Aug. 2018结合域变换和轮廓检测的显著性目标检测 李宗民1), 周晨晨1), 宫延河1), 刘玉杰1), 李华2) 1) (中国石油大学(华东)计算机与通信工程学院青岛 266580) 2) (中国科学院计算技术研究所智能信息处理重点实验室北京 100190) (lizongmin@https://www.wendangku.net/doc/6b5089453.html,) 摘要: 针对多层显著性图融合过程中产生的显著目标边缘模糊、亮暗不均匀等问题, 提出一种基于域变换和轮廓检测的显著性检测方法. 首先选取判别式区域特征融合方法中的3层显著性图融合得到初始显著性图; 然后利用卷积神经网络计算图像显著目标外部轮廓; 最后使用域变换将第1步得到的初始显著性图和第2步得到的显著目标轮廓图融合. 利用显著目标轮廓图来约束初始显著性图, 对多层显著性图融合产生的显著目标边缘模糊区域进行滤除, 并将初始显著性图中检测缺失的区域补充完整, 得到最终的显著性检测结果. 在3个公开数据集上进行实验的结果表明, 该方法可以得到边缘清晰、亮暗均匀的显著性图, 且准确率和召回率、F-measure, ROC以及AUC等指标均优于其他8种传统显著性检测方法. 关键词: 显著性目标; 卷积神经网络; 轮廓检测; 域变换融合 中图法分类号:TP391.41 DOI: 10.3724/SP.J.1089.2018.16778 Saliency Object Detection Based on Domain Transform and Contour Detection Li Zongmin1), Zhou Chenchen1), Gong Yanhe1), Liu Yujie1), and Li Hua2) 1)(College of Computer & Communication Engineering , China University of Petroleum, Qingtao 266580) 2) (Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) Abstract: In order to solve the problem of edge blur and brightness non-uniformity of salient object in the process of multi-level saliency maps integration, this paper proposes a saliency detection method based on domain transform and contour detection. Firstly, we obtain initial saliency map by integrate three saliency maps using DRFI method. Then, the salient object contour of image are computed by convolutional neural network. Finally, we use domain transform to blend the initial saliency map and the salient object contour. Under the constraints of the salient object contour, we can filter out the errors in the initial saliency map and compensate the missed region. The experimental results on three public datasets demonstrates that our method can produce a pixel-wised clearly saliency map with brightness uniformity and outperform other eight state-of-the-art saliency detection methods in terms of precision-recall curves, F-measure, ROC and AUC. Key words: salient object; convolutional neural network; contour detection; domain transform fuse 人类视觉系统可以快速定位图像中的显著区域, 显著性检测就是通过模拟人类大脑的视觉 收稿日期: 2017-07-10; 修回日期: 2017-09-12. 基金项目: 国家自然科学基金(61379106, 61379082, 61227802); 山东省自然科学基金(ZR2013FM036, ZR2015FM011). 李宗民(1965—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形学与图像处理、模式识别; 周晨晨(1992—), 女, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 宫延河(1989—), 男, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 刘玉杰(1971—), 男, 博士, 副教授, CCF会员, 主要研究方向为计算机图形图像处理、多媒体数据分析、多媒体数据库; 李华(1956—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形图像处理. 万方数据
基于动态图像序列的运动目标跟踪
浙江工程学院学报,第19卷,第3期,2002年9月 Journal of Zhejiang Institute of Science and T echnology Vol .19,No .3,Sep 12002 文章编号:100924741(2002)0320165206 收稿日期:2002201222 基金项目:国家自然科学基金资助项目(60103016),浙江省自然科学基金资助项目(601019),浙江省教育厅科研资助项目(2000036) 作者简介:周志宇(1974— ),男,浙江诸暨人,在职硕士研究生,从事计算机视觉的研究。基于动态图像序列的运动目标跟踪 周志宇,汪亚明,黄文清 (浙江工程学院计算机视觉与模式识别研究中心,浙江杭州 310033) 摘要:介绍了运动目标跟踪中基于特征、32D 、变形模型和区域的4种跟踪方法,着重分析了变形模型 中Snake 的跳跃模型跟踪方法和基于区域的几个有代表性的跟踪方法,说明了其在智能交通监控中的应用, 并给出了区域跟踪的实验结果。 关键词:动态图像序列;运动目标;变形模型;区域跟踪 中图分类号:TP391141 文献标识码:A 0 前 言 基于动态图像序列的运动目标跟踪技术在军事、国防、工业过程控制、医学研究、交通监控、飞机导航等领域有着广泛的应用前景。运动目标跟踪的目的就是通过对序列图像进行分析研究,计算出运动目标在连续帧图像中的位移,给出运动目标速度等运动参数,从而对缓解城市交通拥挤、堵塞现象提供依据。利用图像捕捉并跟踪我们感兴趣的运动目标,形成运动目标的序列图像由于比静止目标的一帧图像提供了更多的有用信息,使得可以利用序列图像检测出在单帧图像中很难检测出的目标。在复杂背景下对运动目标的跟踪以达到特定的目的,可靠性和精度是跟踪过程中的两个重要指标,为此,人们提出了许多方法来解决跟踪问题,但归纳起来,主要有基于特征、32D 、变形模型和区域的4种跟踪方法。 1 运动目标的跟踪方法 111 基于特征的跟踪方法用于目标的跟踪的个体特征有许许多多,不管是刚体运动目标,还是非刚体运动目标,在序列图像中相邻的两帧图像,由于图像序列间的采样时间间隔很小,可以认为这些个体特征在运动形式上具有平滑性,因此可以用直线 [1]、曲线[2]、参照点[3]等个体特征来跟踪运动目标。Liu [1]等人介绍了灰度图像中一种边缘直线匹配的算法。在边缘直线的提取中,首先,用图像边缘聚焦技术处理图像数据,消除不必要的图像噪声,形成了一个边缘,然后从边缘中分割出直线,并从中提取直线。用一种以直线的几何关系和灰度图像的信息为基础的匹配函数描述了两幅图像边缘直线的相似性,在连续帧图像中采用直线匹配的方法进行了运动参数的估计。 基于特征的跟踪方法有其显著的优点:a )由于使用的符号模型运动方式简单,运动具有平滑性,因此跟踪目标的算法就简单了;b )这种方法已经假设特征符号运动是相互独立的运动,因此在运动分析时
图像显著性目标检测算法研究
图像显著性目标检测算法研究 随着移动电子设备的不断升级与应用,使用图像来记录或表达信息已成为一种常态。我们要想快速地在海量图像中提取出有价值的信息,那么需要模拟人类视觉系统在机器视觉系统进行计算机视觉热点问题的研究。 图像显著性目标检测对图像中最引人注意且最能表征图像内容的部分进行检测。在图像显著性目标检测任务中,传统的方法一般利用纹理、颜色等低层级视觉信息自下向上地进行数据驱动式检测。 对于含有单一目标或高对比度的自然场景图像,可以从多个角度去挖掘其显著性信息,如先验知识、误差重构等。然而,对于那些具有挑战性的自然场景图像,如复杂的背景、低对比度等,传统的方法通常会检测失败。 基于深度卷积神经网络的算法利用高层级语义信息结合上下文充分挖掘潜在的细节,相较于传统的方法已取得了更优越的显著性检测性能。本文对于图像显著性检测任务存在的主要问题提出了相应的解决方法。 本文的主要贡献如下:为充分挖掘图像多种显著性信息,并使其能够达到优势互补效果,本文提出了一种有效的模型,即融合先验信息和重构信息的显著性目标检测模型。重构过程包括密度重构策略与稀疏重构策略。 密度重构其优势在于能够更准确地定位存在于图像边缘的显著性物体。而稀疏重构更具鲁棒性,能够更有效地抑制复杂背景。 先验过程包含背景先验策略与中心先验策略,通过先验信息可更均匀地突出图像中的显著性目标。最后,把重构过程与先验过程生成的显著特征做非线性融合操作。 实验结果充分说明了该模型的高效性能与优越性能。针对图像中存在多个显
著性目标或者检测到的显著性目标存在边界模糊问题,本文提出了一种基于多层级连续特征细化的深度显著性目标检测模型。 该模型包括三个阶段:多层级连续特征提取、分层边界细化和显著性特征融合。首先,在多个层级上连续提取和编码高级语义特征,该过程充分挖掘了全局空间信息和不同层级的细节信息。 然后,通过反卷积操作对多层级特征做边界细化处理。分层边界细化后,把不同层级的显著特征做融合操作得到结果显著图。 在具有挑战性的多个基准数据集上使用综合评价指标进行性能测试,实验结果表明该方法具有优越的显著性检测性能。对于低对比度或者小目标等问题,本文提出一种新颖模型,即通道层级特征响应模型。 该模型包含三个部分:通道式粗特征提取,层级通道特征细化和层级特征图融合。该方法基于挤压激励残差网络,依据卷积特征通道之间的相关性进行建模。 首先,输入图像通过通道式粗特征提取过程生成空间信息丢失较多的粗糙特征图。然后,从高层级到低层级逐步细化通道特征,充分挖掘潜在的通道相关性细节信息。 接着,对多层级特征做融合操作得到结果显著图。在含有复杂场景的多个基准数据集上与其它先进算法进行比较,实验结果证明该算法具有较高的计算效率和卓越的显著性检测性能。
基于全局对比度的显著性区域检测
基于全局对比度的显著性区域检测 Ming-Ming Cheng1Guo-Xin Zhang1 Niloy J. Mitra2 Xiaolei Huang3Shi-Min Hu1 1TNList, Tsinghua University 2 KAUST 3 Lehigh University 摘要 视觉显著性的可靠估计能够实现即便没有先验知识也可以对图像适当的处理，因此在许多计算机视觉任务中留有一个重要的步骤，这些任务包括图像分割、目标识别和自适应压缩。我们提出一种基于区域对比度的视觉显著性区域检测算法，同时能够对全局对比度差异和空间一致性做出评估。该算法简易、高效并且产出满分辨率的显著图。当采用最大的公开数据集进行评估时，我们的算法比已存的显著性检测方法更优越，具有更高的分辨率和更好的召回率。我们还演示了显著图是如何可以被用来创建用于后续图像处理的高质量分割面具。 1 引言 人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。由于通过显著性区域可以优化分配图像分析和综合计算机资源，所以计算机检测图像的显著性区域存在着重要意义。提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割[13, 18]、目标识别[25]、图像的自适应压缩[6]、内容感知图像缩放[28, 33,30, 9]和图像检索[4]等。 显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、梯度、边缘和边界等。视觉显著性是通过包括认知心理学[26, 29]、神经生物学[8, 22]和计算机视觉[17, 2]在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的图像基本未处理。由Treisman和Gelade [27]，Koch和Ullman [19]进行的早期工作，以及随后由Itti，Wolfe等人 提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向 上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著
显著性目标检测中的视觉特征及融合
第34卷第8期2017年8月 计算机应用与软件 Computer Applications and Software VoL34 No.8 Aug.2017 显著性目标检测中的视觉特征及融合 袁小艳u王安志1潘刚2王明辉1 \四川大学计算机学院四川成都610064) 2 (四川文理学院智能制造学院四川达州635000) 摘要显著性目标检测，在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一 步，有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到，多数检测方法是采用 视觉特征来检测的，视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是 所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征，对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合，然后将颜色特征与其他特征进行比较，并从中选择较 优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-0M0N上进行了实验，从P R曲线、F-M easure方法、M A E绝对误差三个方面进行了定量比较，检测出的综合效果优于其他算法。通过对不同视觉特征的比较和 融合，表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。 关键词显著性检测视觉特征特征融合显著图 中图分类号TP301.6 文献标识码 A DOI：10. 3969/j. issn. 1000-386x. 2017.08. 038 VISUAL FEATURE AND FUSION OF SALIENCY OBJECT DETECTION Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1 1 (College o f Computer Science，Sichuan University，Chengdu 610064，Sichuan，China) 2 {School o f Intelligent M anufacturing, Sichuan University o f A rts and Science, Dazhou 635000, Sichuan, China) Abstract The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects：PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection. Keywords Saliency detection Visual feature Feature fusion Saliency map 收稿日期:2017-01-10。国家重点研究与发展计划项目（2016丫?80700802,2016丫?80800600);国家海洋局海洋遥感工程技术 研究中心创新青年项目（2015001)。袁小艳，讲师，主研领域:计算机视觉，机器学习，个性化服务。王安志，讲师。潘刚，讲师。王 明辉，教授。
(完整版)基于视频图像序列的目标运动轨迹提取技术毕业论文
摘要 基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关键技术之一，能够提高武器打击精度及力度；同时更能体现目标跟踪监控系统的智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中，基于固定参照物视场变动模式的轨迹测量技术不受相机视野限制，能够有效地扩大目标跟踪范围，更有着重要的研究意义和工程应用价值。 固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。 本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究，设计开发了基于视频图像序列的目标运动轨迹提取系统，针对目标在运动过程中的姿态变化导致的相机坐标系变化问题，提出了成像系统外参实时校正方法，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态角参数实时校正；针对SIFT特征匹配算法中的欧式距离无法自适应调节问题，提出了多目标优化的SIFT特征匹配算法，建立了以相关系数和特征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，减少了特征点的误配率；最后通过车载CCD实验对系统功能和精度进行验证，数据表明该系统能够精确的实现运动目标的轨迹测量，并具有较强的适应性和可靠性。
1绪论 1.1课题研究背景及意义 基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线，它的精确提取能够实现测量和分析目标的运动参数、运动行为评估等。在军事领域中，该技术已经成为精确制导武器的一项关键技术，它能够有效地提高武器的打击精度，强化武器的打击力度；同时在民用领域，以该技术为基础建立的人机交互系统，能够实现运动目标的智能跟踪、行为监管等，真正地体现运动目标监控系统的自动化和智能化。因此无论在民用上还是在军事领域中，该技术的研究都具有较强的理论意义和研究价值。 目前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中，相机及其视野固定，对视野内的运动目标进行跟踪检测，具有空间和时间上的区域限制，仅能得到固定区域、固定时间段中的目标运动轨迹；变化视场内参照物运动是对固定视场方式的一种改进，通过云台等
图像处理文献综述
文献综述 近年来，随着计算机视觉技术的日益发展，图像处理作为该领域的关键方向受到越来越多研究人员的关注与思考。在现在的日常生活中，由于通信设备低廉的价格和便捷的操作，人们越来越喜欢用图像和视频来进行交流和分享，消费性的电子产品在消费者中已经非常普遍，例如移动手机和数码相机等等。在这个纷繁多变的世界，每天都有数以万计的图像产生，同时信息冗余问题也随之而来。尽管在一定的程度上，内存技术的增加和网络带宽的提高解决了图像的压缩和传输问题，但是智能的图像检索和有效的数据存储，以及图像内容的提取依然没有能很好的解决。 视觉注意机制可以被看做是人类对视觉信息的一个筛选过程，也就是说只有一小部分重要的信息能够被大脑进行处理。人类在观察一个场景时，他们往往会将他们的注意力集中在他们感兴趣的区域，例如拥有鲜艳的颜色，光滑的亮度，特殊的形状以及有趣的方位的区域。传统的图像处理方法是将整幅图像统一的处理，均匀的分配计算机资源；然而许多的视觉任务仅仅只关系图像中的一个或几个区域，统一的处理整幅图像很明显会浪费过多的计算机资源，减少处理的效率 [1,2]。因此，在计算机视觉领域，建立具有人类视觉系统独特数据筛选能力的数学模型显得至关重要。受高效的视觉信息处理机制的启发，计算机视觉领域的显著性检测应运而生。图像显著性检测是通过建立一定的数学模型，让计算机来模拟人类的视觉系统，使得计算机能够准确高效的定位到感兴趣的区域。 一般来说，一个信号的显著性可以表示为其和周围环境的差异性。正是因为这个信号和周围的其他信号的迥异性，使得视觉系统不需要对环境中的所有感兴趣的区域进行逐个的扫描，显著的目标会自动从环境中凸显出来。另外，一些心理学研究表明人类的视觉机制不仅仅是由低级的视觉信号来驱动的，基于记忆、经验等的先验知识同样能够决定场景中的不同信号的显著性，而这些先验知识往往是和一些高层次的事件以及视觉任务联系在一起的。基于当前场景的视觉显著性机制是低级的，慢速的。而基于先验知识的显著性机制通常是和高层次的任务关联在一起的，其效率通常低于由视觉信号驱动的显著性机制。人眼视觉系统通过显著性原理来处理复杂的视觉感知是不争的事实，这种显著性的处理机制使得复杂背景下的目标检测、识别有了很大程度的提升。 在模式识别、计算机视觉等领域，越来越多的计算机工作者致力于开发显著性计算模型，用以简单的表达图像的主要信息。这些显著性模型的检测结果是一个显著性灰度图，其每个像素点的灰度值表示了该像素的显著性，灰度值越大，表明该像素越显著。从信息处理的方式看，显著性模型大致可以分为两类：自顶向下（任务驱动）和自底向上（数据驱动）的方法。 自顶向下的显著性检测方法之所以是任务驱动，这是因为该类模型通常是和某一特定的任务相关。在同样的场景或模式下，检测到的结果因任务的不同而不同是自顶向下模型最突出的特点。例如在目标检测中，检测者需要首先告诉需要检测的目标是什么，检测到的显著性图则表示目标可能出现的位置。自顶向下的显著性检测方法的依据是：如果研究者事先知道需要检测目标的颜色、形状或者方向等特征，那么该检测算法自然会高效的检测到需要检测的目标。因此，自顶向下的算法通常需要人工标记，或是从大量的包含某种特定目标的图像中学习该类目标的特征信息，这些学习方法一般是监督的；然后求测试图像对于训练学习得到的信息的响应，从而得到测试图像的显著性图。现存的一些自顶向下的算法在某些特定的目标上取得了一定的效果，不过这些算法往往只对某些特定的目标有效，对于复杂多变的自然图像，该类算法存在很大的缺陷。自顶向下的模型是慢速的、任务驱动的，有意识的，以及封闭回路的。由于自顶向下模型的特点，其应用受到了很大的限制。
基于空间分布和纹理特征的图像显著性检测
B技术交流 Technology Discussion 数据通信2019.1 基于空间分布和纹理特征的图像显著性检测 丁华王晓东徐梦洁(宁波大学信息科学与工程学院浙江宁波315211) 摘要:针对基于空间分布的显著图无法突出纹理细节的问题，论文结合图像的空间分布特征和纹理特征，提 出了一种全分辨率显著性检测方法。该方法根据图像尺寸按比例从图像四周提取像素，组成一个边缘背景图像, 然后分别对原始图像和边缘背景图像进行分析和处理，得到原始图像块和背景图像块的颜色空间特征，并且结合 图像的纹理特征信息，获得了整幅图像的全分辨率显著性。此外，通过简单的阈值分割方法得到图像中的显著性 目标。实验结果表明，与经典显著性检测算法相比，论文算法性能明显优于其他算法性能。 关键词:空间分布;纹理;显著性检测;边缘背景图像;全分辨率 中图法分类号:腳1 文献标志码:A 1引言 显著性检测技术主要用于解决计算机视觉系统中 的问题，即如何快速准确地识别复杂场景中的有效信 息。当前显著性检测技术主要分为自顶向下和自底向 上两个方向，自顶向下的显著性检测方法主要通过任 务驱动，自底向上的显著性检测方法主要通过底层特 征数据驱动。近几年来，显著性检测已经在图像分 割['图像压缩'图像智能检索['图像匹配[4]、图像 目标跟踪[5]以及机器视觉[6]等领域得到了深人的酿。 对比度是目标级显著性模型中最常用的表示手 段，根据对比的范围显著性检测算法[7]可以大致被分 为局部对比雌法和领对比度算法。 局部对比度算法[8]通过对比图像处理单元和它局 部邻域的所有处理单元计算显著度。M等人[9]在 Koch和Ullman[1°]提出的生物启发模型基础上进一步 提出中心-周边差概念,通过计算多个尺度上中心区 域和周边区域在底层特征的差异，来提取多幅显著图 并融合得到最终的显著图。M a和Zhang[11]提出了基 于局部对比度的另一种算法，这种算法在提取出显著 性图像后，采用了模糊增长模型来扩展它们。Harel等人[12]在归一f t M等人的特征图的同时去突出显著性 区域,并将该显著性区域与其他显著图像融合。L iu等 人[13]提出了多尺度对比度算法,这种对比度线性融合 了高斯图像金字塔的对比度显著图。〇〇&_等人[14]利用多方面因素(如局部底层线索、全局线索、表 层特征和视觉组织规则)建模，以此突出目标区域。从 以上研究可以看出，大部分局部对比度算法存在的缺 陷是:能够将图像边缘区域以很高的显著度提取出来, 而显著性目标的内部区域却不能被均匀地突显出来。 全局对比度的显著性检测算法?通过对比图像 处理单元和整幅图像的所有处理单元计算显著度。Zhai和Shah[16]提出了像素级显著性(对比像素之间的 差异)。Achanta等人[17]提出了频率调谐显著性区域 麵算法，该算法利用图像的颜色和亮度特征，通过计 算某个像素和整幅图像平均色色差得到显著值，但该 方法利用的是整幅图像平均色色差，从本质上弱化了 显著性区域的显著度。文献[18]利用底层特征信息 (如颜色、亮度和边缘)来计算图像区域和它周围区域 的对比度，但敵法没有考虑图像的纹理特征信息?，对于纹理比较丰富的图像而言，该方法提取的显著图 无法突显这些纹理细节。 36本文受国家科技支撑计划基金项目丨NO.2012BAH67F01丨，国家自然科学基金项目丨NO.U1301257 浙江省自然科学基金项目(No. LY17F010005)资助。
【CN110084782A】基于图像显著性检测的全参考图像质量评价方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910239746.0 (22)申请日 2019.03.27 (71)申请人 西安电子科技大学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 陈晨 (74)专利代理机构 西安中科汇知识产权代理有 限公司 61254 代理人 刘玲玲 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/90(2017.01) (54)发明名称 基于图像显著性检测的全参考图像质量评 价方法 (57)摘要 本发明公开了一种基于图像显著性检测的 全参考图像质量评价方法，其包括以下步骤：空 间转换(提取失真图像和其对应的原始图像，将 图像从RGB颜色空间转换到Lab颜色空间)，图像 分割(将Lab颜色空间下的彩色图像分割成区 域)，RCC显著性检测，超像素分割(对RGB颜色空 间下的失真图像和其对应的原始图像进行超像 素分割)，AMC显著性检测，VSI计算。本发明的有 益之处在于：(1)我们通过显著性检测得到图像 的显著性区域，应用提取出的显著性图像进行图 像质量评价，绕开了人眼视觉系统建模难的问 题，所以本发明提供的评价方法思路简单，较好 的符合人眼视觉系统特性，与主观评价具有较好 的一致性；(2)具有较强的鲁棒性及较好的预测 性能。权利要求书3页 说明书9页 附图4页CN 110084782 A 2019.08.02 C N 110084782 A
1.一种基于图像显著性检测的全参考图像质量评价方法，其特征在于，包括以下步骤：Step1：空间转换 提取失真图像和其对应的原始图像，并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间； Step2：图像分割 将Lab颜色空间下的彩色图像分割成区域； Step3：RCC显著性检测 (1)计算区域的颜色对比度 对于分割成区域的图像，计算每个区域的颜色距离， 计算公式如下： 其中，D r (r 1,r 2)是两个区域r 1和r 2的颜色距离度量，f(c k ,i )是第i个颜色c k ,i 在第k个区域r k 的所有n k 种颜色中出现的概率，其中k＝1或2，n k 是图像中所含的颜色总数； (2)计算区域的亮度对比度 对于分割成区域的图像，计算每个区域的亮度度量， 计算公式如下： 其中，N k 和N i 分别为区域k和i中的像素个数，I k ,n 和I i ,m 为区域k和i中第n个和第m个像素的亮度值； (3)结合空间权值计算显著值 显著值的计算公式如下： 其中，D s (r k ,r i )是区域r k 和r i 的欧式空间距离，D a (r k ,r i )＝D 1(r k ,r i )+D r (r k ,r i )，ω(r i )作为权值是区域r i 中的像素个数，σs 是控制空间权值强度； Step4：超像素分割 对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割； Step5：AMC显著性检测 根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间，同时考虑显著目标和背景的外观差异及空间的分布，从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离，建立一种图模型，将显著性检测作为半监督分类的一种方式，根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性检测，得到显著图； Step6：VSI计算 将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入，计算得出失真图像的图像质量。 2.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法，其特征在于，在Step2中，将Lab颜色空间下的彩色图像分割成区域的方法具体如下： 权 利 要 求 书1/3页2CN 110084782 A
目标跟踪算法设计与实现
实验六、目标跟踪算法设计与实现 一、实验目的 1、熟悉各种图像预处理方法，如直方图处理、图像去噪声、图像增强与复原、图像变换等，了解这些方法在图像分析与识别、目标检测及跟踪等各种应用中所起的作用。 2、熟悉基本的图像分割原理。 3、能够利用matlab工具完整实现从图像预处理、图像分割、特征提取与分析及各种实际应用的完整流程。 4、该实验为一个综合设计及应用的实验，目的是要求学生综合利用学到的光电图像处理知识，解决图像识别、目标检测及目标定位与跟踪问题。进一步深入理解光电图像处理的重要性，提高学生利用光电图像处理基本理论、方法等解决实际问题及提高分析问题的能力。 二、实验内容 (一)序列图像中的运动目标形心跟踪 1、序列图像的读取与显示 本实验提供了200帧的图像序列，为BMP文件，文件名后缀的序号按场景出现的先后顺序排列，序列图像读取及显示。 2、图像分割 首先对图像进行必要的阈值分析，确定合适的阈值后，再对图像进行二值化处理（图像分割）。 3、形心计算 在分割的单帧图像上，计算图像的形心坐标（Xc，Yc）,确定目标在
像素平面上的位置。 4、形心跟踪 1)确定跟踪波门：即以形心位置为中心，在图像中包含目标的区域添加一个合适的矩形框 2）实时跟踪：循环读取序列图像，对每帧图像均计算形心，和进行包含目标区域的波门绘制。实现对200帧序列图像中运动目标的实时稳定跟踪，如图1所示（仅为示意图，并非原图）。 实验结果：通过合适的波门选择和阈值修正，基本实现了200帧的连续跟踪，跟踪的效果较好，如下图所示：
源码： clear;clc;close all path='C:\1\'; filecount=200; for i=1:filecount name=num2str(i); if i<=9 filename=strcat('0000000',name,'.bmp'); elseif i<=99 filename=strcat('000000',name,'.bmp'); elseif i<=199 filename=strcat('00000',name,'.bmp'); end I=imread([path filename]); I1=imcrop(I,[0,0,505,272]); I2=mat2gray(I1); figure(1),imshow(I2); level=graythresh(I2);%%求二值化的阈值[height,width]=size(I2); Level_fixed=level-0.05;%%阈值修正 bw=im2bw(I1,Level_fixed);%%二值化图像 figure(3),imshow(bw);%%显示二值化图像 [L,num]=bwlabel(bw,8);%%标注二进制图像中已连接的部分plot_x=zeros(1,1);%%用于记录质心位置的坐标 plot_y=zeros(1,1); sum_x=0;sum_y=0;area=0; [height,width]=size(bw);
视觉显著性检测方法及其应用研究
视觉显著性检测方法及其应用研究 随着科学技术和多媒体技术的发展,人们在日常生活中产生的多媒体数据,尤其是图像数据呈指数级增长。海量的图像数据除了使人们的日常生活变得丰富多彩和便利之外,也给计算机视觉处理技术提出了新的挑战。 大部分图像中只包含了少量重要的信息,人眼视觉系统则具有从大量数据中找出少量重要信息并进行进一步分析和处理的能力。计算机视觉是指使用计算机模拟人眼视觉系统的机理,并使其可以像人类一样视察与理解事物,其中的一个关键问题为显著性检测。 本文针对目前已有显著性检测方法存在的问题,将重点从模拟人眼视觉注意机制以及针对图像像素和区域的鲁棒特征提取方法进行专门的研究。同时,本文还将显著性检测思想和方法引入到场景文本检测的研究中,既能提高场景文本检测的性能,又能拓展基于显著性检测的应用范畴。 针对人眼视觉注意机制的模拟,本文提出了一种基于超像素聚类的显著性检测方法。该方法分析了人眼视觉注意机制中由粗到细的过程,并采用计算机图像处理技术来模拟该过程。 具体而言,本文首先将原始图像分割为多个超像素,然后采用基于图的合并聚类算法将超像素进行聚类,直到只有两个类别为止,由此得到一系列具有连续类别(区域)个数的中间图像。其中在包含类别数越少的中间图像中的区域被给予更大的权重,并采用边界连通性度量来计算区域的显著性值,得到初始显著性图。 最终基于稀疏编码的重构误差和目标偏见先验知识对初始显著性图进一步细化得到最终的显著性图。针对鲁棒特征提取,本文提出了一种基于区域和像素级融合的显著性检测方法。
对于区域级显著性估计,本文提出了一种自适应区域生成技术用于区域提取。对于像素级显著性预测,本文设计了一种新的卷积神经网络(CNN)模型,该模型考虑了不同层中的特征图之间的关系,并进行多尺度特征学习。 最后,提出了一种基于CNN的显著性融合方法来充分挖掘不同显著性图(即 区域级和像素级)之间的互补信息。为了提高性能和效率,本文还提出了另一种基于深层监督循环卷积神经网络的显著性检测方法。 该网络模型在原有的卷积层中引入循环连接,从而能为每个像素学习到更丰富的上下文信息,同时还在不同层中分别引入监督信息,从而能为每个像素学习 到更具区分能力的局部和全局特征,最后将它们进行融合,使得模型能够进行多 尺度特征学习。针对基于文本显著性的场景文本检测方法的研究,本文提出了一种仅对文本区域有效的显著性检测CNN模型,该模型在不同层使用了不同的监督信息,并将多层信息进行融合来进行多尺度特征学习。 同时为了提高文本检测的性能,本文还提出了一种文本显著性细化CNN模型和文本显著性区域分类CNN模型。细化CNN模型对浅层的特征图与深层的特征图进行整合,以便提高文本分割的精度。 分类CNN模型使用全卷积神经网络,因此可以使用任意大小的图像作为模型的输入。为此,本文还提出了一种新的图像构造策略,以便构造更具区分能力的图像区域用于分类并提高分类精度。