AOI检测的指标检出率稳定性误判率

AOI检测的指标检出率稳定性误判率

一、快，AOI快速检测的条件是什么?

AOI的检测速度分为两个阶段，1、拍摄图像;2、处理图像;因为相机的FOV有限，所以就必须通过移动X\Y平台来拍摄完整个PCB的图像，在X\Y平台的运动过程当中又要考虑摄像机什么时候开始移动、移动到什么位子、什么时候开始拍照，什么时候开始进行图像处理和分析等等，也就是说：AOI的检测速度必须协调软硬件同时工作，这里就牵涉到AOI 使用什么样的伺服系统、使用什么样的相机、使用什么样的丝杆、其核心算法又是什么?我们计算AOI的检测速度是要从进板到出板的整个时间，而不是单单从AOI本身提供的速度作为依据，因为有很多AOI的检测速度只记录了拍摄时间或者只记录了处理时间，以此使大家受蒙蔽。

二、准，AOI的准指的是有较高的检出率和较低的误判率。

也就是说AOI相当于一架天枰，必须准确的衡量误判和检出率。AOI的准确判断跟软硬件都有密不可分的关系，当然最主要的是软件的核心算法，目前AOI种类繁多，算法也各不相同，有使用该边缘检测、法则判断、矢量分析、模板比较和统计建模等等，虽然不能一言定论孰优孰劣，但从实际应用比较中可以知道，统计建模更加灵活、操作更加简单，基于数学运算方式更加准确。统计建模必将是未来AOI发展的一个趋势。初次之外，硬件的要求也是相对比较严格的，比如说相机，相机是AOI眼睛，一个好的相机固然能够捕捉到优质的图像，这里不得不提到一个像素的问题，经常有朋友问AOI的像素是多少，大家以为像素越高其检测效果就更高好，更准确，其实不然，为什么呢?首先得明白几个基本概念：相机像素、相机的分辨率和拍摄范围FOV。相机像素是指这个相机总共有多少个感光晶片，通常用万个为单位表示，以矩阵排列，例如3百万像素、2百万像素、百万像素、40万像素。百万像素相机的像素矩阵为W*H=1000*1000.相机分辨率，指一个像素表示实际物体的大小，用um*um表示，AOI常用的分辨率有30um,25um,20um,18um,15um等。数值越小，分辨率越高。FOV是指AOI相机实际拍摄的面积，以毫米×毫米表示。FOV是由像素多少和分辨率决定的。相同的相机，分辨率越大，它的FOV就越小。例如1K*1K的相机，分辨率为20um,则他的FOV=1K*20 ×1k*20=20mm ×20mm，如果用30um的分辨率，他的FOV=1K*30×1k*30=30mm×30mm。

Z 在图像中，表现图像细节不是由像素多少决定的，而是由分辨率决定的。分辨率是由厂商选择的镜头焦距决定的。如果一家AOI采用20um分辨率，对于1mm*0.5mm的零件，它总共占用像素1/0.02 ×0.5/0.02=50×25个像素，如果采用30um的分辨率，表示同一个元件，则有1/0.03×0.5/0.03=33×17个像素，显然20um的分辨率表现图像细节方面好过30um的分辨率。

o蓕既然像素的多少不决定图像的分辨率(清晰度)，那么大像素相机有何好处呢?答案只有一个：减少拍摄次数，提高AOI的测试速度。1个是1百万像素，另1个是3百万像素，清晰度相同(分辨率均为20um),第1个相机的FOV是20mm×20mm=400平方mm，第二个相机的FOV是1200平方mm,拍摄同一个PCB，假设第1个相机要拍摄30个图像，第2个相机则只需拍摄10个图像就可以了。显然，我们用户没必要太深入全面了解AOI的相机，但相机作为AOI的一个重要部件，我个人认为，从以下几个方面简单评价就已经足够了：

1、了解相机的分辨率,例如要测试英制0402元件，至少需要25um的分辨率。

2、看图像质量是否清晰，对比度是否好，是否能将我们关心的特征部分表现出来。

因为图像质量不仅决定于相机，还决定于镜头、采集卡和光源等。

3、要关注AOI的整体测试速度，而不是关注像素多少。像素多固然对速度有

好处，但AOI的测试速度是由XY平台的移动、相机的拍摄性能、图像处理速度、整个系统的优化等综合因素决定,作为用户来讲，我们考虑的是最终的测试速度.

有些商家强调是多少多少像素，可能给我们用户一个误解，认为像素多的相机就好，就贵，就高档。其实，还有许多其它参数来衡量一个相机的综合价值，例如数字相机好过模拟相机，CCD的好过CMOS的，3CCD相机好过单CCD彩色相机，单CCD彩色相机贵过黑白相机，飞行拍摄相机好过逐行扫描相机，逐行扫描相机好过隔行扫描相机，帧率快的相机好过帧率慢的相机，还有不同的接口方式，不同厂家的晶片，等等等等......我本人见过一款3百万像素的AOI，采用CMOS晶片，1394传输，市场价格低于4千人民币。也见过1款1百万像素的相机，3CCD的，网上报价为9万人民币。虽然这个价格不能说明一切，但一分价格一分货，至少对我们理解相机的优劣上有点参考，事实上这两种相机的图像质量差别非常大。

像素多固然有他的好处，但也有他的一些不足，例如可能图像变形大、FOV内照明不均匀、有较大的视场差等，需要用其它办法去弥补和克服，也可能相应增加一些成本。但这是开发商的事情，我们关心的是图像质量、分辨率、AOI整体的测试速度以及AOI性能方面的东西，正如我们关心的是鸡蛋的味道和品质，而无需关心下蛋的母鸡一样。

三、稳，顾名思义，指AOI的稳定性，即故障的发生率，可重复性等,如果大家已经使用了AOI，肯定有这样的情况发生过：即一个程序制作完投入测试后待到关机后第二天再进行测试的时候误判大大回升，甚至有漏测的情况，这跟AOI的光源、相机有很大关系，目前来说：LED灯优于白炽灯和荧光灯、但同样的LED灯管有几分钱几毛钱和几块钱一个的，每一个灯管的波长亮度都存在一定的差异，如果一个光源没有经过严肃的灯管筛选，就必然产生光源预热不一致、亮度不一致、波长不一致等因素，从而影响测试效果，出现不稳定的情况。其次，如果丝杆导轨的精密度不够高，就很容易经常发生偏移等现象，目前来说研磨丝杆好过普通丝杆，其次是相机的镜头，一般的工业镜头容易受环境即温度的影响，还有受周围设备的磁场*****，这些都是影响AOI稳定的因素

歐姆龍與安捷倫機器比較之我見

為了配合0201制程及無鉛錫膏的使用,公司最近配置了一台歐姆龍的光學測試儀.經過幾天對歐姆龍機器性能,程式製作及各方面的了解,比較兩種機器得出結論如下.

首先談談重中之重,也就是歐姆龍這種機器的兩個最大優點:

1. 焦距可以自動調節,並且可以在一個程式中用多個焦距測試.這一點是安捷倫的機器無可比擬的,在傳統的安捷倫SJ10﹑SJ50﹑以及SJ50二代中,鏡頭焦距的調整是要通過手動調節的,十分複雜且新手調出的效果不好,而歐姆龍可以直接在程式中設定焦距,從10CM 到25CM可以設定七種,更主要的是可以在同一程式中最多設定三種焦距,用一個鏡頭既可以看0201的小零件又可以看BGA,IC等比較大的零件.

2. 對CAD有自動校正功能.所謂校正功能就是指機器通過自身的一些設定將偏移的CAD自動移動到正確的位置.在安捷倫的機器中也有這樣的一個功能,但效果不是那麼的明顯.據歐姆龍廠商工程師介紹,歐姆龍光學測試儀是根據錫點與周圍PCB板的亮度差來確定正確的CAD位置.

其次,兩種機器都是應用光學原理中的鏡面反射與漫反射來測試的,但兩者的工作原理又有天壤之別,歐姆龍的機器有三組燈圖分別為三基色,通過三基色的不同角度反射可以得到一個彩色的畫面,可以這麼說歐姆龍使用的是彩色攝像頭,而安捷倫的鏡頭由上至下是由30度45度,45度45度,60度70度80度的一系列光圈組成,由於使用的是單色光所以它實際上使用的是一個黑白攝像頭,就我個人看來,歐姆龍的機器看得清楚安捷倫的機器看的細緻並且都支持0201和無鉛制程,在攝像頭這方面應該是戰個平手.

經過詢問安捷倫廠商得知安捷倫系列機型在轉PGO的過程中並不支持PT200,而歐姆龍的機器可以在不受任何外在條件的干擾下通過自身拍攝照片來編輯寫程序,從生產及制程的實用性考慮,我個人認為歐姆龍系列機型較方便.

再次,從測試速度 .機器的好壞實用還考慮它會不會影響生產,儘管機器測的再準再好但時間過長影響產量,那也不能算是好機器.尤其我們生產的是手機板,流水線要求速率更高.安捷倫型機器經過公司的生產實踐證明速度是符合流水線生產的.而歐姆龍型機器我以前沒有接觸過並且考慮在同一程式中切換焦距時必然會影響機器測試的速度,所以我希望在以後的實踐中進一步觀察.

以上是我在近兩天來向廠商工程師討教及自己總結得出的結果,並且對兩種機器的比較觀察仍在繼續進行中,如有重大發現,仍會做更加詳細具體的報告.

注:個人認為歐姆龍機型也會有自身的缺陷,還需要在一定的週期觀察和使用後,才可能暴露出來.

基于计算机视觉的障碍物检测与测量(IJISA-V2-N2-3)

I.J. Intelligent Systems and Applications, 2010, 2, 17-24 Published Online December 2010 in MECS (https://www.wendangku.net/doc/3017643838.html,/) The Obstacle Detection and Measurement Based on Machine Vision Xitao Zheng1, Shiming Wang2, Yongwei Zhang1 1College of IT, Shanghai Ocean University, Shanghai 201306, China 2College of Engineering Science and Technology, Shanghai Ocean University, Shanghai 201306, China xtzheng@https://www.wendangku.net/doc/3017643838.html,, smwang@https://www.wendangku.net/doc/3017643838.html,, zhangyongwei_108@https://www.wendangku.net/doc/3017643838.html, Abstract - To develop a quick obstacle detection and measurement algorithm for the image-based autonomous vehicle (AV) or computer assisted driving system, this paper utilize the previous work of object detection to get the position of an obstacle and refocus windows on the selected target. Further calculation based on single camera will give the detailed measurement of the object, like the height, the distance to the vehicle, and possibly the width. It adopts a two camera system with different pitch angles, which can perform real-time monitoring for the front area of the vehicle with different coverage. This paper assumes that the vehicle will move at an even speed on a flat road, cameras will sample images at a given rate and the images will be analyzed simultaneously. Focus will be on the virtual window area of the image which is proved to be related to the distance to the object and speed of the vehicle. Counting of the blackened virtual sub-area can quickly find the existence of an obstacle and the obstacle area will be cut to get the interested parameter measurements for the object evaluation. Index Terms - obstacle detection; object measurement, ALV, virtual window. I.I NTRODUCTION Autonomous land vehicles (ALVs) are useful for many automation applications that serve for both indoor and outdoor environments. Vision or digital image based obstacle detection for ALV navigation in outdoor road environments is a difficult and challenging task because of the great variety of object and road conditions, like irregular and unstable features on objects, moving objects, changes of illumination, and even rain. Successful ALV navigation requires the integration of the many techniques, like the environmental sensoring and learning, image processing and feature extraction, ALV location retrieving, travel path planning, vehicle wheel controlling, and so on. Vehicle intelligent drive system is also an important part of the intelligent transport system. Based on our driving experience, more than 90% of our information is from our vision and hearing, so using computer vision technique to solve this problem is a challenging work for every researcher in this field. The lane keeping and distance measurement based on the computer vision system. In reference [1], a real-time distance detection method is proposed to get the real-time distance between the camera car and the obstacle in the front. The paper uses the geometrical reasoning method to obtain the depth information. The shoot angle of the camera is the key factor that affects the accuracy of output. The work uses the two lane boundaries as a constraint to get the pitch angle. The problem is that the results are for static car tests, and algorithm needs to be combined with others to get all the required parameters. Reference [2] presents an obstacle detection method for AGV under indoor or outdoor environment. Corner or turn points are detected and tracked through an image sequencing camera and grouped into ground region using a method that is called co-planarity checking algorithm. The algorithm is initialized by 5-point planar projective and contour cue which is added to segment the ground region. The method can be applied to some ideal environment and the contour matching can be a problem in a lot of environments. Reference [3] is the previous work of this paper and it provides the quick detection of the existence of an obstacle, this is a key feature for ALV’s moving where safety is the highest requirement. The frames can be analyzed in a fragment of milliseconds and alert can be sent if an obstacle is found. But sometime the vehicle does not need to stop to wait for a clear road, it need to further analyze the situation and the surrounding environment to make decision whether to slow down or to stop, this part of job is not included in [3]. Reference [4] proposes an effective approach to obstacle detection and avoidance for ALV navigation in outdoor road environments using computer vision and image sequence techniques. To judge whether an object newly appearing in the image is an obstacle or not, the object shape boundary is first extracted from the image. After the translation from the ALV location in the current cycle to that in the next cycle, the position of the object shape in the image is predicted, using coordinate transformation techniques based on the assumption that the height of the object is zero. The predicted object shape is then matched with the extracted shape of the object in the image of the next cycle to decide whether the object is an obstacle. A reasonable distance measure is used to compute the correlation measure between two shapes for shape matching. Finally, a safe navigation point is determined, and a turn angle is computed to

显著性目标检测中的视觉特征及融合

第34卷第8期2017年8月 计算机应用与软件 Computer Applications and Software VoL34 No.8 Aug.2017 显著性目标检测中的视觉特征及融合 袁小艳u王安志1潘刚2王明辉1 \四川大学计算机学院四川成都610064) 2 (四川文理学院智能制造学院四川达州635000) 摘要显著性目标检测，在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一 步，有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到，多数检测方法是采用 视觉特征来检测的，视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是 所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征，对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合，然后将颜色特征与其他特征进行比较，并从中选择较 优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-0M0N上进行了实验，从P R曲线、F-M easure方法、M A E绝对误差三个方面进行了定量比较，检测出的综合效果优于其他算法。通过对不同视觉特征的比较和 融合，表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。 关键词显著性检测视觉特征特征融合显著图 中图分类号TP301.6 文献标识码 A DOI：10. 3969/j. issn. 1000-386x. 2017.08. 038 VISUAL FEATURE AND FUSION OF SALIENCY OBJECT DETECTION Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1 1 (College o f Computer Science，Sichuan University，Chengdu 610064，Sichuan，China) 2 {School o f Intelligent M anufacturing, Sichuan University o f A rts and Science, Dazhou 635000, Sichuan, China) Abstract The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects：PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection. Keywords Saliency detection Visual feature Feature fusion Saliency map 收稿日期:2017-01-10。国家重点研究与发展计划项目（2016丫?80700802,2016丫?80800600);国家海洋局海洋遥感工程技术 研究中心创新青年项目（2015001)。袁小艳，讲师，主研领域:计算机视觉，机器学习，个性化服务。王安志，讲师。潘刚，讲师。王 明辉，教授。

城轨车辆障碍物检测装置分析

技术与应用 TECHNOLOGY AND APPLICATION 城轨车辆障碍物检测装置分析◎ 徐首章 随着我国轨道交通事业迅速发展，轨道列车障碍物检测方法近年来也成为研究热点。尤其是地铁无人驾驶技术的快速发展，更加促进许多新技术在障碍物检测系统上的应用。本文针对目前主流应用的障碍物检测装置进行介绍，对障碍物检测系统的特征、方式、技术参数等做详细分析。 2011年上海地铁10号线列车运营过程中由于信号系统故障，列车切除ATP通过人工驾驶，采用电话闭塞方式列车限速运行。期间14:51分列车豫园至老西门下行区间以35Km/h的速度发生追尾，事故造成271人受伤。不仅如此，国内地铁车辆与车辆段库门碰撞事故、与线路终点止挡碰撞事故及轨道上障碍物的碰撞事故也屡见不鲜。人工驾驶容易受到工作状态、危险识别能力、个人经验等主观因素的影响，同时弯道、坡道、照明等线路环境也会对人工驾驶造成一定影响，从而引起安全风险。因此城轨车辆的障碍物检测装置成为当务之急。在无人驾驶方面，根据自动运行城市轨道交通（AUGT）标准IEC 62267的第8.5.5章节车载障碍物检测装置的规定，障碍物检测装置最迟在列车前方障碍物与该装置接触时进行探测，如发现障碍物，列车应立即施加紧急制动。同时标准中要求，发现障碍物时，应向OCC（中央控制中心）报告信息，并且只有在危险条件得到解决后才能恢复运行。目前国内外轨道车辆的障碍物检测装置主要分为接触式和非接触式两大 类。 国内现状分析 国内首条自主研发的全自动运行地 铁线路北京燕房线采用的是接触式障碍 物与脱轨检测装置，通过安装于列车转 向架位置的检测装置，检测轨道附近障 碍物，并将威胁程度不大的障碍物清出 轨道，对于威胁程度较大的障碍物，通 过碰撞来触发紧急制动信号，从而保障 行车安全。国内某些科技公司自主开发 的接触式障碍物与脱轨检测装置，检测 装置同样安装于转向架前方，当轨道上 的障碍物撞击到检测横梁或列车脱轨钢 轨撞击到检测横梁时，会使检测弹簧发 生大的变形从而触发行程开关动作，串 联到列车紧急制动回路里的行程开关使 列车产生紧急制动停车，同时通过不同 的行程开关的动作向列车TCMS 上报事件 （是障碍物还是脱轨）信息，此种方式 将障碍物检测与脱轨检测集成控制，提 高车辆的安全性能。 非接触式障碍物检测装置最早应用 于与城市交通线路混跑的有轨电车，主 要通过雷达及视频成像等技术对前方固 定范围内的障碍物进行分析、处理，起 到辅助司机驾驶的功能，在车辆存在冲 撞风险时施加相应的安全保护措施，从 而避免对人员和车辆造成伤害。由于其 能够探测的距离较远，可在车辆接触到 障碍物之前提前发出预警信号，因此该 种方式是未来障碍物检测装置的一种趋 势，但是由于该种方式为非接触直接判 断障碍物，因此对设备的稳定性和安全 性提出了更高的要求，目前也是各障碍 物检测厂家的技术突破方向。 接触式障碍物检测装置 接触式的障碍物检测装置主要由检 测横梁、检测板弹簧、限位轴、行程开 关和接线盒等组成，障碍物检测装置安 装在头车转向架构架正前方。目前多数 厂家的障碍物检测装置都集成脱轨检测 功能，当轨道上的障碍物撞击到检测横 梁或列车脱轨钢轨撞击到检测横梁时， 会使检测弹簧发生大的变形从而触发行 程开关动作，串联到列车紧急制动回路 里的行程开关使列车产生紧急制动停 车，同时，通过不同的行程开关的动作 向列车TCMS 上报事件信息，即车辆出现 障碍物检测还是脱轨。 为保证障碍物检测装置的稳定性， 新型的障碍物检测装置将板弹簧用一个 固定点（用螺栓固定）和多个限位点 （用转轴限制位移或其他方式）来约束 它的位移，使检测横梁在列车运行中不 发生相对于转向架构架的自身振动，这 样消除了误动作报警的可能，大大的提 高了装置的稳定性，克服了传统的障碍 物检测装置的悬臂梁弹簧带来的自身振 动大、容易误动作报警的缺点，同时， 由于新型障碍物检测装置消除了传统障 碍物检测装置检测横梁相对于构架的侧 60世界轨道交通2019.08

视觉显著性检测方法及其应用研究

视觉显著性检测方法及其应用研究 随着科学技术和多媒体技术的发展,人们在日常生活中产生的多媒体数据,尤其是图像数据呈指数级增长。海量的图像数据除了使人们的日常生活变得丰富多彩和便利之外,也给计算机视觉处理技术提出了新的挑战。 大部分图像中只包含了少量重要的信息,人眼视觉系统则具有从大量数据中找出少量重要信息并进行进一步分析和处理的能力。计算机视觉是指使用计算机模拟人眼视觉系统的机理,并使其可以像人类一样视察与理解事物,其中的一个关键问题为显著性检测。 本文针对目前已有显著性检测方法存在的问题,将重点从模拟人眼视觉注意机制以及针对图像像素和区域的鲁棒特征提取方法进行专门的研究。同时,本文还将显著性检测思想和方法引入到场景文本检测的研究中,既能提高场景文本检测的性能,又能拓展基于显著性检测的应用范畴。 针对人眼视觉注意机制的模拟,本文提出了一种基于超像素聚类的显著性检测方法。该方法分析了人眼视觉注意机制中由粗到细的过程,并采用计算机图像处理技术来模拟该过程。 具体而言,本文首先将原始图像分割为多个超像素,然后采用基于图的合并聚类算法将超像素进行聚类,直到只有两个类别为止,由此得到一系列具有连续类别(区域)个数的中间图像。其中在包含类别数越少的中间图像中的区域被给予更大的权重,并采用边界连通性度量来计算区域的显著性值,得到初始显著性图。 最终基于稀疏编码的重构误差和目标偏见先验知识对初始显著性图进一步细化得到最终的显著性图。针对鲁棒特征提取,本文提出了一种基于区域和像素级融合的显著性检测方法。

对于区域级显著性估计,本文提出了一种自适应区域生成技术用于区域提取。对于像素级显著性预测,本文设计了一种新的卷积神经网络(CNN)模型,该模型考虑了不同层中的特征图之间的关系,并进行多尺度特征学习。 最后,提出了一种基于CNN的显著性融合方法来充分挖掘不同显著性图(即 区域级和像素级)之间的互补信息。为了提高性能和效率,本文还提出了另一种基于深层监督循环卷积神经网络的显著性检测方法。 该网络模型在原有的卷积层中引入循环连接,从而能为每个像素学习到更丰富的上下文信息,同时还在不同层中分别引入监督信息,从而能为每个像素学习 到更具区分能力的局部和全局特征,最后将它们进行融合,使得模型能够进行多 尺度特征学习。针对基于文本显著性的场景文本检测方法的研究,本文提出了一种仅对文本区域有效的显著性检测CNN模型,该模型在不同层使用了不同的监督信息,并将多层信息进行融合来进行多尺度特征学习。 同时为了提高文本检测的性能,本文还提出了一种文本显著性细化CNN模型和文本显著性区域分类CNN模型。细化CNN模型对浅层的特征图与深层的特征图进行整合,以便提高文本分割的精度。 分类CNN模型使用全卷积神经网络,因此可以使用任意大小的图像作为模型的输入。为此,本文还提出了一种新的图像构造策略,以便构造更具区分能力的图像区域用于分类并提高分类精度。