机器视觉在工业领域中的研究应用

机器视觉在工业领域中的研究应用

范祥,卢道华,王佳

(江苏科技大学机械与动力工程学院,镇江212003)

摘要:综述机器视觉在国内外工业领域的研究应用状况,总结机器视觉在应用中存在的问题。

关键词:机器视觉;应用研究

中图分类号:TP391文献标识码:A文章编号:1671)3133(2007)06)0129)05

R esearch and application of m achi ne vision i n i ndustry

Fan X iang,Lu Dao-hua,W ang Jia

(Schoo l ofM echan ica l and Pow er Eng.,Jiangshu Un iversity of Science and

Techno logy,Zhen ji a ng212003,Jiangsu,C HN)

Abstrac t:R ev i ewed pub lishe r literatures in the fi e l d of research and appli ca tion ofm achi ne v i sion i n i ndustry.Incl uding the prob-le m s in the app licati on of m ach i ne v i sion.

K ey word s:M achi ne v isi on;R esearch and app licati on

0引言

机器视觉是一项综合技术,其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软、硬件技术和人机接口技术等[1-3]。它是实现精确定位、精密检测、自动化生产的有效途径,同时它具有实现非接触测量、具有较宽光谱相应范围、可长时间工作等优点,因此已广泛应用于各个领域,如工业制造、医学、导航和遥感图像分析等。虽然机器视觉技术从20世纪80年代才开始起步,但由于其突出的优点,在各种工业领域被广泛应用,特别是近几年发展十分迅速,国内外的成果也是层出不穷。

1国外典型研究应用

1994年,S.Tr i k a[4]等研究了一种基于机器视觉的多面体零件特征提取技术,利用各面的相邻信息通过一定的算法获得零件特征。

1998年,J#M erlet[5]等将机器视觉技术应用于部件装配。同年,Du-M ing Tsa i[6]等将机器视觉和神经网络技术相结合,实现对机械零件表面粗糙度的非接触测量。在这个系统中,表面粗糙度的定量测量是利用空间频域内的一个二维傅立叶变换实现的。

1999年,Jenn i n gs R.B.[7]等将机器视觉技术应用于化工产品生产过程中。在这个系统中,机器视觉系统指导一个两轴运动器的运动,以完成化工产品的混料工序。

2002年,F.M eriaudeau[8]将机器视觉系统应用在冶金工业中金属焊接的质量检测与在线过程控制中。

https://www.wendangku.net/doc/c515426796.html,hajnar[9]将机器视觉技术应用在装配柴油机柴油过滤器的过程中,对其进行识别定位,其识别定位时间大约019s。为能使该定位系统适用于不同的柴油机过滤器装配,采用了Karhunen-Loeve展开法对图像进行特征提取。

2001年,C.B rad ley[10]使用基于传感器的机器视觉系统完成对刀具表面质量的分析。Gupta,M anoj[11]使用廉价机器视觉系统对机械加工面表面粗糙度的非接触性光学参数进行可行性计算。

2002年,https://www.wendangku.net/doc/c515426796.html,hajnar[12]利用机器视觉系统检测电路板。该系统应用两个长焦相机,并采用亚边缘检测技术和对系统进行半自动校准,精确测量出电路板的几个尺寸参数。并且机器视觉系统能够很好地跟踪电路板生产过程,检测每一个电路板,分拣次品。大量的试验表明,这个检测系统具有快速、精确和鲁棒性好的优点。同年,P.Bourgeat[13]用视觉方法检测金属管不同部位的缺陷。

129

2003年,E lada w,i A.E[14]将机器视觉技术用于数控铣床加工中,对水平和垂直两个方向进行测量,以获得实时加工数据。整个系统工作过程分为两步:第一步利用视觉捕获加工物件图像;第二步利用图像处理软件对图像进行处理和分析,以获得所需的数据。同年,Yan,Jiajun[15]将机器视觉技术运用到逆向工程中,这个研究展示了一种利用光学方法检测二维物体边界的过程,整个过程分为预处理和测量两个阶段,其中预处理采用了/图像需求信息最小化方法0。

2005年,O.Leary[16]利用机器视觉技术实现整个金属轧辊过程的监控,并通过数据高速传送网络实现整个系统的视觉反馈控制。

2006年,K err.D[17]采用机器视觉技术对数控机床的刀具磨损进行监控。在实际加工中,需要周期性地检测刀具磨损,以保证加工的精度。而机器视觉的非接触测量的优点可以实现对刀具整个使用过程磨损的监控,不但方便,而且大大提高了精确度。由于刀具在微型加工时对刀刃表面形变很敏感,会直接影响到加工精度,因此同一年Jackson,M.J[18]针对这个问题提出了一种基于神经网络的图像处理方法,这种算法不但能精确算出刀具累积磨损,而且能够计算出因刀具磨损的加工补偿量,从而进一步完善了这个机器视觉系统。

2国内典型研究应用

机器视觉在国内的应用主要集中于检测与定位等几个方面,这样的工业产品占据了中国市场的绝大部分。

211精密检测领域

目前工业检测领域已成为机器视觉技术最主要的应用领域[19,20]。

机器视觉在工业检测中的应用最为常见的是对各种机械零件的几何尺寸进行测量。如浙江大学、上海理工大学、河北理工大学等多家院校和科研单位都开发了基于机器视觉的机器零件测量系统。尽管各系统的总体设计各有特点,但采用的方法步骤大体相同,主要分为系统标定、图像采集、图像预处理、图像分析和提取零件特征几个步骤。这样得出的结果比以往传统测量设备得到的结果精度大大提高,实现了非接触测量,大大减少了时间,提高了生产效率[21-28]。

在汽车制造质量检测中,机器视觉技术被应用于汽车零/部件外形尺寸检测、车身轮廓检测、装备完整性检测等方面[29,30]。目前这方面的技术已经产业化,特别是在国外以西门子SI M ATI C VS710视觉产品为代表的产品已广泛应用于汽车制造质量检测中。又如英国ROVER汽车公司800系列汽车车身轮廓尺寸精度的检测;福克斯工程公司(Fuchs Eng ineeri n g)在生产汽车中的电插塞式连接器和差动齿轮的过程检测等等[31],国内也有这方面的应用研究[32,33]。

在半导体及电子行业,天津大学针对双列直插集成电路芯片,研究出基于机器视觉的管脚尺寸自动检测装置,整个自动检测设备系统主要由管脚图形采集模块、管脚图像识别及检测模块、自动控制模块三个功能模块组成,整个系统具有检测精度高、速度快的优点[34]。合肥工业大学针对球栅阵列(Ba llG rid A r-ray,BGA)封装形式的半导体芯片,进行了BGA全自动植球机视觉检测和自动对准控制技术的研究,从而利用机器视觉技术解决了BGA植球机存在的精确定位和准确检测两大突出难题[35]。

此外,机器视觉还被用于对于如刀具等工业设备的检测。目前数控加工精度已达微米级,从而对刀具要求愈来愈高。利用机器视觉技术可以将刀具的图像摄入,转换为数字信号,再输入计算机进行处理,得到刀具的长度、宽度、半径等几何参数[36]。

212定位

在很多工业领域存在着高精度定位的问题,如钻床数控系统钻头定位、金属板材数控加工轨迹坐标定位等。目前机器视觉技术由于其高精度的优点在这方面得到广泛的应用。

华中科技大学在金属板材数控加工中利用机器视觉技术对加工轨迹坐标定位。为了有效排除成形过程中坐标定位对零件上出现的拉裂、材料堆积等现象的影响,更精确地进行工艺分析,必须完成成形轨迹坐标的准确定位。然而人工定位效率低、精度差,因此提出一种基于机器视觉的非接触式加工轨迹坐标定位方法,完成了金属板材数字化成形中支撑模型的非接触式高精度快速定位[37-39]。

在目前的钻床定位中普遍采取的是人工设定和调整,自动化程度低,定位精度不高,特别对于小直径钻头,难以准确定位。针对这个问题,湖南大学进行了钻头视觉定位研究,在视觉定位中采用间接定位方式,即将钻头定位到一个钻头图像分析中易于确定其位置的状态,这个状态称为钻头定位状态,当钻头达到这个位置以后,根据其与钻头刃磨初始状态间的位置关系,将钻头旋转到刃磨初始位置,间接实现钻头刃磨初始状态的定位[40]。

武汉理工大学从机床的夹具入手,使用机器视觉技术代替传统的专业夹具,实现了基于数字图形的无

130

夹具工件自动定位,在这个机器视觉系统中利用摄像元件得到图形,采用图形处理技术,确定工件位置,实现无夹具加工,大大提高了机床工作效率[41]。

由于印刷电路板(PCB)基准定位孔的准确性直接影响PCB的质量,而传统的定位无法满足高精度集成电路的要求,因此中国计量学院等单位进行了基于机器视觉的PCB数控钻机定位研究。大量的实践证明采用机器视觉系统进行定位并且综合运用数控伺服传动技术以及各种先进控制技术能够有效实现精确定位[42-44]]。

213其他工业领域的应用

机器视觉的利用还包括产品的计数、焊接和钢板表面的自动探伤等。国内在这方面也做了很多工作。中南大学和香港大学联合开发了棒材生产在线视觉技术系统,利用机器视觉技术可以很好地对棒材在线快速计数和分钢自动化操作[45]。而在焊接领域由于很多情况下具有危险或人无法到达的情况,可以利用机器视觉技术去指导执行机构完成焊缝等焊接工作[46,47]。

综上所述,机器视觉由于其具有的高精度、可实现非接触测量和可长时间稳定工作等特点,在国内外工业领域均被广泛应用,大大提高了生产的产品质量和生产线自动化程度。国内在机器视觉产品研究开发方面已经起步,并取得一些成果[48-53],但与国外相比还有一定差距,目前国内在机器视觉产品研究开发领域水平较低,普遍采用国外产品;在软件方面,特别是在算法的研究方面国内的研究尤其欠缺,主要仍采用一些经典的数字图像处理算法,很少提出新的更为有效的算法。而国外针对工业现场的实际情况在发展机器视觉硬件产品的同时,对算法的研究更是投入了大量的人力和物力。

3机器视觉技术在应用中存在的问题

虽然机器视觉技术目前已得到广泛应用,且有很好的实际效果,但由于其自身或配套技术上存在的一些问题,它在应用上还是受到一定限制,比如,目前存在的最主要的实时性问题。在工业检测、机器人视觉控制和监控等领域的机器视觉应用中,实时性是衡量机器视觉系统的重要指标,目前在机器视觉的实时性研究方面,主要分为硬实时和软实时。在硬实时方面,目前由于硬件设备的迅猛发展已经有了比较好的解决方案。而在软实时方面,主要是靠算法提高图像处理速度。尽管国内外都提出一些新的算法,但是很多仍处于实验室阶段,在复杂的工业现场仍存在准确性、鲁棒性下降等问题[54]。而且目前已应用的算法也普遍存在算法效率低、速度慢的问题,特别是在存在较多噪声的工业现场,机器视觉系统的抗干扰能力较差,造成准确度和精度下降。另外,目前的机器视觉主要应用在2维、215维图像的处理分析中,而这样往往无法精确得到复杂物体的图像。

4结语

机器视觉的应用目前主要集中在检测、定位、运动控制、机器人和计量等几个领域。而在近2年,在运动控制、生产流水线、诊断、测试和数控设备等几个领域对于机器视觉的应用需求增长最为迅速[55]。目前国内外都在大力发展机器视觉产业,并在逐渐形成细分组成机器视觉产业的/视觉软件0、/机械手0、/造型设计0、/相机系统0、/光源0等微观个体,从而加快了这个产业的发展。我国虽然与国外在这个领域存在一定差距,特别是缺少自己的核心技术,但随着国内对这个行业的重视,相信我国的机器视觉产业将得到很大提高。

参考文献:

[1]朱铮涛,黎绍发.视觉测量技术及其在现代制造工业

中的应用[J].现代制造工程,2004(4):59-61.

[2]刘继胜,钟良.机器视觉技术在质量检测中的应用

[J].现代制造工程,2004(2):99-101.

[3]唐向阳,张勇,李江有,等.机器视觉关键技术的现状

及应用展望[J].昆明理工大学学报(理工版),

2004,29(2):36-39.

[4]T r i ka S N,K ashy ap R L.G eom etr ic R easoni ng for Ex-

traction o fM anufacturi ng F eatures i n Iso-O rented Po ly-

hedrons[J].I EEE T ransactions on Pa ttern Ana l ys i s and

M ach i ne In telli g ence,1994,16(11):1087-1100.

[5]M iura J,Ikeuchi K.T ask-o riented g enerati on o f v isual

sensi ng strateg i es in assemb l y tasks[J].IEEE T ransac-

tions on P attern A na l ysis and M ach i ne Inte lli g ence,

1998,20(2):126-138.

[6]T sai Du-M i ng,Chen Jeng-Jong,Chen Jeng-Fung.V-i

si on syste m fo r surface roughness assess ment us i ng neu-

ral ne t w orks[J].Internati onal Jou rna l o f A dvanced

M anufacturi ng T echno logy,1998,14(6):412-422.

[7]Jenn i ngs R B,B ri ght G.M ach i ne v isi on and i nte lli gence

i nco rporati ng m oti on contro l[J].A sse m bly A utom ati on,

1999,19(1):55-58.

[8]F abr i ce M er i audeau,Anne,C la ire Legrand.M achi ne v-i

si on system s i n t he m etall urgy i ndustry[C].P roceed-

i ng s o f SP IE.San Jose,2000(3966):228-237.

131

[9]F ranci L aha j nar,Stanislav K ovac ic.M ach i ne v i s i on sys-

te m for positi on i ng and part verificati on o f gas o il filters

based on eigen i m ages[C].P roceed i ngs of SP IE.San

Jose,2000(3966):220-227.

[10]Bradley C,W ong Y S.Surface T exture Indicators o f

T oo lW ear)))A M ach i ne V isi on A pproach[J].T he

In ternati onal Jou rna l of A dvanced M anu fact ur i ng

T echno l ogy,2001(4):435-443.

[11]G upta M ano,j R am an Shivakum ar.M achine v i s i on as-

sisted characteriza ti on o f m ach i ned surfaces[J].In-

terna ti ona l Journa l of P roducti on R esearch,2001,39

(4):759-784.

[12]L aha j nar F,Berna rd R,P ernus F,K ovac i c S.M ach i ne

v i sion syste m for i nspecti ng e lectr i c plates[J].Com-

puters i n Industry,2002,47(1):113-122.

[13]P ierrick Bourgea t,F abr ice M er i audeau.De fect de tec-

ti on and class ificati on on m eta lli c parts[C].P ro ceed-

i ng s of SP IE.San Jose,2002(4664):182-189.

[14]E ladaw i A E,G ade l m a w la E S,E le w a I M,A bde-l

Shafy A A.An applica ti on o f co m puter v isi on for pro-

g ra mm i ng co m puter nu m er i ca l control m achi nes[J].

P ro ceedings o f t he Instituti on o f M echanical Eng-i

neers)Part B)Eng i nee ri ng M anufacture,2003,217

(9):1315-1324.

[15]Y an Jiajun,D e Sa m L azaro,A nthony.R everse Eng-i

neer i ng o f Sheet M eta l P arts U sing M ach i ne V isi on

[C].2003AS M E D esign Eng i nee ri ng T echnical Con-

ferences and Co m pute rs and Infor m ati on i n Eng i neer-

i ng Con ference,Ch i cago,I L,U n ited States:2003.

[16]O p L ea ry Pau.l M achine v isi on fo r feedback control i n a

steel ro lli ng m ill[J].Computers i n Industry,2005,56

(8):997-1004.

[17]D avid K e rr,Jam es Peng illey,R obe rt G ar w ood.A ssess-

m ent and v i sua lization o f m ach i ne t oo l wear usi ng

co m puter v i s i on[J].The Interna ti ona l Journa l o f A d-

vanced M anufacturing T echno logy,2006,28(7-8):

781-791.

[18]Jackson M J,R ob i nson G M,H yde L J,R hodes R.

N eural i m age processi ng o f t he wear o f cutti ng too l s

coated w it h t h i n fil m s[J].Journal o f M ater i a l s Eng-i

neer i ng and Pe rf o r m ance,2006,15(2):223-229.

[19]张志云.基于图像处理的高精密视觉检测系统

[D].广州:广东工业大学,2006.

[20]廖强,周忆,米林,徐宗俊.机器视觉在精密测量中

的应用[J].重庆大学学报(自然科学版),2002

(25)6:1-4.

[21]王桂棠,朱妙贤,吴黎明,等.基于机器视觉的活塞

环闭口间隙自动检测[J].现代制造工程,2005

(11):80-82.

[22]刘兆妍,马翠红,刘兆妮.基于机器视觉的机械零件

测量技术[J].机械设计与制造,2005,34(7):

144-146.

[23]高飞,石米娜,等.基于机器视觉的机械零件自动精

密测量[J].试验技术与试验机,2006,24(2):

29-32.

[24]雷良育,周晓军,潘明清.基于机器视觉的轴承内外

径尺寸检测系统[J].农业机械学报,2005(3):

131-134.

[25]商俊敏,宫闽军,雷良育,周晓军.基于机器视觉的

在线轴承检测系统[J].组合机床与自动化加工技

术,2004,18(8):51-52.

[26]雷良育,李秀莲,商俊敏,吴瑞明.齿轮外表视觉检

测系统设计[J].机床与液压,2004(6):155-157.

[27]刘中坡,杜宝江,张杰.基于机器视觉的零件尺寸自

动测量系统[J].机械设计与制造,2006,166(2):

47-49.

[28]唐宇慧,杨敏,叶邦彦,等.基于机器视觉的圆轴直

径精密检测[J].现代制造工程,2004(9):67-69.

[29]吴春凌.生产线零件编号检测系统的计算机视觉研

究[J].现代制造工程,2006(4):101-103.

[30]张悦,孔谅,王钟炜,等.防松垫片质量在线图像监

控[J].现代制造工程,2006(7):85-87.

[31]胡兴军,唐向阳,张勇.机器视觉技术及其在汽车制

造质量检测中的应用[J].现代零部件,2005(11):

96-101.

[32]赵颖全,杨军.西门子机器视觉系统在PET饮料瓶

缺陷检测中的应用[J].E时代自动化行业应用,

2006(4):123-124.

[33]吴黎明,朱妙贤,邓耀华,等.基于边缘检测自动位

置补偿的缺陷识别技术[J].现代制造工程,2004

(5):74-75.

[34]左建中,张新荣,王刚,张钢.集成电路芯片管脚尺

寸自动检测的研究与实现[J].制造业自动化,

2000,22(9):28-30.

[35]郭建强.B GA全自动植球机视觉检测和自动对准

控制技术研究[D].合肥:合肥工业大学,2006. [36]侯学智,杨平,赵云松.基于图像处理技术的刀具测

量系统[J].制造技术与机床,2004(3):33-35. [37]王全义,莫健华,毛锋,黄树槐.金属板材数控渐进

成形技术及加工轨迹坐标对位研究[J].锻压装备

与制造技术,2005,40(3):106-108.

[38]毛锋,莫健华,王全义,黄树槐.基于计算机视觉的

机床自寻位在无模渐进成形设备中的实现[J].锻

压技术,2005,30(6):33-36.

[39]王全义.基于机器视觉的金属板材数控渐进成形加

工轨迹坐标对位研究[D].武汉:华中科技大学,

132

2005.

[40]龙腾宇.基于PC的钻尖磨床数控系统及钻头视觉

定位检测研究[D].长沙:湖南大学,2004.

[41]滕靖.基于数字图像的无夹具定位的技术研究

[D].武汉:武汉理工大学,2006.

[42]刘华波.机器视觉技术在PCB V割机上的应用研

究[D].重庆:重庆大学,2005.

[43]余任冲.PCB基板切割机软件系统开发[D].广州:

华南理工大学,2005.

[44]武琳璞.基于计算机视觉的凸轮磨削自动定位与在

线检测技术研究[D].秦皇岛:燕山大学,2005. [45]罗三定,沙莎,沈德耀,贾维嘉.棒材生产在线视觉

计数系统研究[J].小型微型计算机系统,2004,25

(4):671-675.

[46]左飞燕.开放式组焊数控系统的研制及焊缝识别的

数字图像处理研究[D].长沙:湖南大学,2004. [47]刘鹏.图像法技术在焊接过程中的应用研究[D].

武汉:武汉理工大学,2004.

[48]李强,杨晓京,魏岚,等.基于计算机视觉的烟叶分

离系统[J].现代制造工程,2006(5):101-103. [49]廖强,蔡飞,吴存学.基于机器视觉技术的精确定位

方法研究及应用[J].现代制造工程,2005(4):

101-103.

[50]何炳蔚.激光)机器视觉测量系统的数据采样及网

络化[J].现代制造工程,2006(6):89-91.

[51]杨敏,叶邦彦,牟丽,等.用于机械零件视觉检测的

彩色图像灰度化算法[J].现代制造工程,2004

(10):69-71.

[52]许岚兵,桂国富.基于匹配变换对的图像矫正算法

[J].现代制造工程,2005(5):137-138.

[53]杨敏,叶邦彦,牟丽,等.机械零件视觉检测图像二

值化处理[J].现代制造工程,2003(11):54-56. [54]张磊,罗翔,史金飞.机器视觉实时问题的对策与研

究方法综述[J].制造业自动化,2006,26(6):

28-33.

[55]H o s ke M T.M ach i ne v i sion looks we ll beyond inspec-

tion[J].Contro l Eng i neering,2005,52(5):65-75.

作者简介:范祥,硕士研究生。主要研究主向:机器视觉,机电控制。

电话:(0)133********

收稿日期:2007-01-30

(上接第25页)

工数控程序平均耗时约10106s,解释速度可以达到约4416行/m s,能较好地满足系统的要求。

6结语

基于Lex和Yacc开发的NC代码解释器,能正确解释NC代码程序,且具有开发周期短,解释效率高等特点。实验证明,该解释器能兼容多种不同格式的NC代码体系,易于修改和扩充代码规则,是一种开放式的NC代码解释器。其能很好地满足开放式数控系统对解释器的要求,可以用作各种数控系统的解释器。

进一步的工作可将此NC代码解释器作为一个独立的模块,定义标准化的外部接口,设计成软件芯片的形式,供不同的数控系统选用。

参考文献:

[1]廖效果,刘又午.数控技术[M].武汉:湖北科学技术

出版社,2000.

[2]张承瑞,单诚,王恒.数控G代码解释器的设计与实

现[J].山东大学学报(工学版),2006,23(6):

564-568.

[3]Jobn R Lev i ne,Tony M ason,et a.l Lex与Y acc[M].2

版.杨作梅,张旭东,等译.北京:机械工业出版社,

2003.

[4]伍抗逆,李斌,陈吉红.面向开放式数控系统平台的

NC代码解释器开发[J].中国机械工程,2006,17

(2):168-171.

[5]左静,魏仁进,吕新平,等.数控系统软件芯片的研制

和开发[J].中国机械工程,1999,10(4):424-427.

作者简介:徐星月,硕士研究生。主要研究方向:机械制造及其自动化。

叶佩青,博士,教授。主要研究方向:机械制造及其自

动化。

E-m ai:l xux i ngyue00@m ail s.tsi nghu https://www.wendangku.net/doc/c515426796.html,

收稿日期:2007-03-28

133