基于TMS320DM6446高分辨率视频采集系统设计

3第40卷　第2期

2009年3月

太原理工大学学报

J OU RNAL OF TA IYUAN UNIV ERSIT Y OF TECHNOLO GY

　Vol.40No.2

　Mar.2009

文章编号:100729432(2009)022*******

基于TMS320DM6446

高分辨率视频采集系统设计

李付江,张　刚

(太原理工大学信息工程学院,山西太原030024)

摘　要:完成了基于TMS320DM6446高分辨率视频数据采集的设计。采用SON Y公司85万像素的CCD传感器,利用通用DSP(DM64x+)取代图像采集套件的专用DSP处理10bit Bayer模板原始数据信号。经过中值滤波,噪声滤波,CFA插值和R G B到YUV转换等算法处理,输出分辨率为1024×768的YU V(4:2:2)格式的数字视频信号,进一步通过编码器处理,可支持1080P 高清视频信号输出。

关键词:CCD;中值滤波;噪声滤波;CFA插值;TMS320DM6446

中图分类号:TN946 文献标识码:A

目前视频采集,主要有两种形式:一种是基于PC机的ISA,PCI等总线的图像采集卡,但是价格比较昂贵,并且处理功能简单;另一种是脱机图像系统,使用DSP等嵌入式处理器完成视频图像的采集和处理。这种系统可以广泛应用于家用的可视电话、野外作业、安全监控等领域。

本设计采用SON Y公司85万像素的CCD传感器[1]和TI公司的TMS320DM6446完成了高分辨率视频数据的采集。DM6446DSP采用C64x+ TM内核,主频达594M Hz,指令数高达4752M IPS。其专为数字视频应用设计,具有专用集成芯片专用性的一面;同时DSP的内核架构许多地方都是用户可编程的,又具备类似于FP GA等可编程器件的灵活性的一面[2]。

1　系统硬件设计

该系统硬件设计框图如图1所示。

图1　视频采集系统硬件框图

系统上电后,TMS320DM6446通过SPI接口对时序信号发生器(CXD2457R)进行初始化。初始化完成后,TMS320DM6446的CCD控制器产生行、场驱动信号送给时序信号发生器,时序信号发生器产生CCD时序控制信号和A/D转换芯片的采样时序信号。CCD采集的原始图像数据,送到A/D转换芯片,输出10bit Bayer模板原始数据信号送给TMS320DM6446的CCD控制器进行处理。CCD 控制器主要产生合适的行、场时序信号和对原始图像进行数字箝位和黑电平补偿等处理,处理后的图像送到DDR2存储器。DSP从DDR2存储器取到原始数据后,进行中值滤波,噪声滤波,CFA插值和R G B到YUV转换等算法处理,输出分辨率为1 024×768的YUV(4:2:2)格式的数字视频信号。

2　系统软件设计

本系统软件设计流程如图2所示。

2.1　中值滤波

中值滤波主要用来处理CCD器件出现的坏点。根据相邻像素之间的相关性,相邻像素值不会差别太大,若差别明显,则认为此像素为坏点,用相邻的像素值取平均代替,图3所示是实现框图。为满足实时性要求,采用行中值滤波器。由于输入的视频

3收稿日期:2008206215

基金项目:国家自然科学基金(60372058,60772101);山西省自然科学基金(20051009)

作者简介:李付江(1982-),男,山东临沂人,博士生,主要从事数字图像处理方面的研究,(Tel)137******** 通讯联系人:张刚,教授,(Tel)0351-*******,(E2mail)tyzhgang@https://www.wendangku.net/doc/4316245197.html,

图2　系统软件设计流程图

数据为Bayer 模板格式,因此采用与前后相隔一个

像素值做差并取绝对值,然后与设定的门限值比较。当两个差值均超过门限值时,则检测到一个坏点[3]

。

图3　行中值滤波器实现框图

2.2　噪声滤波器

噪声滤波器采用3×3的矩阵,主要用来降低数

据噪声。如图4所示

。

图4　噪声滤波器矩阵分布图

根据相邻像素之间的相关性,认为同一种颜色

临近像素值接近。选定不同的st rengt h 值来决定邻近像素的权重。实现过程如下:

1)x 1…x 8是x 0周围相同颜色的值。

2)T H =L U T [x 0/4],T H 为门限值,L U T 为查找表。为降低运算复杂度,将0-255像素值映射到64个元素的查找表中,根据不同的像素区间,在相应查找表中设置不同的门限值。同时,可以根据不同的传感器的噪声特性设置对应的门限值。

3)b i =|x i -x 0|≤T H ,i =0..8.b i 为布尔型数据。取与x 0差值小于等于门限值的像素。

4)Average =sum (b i 3x i )/sum (b i )。

5)x 0=((16-st rengt h )3x 0+strengt h 3av 2erage )/16;st rengt h 为邻近像素的权重值,值越大,权重越大。

2.3　CFA 插值

输入到DSP 的数据为Bayer 模板数据,主要待征为间隔的放置红、绿、蓝色的数据,而且绿色数量

为红色(或蓝色)的两倍。CFA 插值的目的就是要尽可能的利用相邻象素空间上和色彩上的关系估计出每个象素丢失的其他两个色彩通道。实现过程如图5所示

。

图5　Bayer 模板数据分布图

1)求解水平和竖直梯度:

H =|g 4-g 6|+|(b 5-b 3)-(b 7-b 5)|,V =|g 2-g 8|+|(b 5-b 1)-(b 9-b 5)|.

2)对G 进行插值:如果,ΔH ≤

ΔV ,则G 5=(g 4+g 6)/2+(-b 3+23b 5-b 7)/4;否则,G 5=(g 2+g 8)/2+(-b 1+23b 5-b 9)/4.

3)对R 2B 进行插值:

对R 4,R 2插值

R 4=(r 1+r 7)/2+(g 4-G 1+g 4-G 7)/4,R 2=(r 1+r 3)/2+(g 2-G 1+g 2-G 3)/4;

对b 5插值

R 5=(r 1+r 9)/2+(-G 1+23G 5-G 9)/2.

对B 插值原理与R 插值原理相同。2.4　色空间转换

数字R G B 到YUV 格式转换的公式为:

Y U V

=

01299

01587

01144-011687

-013313015

015

-014187

-010813

R G B

+0128128

本模块实现标准的YUV (4:2:2)格式的数字视频信号输出。

3　算法的DSP 实现

算法的快速实现不仅要考虑算法结构的合理性,还需要考虑DSP 本身的特点[4]。DM6446具有64个通用寄存器,8个功能单元,一次执行指令高达8条,支持一次读入64位的LDDW 指令、独特的M P Y32、DPAC KX2等指令,支持软件流水操作[5]。

因此以上算法实现需注意以下几点:

1)为了满足实时性,对于耗时代码,采用线性汇编语言实现。

2)使用超长指令字(VL IW )和软件流水线技

5

31　第2期 李付江等:基于TMS320DM6446高分辨率视频采集系统设计

术进行汇编代码优化。VL IW具有很高的并行性和独立调度功能部件的能力,通过合理选择C64x+支持的64位超长指令,尽量减少使用的指令数。软件流水通过对循环迭代的并行执行,有效增加程序的总吞吐率。

3)输入数据的LOAD指令有4个周期的延时,因此应尽量减少装载指令的使用次数。输入的原始数据是无符号字符类型,利用指令LDDW,一次读入8个数据进行处理,大大节约装载数据的时间。

4)DSP的乘法指令有3个指令周期的延时,把乘法操作转化成移位和加法操作,并利用DSP的并行执行能力,提高执行的效率。

5)能够提前计算并需要反复调用的数据存入存储器,通过查表获得,避免在程序中重复计算,从而减小运算量。噪声滤波器查找表采用此方法。

4　结论

本设计采用TMS320DM6446完成了高分辨率视频数据的采集,图像质量好,完全满足实时性要求。TMS320DM6446具有丰富的资源,进一步可利用采集的数据实现高清(1080P)分辨率的H. 264、MPEG4等视频编解码算法。本系统可应用于数字视频展台,网络监控,可视电话等采集前端。

参考文献:

[1]　SON Y.cxd2457r[DB/OL]https://www.wendangku.net/doc/4316245197.html,

[2]　TI.TMS320DM644x DMSoC DSP Subsystem[Z].Reference Guide SPRU E15,2005.　

[3]　John F.Hamilton,J r,James E Adams,J r.Adaptive color plane interpolation in single sensor color electronic camera[P].U.

S.Patent,1997.

[4]　冈萨雷斯.数字图像处理(第二版)[M].北京:电子工业出版社,2003.

[5]　TMS320C64x/C64x+DSP CPU and Instruction Set Reference Guide[Z].SPRU732B,2006.

The Design of High2R esolution Video

C aptureing System B ased on TMS320DM6446

L I Fu2jiang,ZHANG G ang

(College of I nf ormation Engineering,Tai y uan Universit y of Technolog y,T ai y uan030024,China)

Abstract:A high2resolution video capt uring system was designed based on TMS320DM6446.

U sing Sony company’s850k pixels image sensor,10bit raw data of Bayer pattern were transmit2

ted to general DSP(DM64x+)for p rocessing instead of special DSP.After t he processing of me2 dian filtering,nosie filtering,CFA interpolation and R G B to YUV conversion,t he YUV(4:2:2) digital video signal of resolution10243768was generated.Wit h f urt her processing wit h encoder, 1080P HD TV video signal was supported.

K ey w ords:CCD;median filter;nosier filter;CFA interpolation;TMS320DM6446

(编辑:刘笑达)

631太原理工大学学报 第40卷