基于ARM嵌入式图像采集处理平台的标签跟踪系统设计
2017-08-08段佳雷高智博
段佳雷, 高智博
(西安工程大学 电子信息学院， 西安 710600)
基于ARM嵌入式图像采集处理平台的标签跟踪系统设计
段佳雷, 高智博
(西安工程大学 电子信息学院， 西安 710600)
以移动小车为实验平台，设计了一款应用于移动机器人上的Linux嵌入式图像采集处理系统,系统选用三星公司的S3C2440开发板作为核心处理器，采用OV9650摄像头采集图像。重点介绍了图像采集模块的设计，以及两种标签识别方式——模版匹配和形状特征匹配，并对两种方法的进行了对比分析。对识别过程中出现的标签倾斜现象进行了补偿处理。该嵌入式图像处理系统能够较为快捷准确的识别标签，为移动机器人的设计提供了一个较好的实验平台。
智能跟踪; S3C2440; 嵌入式图像处理; 标签识别
0 引言
智能跟踪技术是移动机器人研究的重点，是集合自动控制、图像识别、嵌入式等多种技术为一体的综合研究课题[1][2]。目前，跟踪技术的研究大多集中在复杂背景下跟踪算法的研究方面，也就是利用相对复杂的算法来提高目标识别的精度。比较常用的跟踪算法有基于Camshift算法的目标跟踪[3][4][5]，基于光流法的跟踪[6][7]等。这些算法的实现大都以高性能的硬件设备为基础，从而使得不依赖于PC机独立跟踪系统的设计一度陷入停滞。随着嵌入式arm图像处理技术的高速发展，使得该研究方向有了新的进展[8][9]。智能跟踪技术逐渐朝着简单、独立、准确的方向迈进[10]。本文以ARM9系列开发板为核心，设计了一款应用于移动小车上的图像处理系统，系统通过对采集图像的实时处理，识别出图像中的标签，进而追踪到携带标签的目标人。
1 系统总体设计
整个设计系统是以移动小车为研究平台的。在小车上搭载了OV9650摄像头以及ARM9系列开发板S3C2440。OV9650摄像头和S3C2440开发板构成了整个图像采集处理系统的硬件核心。
在此硬件基础上，设计了一款基于ARM的Linux系统，用于视频图像的采集及处理。整个嵌入式系统的结构框图如图1所示。
图1 软件结构框图
2 视频图像采集
由于Linux系统专门向用户提供了一套应用程序访问音、视频驱动的统一接口即V4L(Video for Linux)[11]。这就使得视频的采集处理难度大大降低。目前市面上应用较为流行的是V4L的改进版V4L2，V4L2中对摄像头设备有一个字符设备“dev/video0”与之对应，通过对该设备文件的读操作可以实现视频的采集，其主要使用open()、close()、ioctl()。其中ioctl使用到的控制命令字符在头文件
Camera_open()开启视频设备文件；
Camera_get_capbility()通过调用ioctl()函数来获取摄像头参数；
Camera_set_init()对设备进行初始化操作包括设定视频制式和帧格式、视频的捕获参数；
Camera_get_buffer()向设备申请一个拥有数个缓冲帧的缓冲区，获取其长度地址等信息，然后调用函数mmap把内核空间地址映射到用户空间；
Camera_process_image()读取缓存帧，获得一幅图片的信息，并将其保存在picture结构中以方便图像处理程序调用，最后将缓存帧重新放回缓存列队；
Camera_close()关闭视频设备。
通过上述函数的设计，最终将采集到的图像存储在picture结构中，以方便进一步处理。
3 图像处理
为了满足图像处理的需要，文中在嵌入式Linux系统中移植了图像处理函数库OpenCV(Open Source Computer Vision Library)，该函数库中包含了图像处理过程中所使用的基本函数[12][13]。利用这些算法函数的组合可以实现对图像中标签的识别。图像处理的基本流程,如图2所示。
图2 图像处理流程
对图像进行简单的预处理，从而得到较为清晰的含有标签的图像。如图3所示。
图3 预处理前后图像对比
之后进行图像识别，一般来说，快速，准确的图像识别是视觉跟踪成败与否的关键。文中采取了两种不同的识别方式，模版匹配识别和形状特征匹配识别。
3.1 模版匹配识别
模版匹配[14]，是最常用的识别方式。
1) 模板选择
在模版匹配方法中，模版的选择尤为重要。在这里将标签置于摄像头前10 cm处拍摄一副图像，然后从中分离出标签图像，以此作为模版。
然而随着标签远近的变化，图像中标签的大小是不相同的。用一副模版来匹配原始图像，明显是不适合的。因此，需对之前选择的模板进行相应的缩小处理。如图4所示。
图4 模板的提取及缩小
通过实验最终将缩小系数k的范围确定在(0.35>k>0.05),缩小系数在这个范围(30 cm～150 cm)时，模板的大小恰好是小车的跟踪范围内标签的大小，将缩小后的模板记作模版T。
2) 模版匹配
将这个模版T放在所需要对比的原始图像I的一个图像点上，然后把模版T上的点与原图I覆盖的点逐一匹配，将匹配结果记录在该图像点上。通过滑动模版，可以得到一个度量值R的矩阵。在R矩阵中最大的点即是模版所在的位置。一般用来做匹配的算法是多种多样的，在考虑到算法复杂程度和准确性以及匹配速度等多种因素的前提下，这里选择了相关性匹配方式。其计算公式为式(1)。
(1)
一段视频中几帧图像采用模版匹配后的识别结果,如图5所示。
3.2 形状特征匹配识别
对于形状特征比较明显的目标，采用形状特征匹配识别比较准确方便[15][16][17]。而本文选择的标签的形状十分特殊，因此采用形状特征的识别方式，也可以达到识别的目的。
首先对预处理后的图像进行边缘提取，并填充闭合区域，如图6所示。
由于标签是打印在矩形的白纸上的，因此对图中的连通域做矩形的相识度判别就可以确定白纸的位置。矩形判别公式为R=A0/AR。其中，A0为目标形状围绕面积，AR为其最小外接长方形的面积，0≤R≤1。当R越接近于1时，实际目标越接近于矩形,如图7所示。
图a
图b
图7 矩形相似度的判别
初步判断白纸的位置并不能直接确定标签的位置，需要进一步确定。将矩形相似度判别后的图像去掉预处理图像中非矩形部分。再将矩形内的部分分离出来，做进一步判定,如图8所示。
图8 疑似标签的分离
对该区域重复边缘检测，区域填充。这样就得到了标签的轮廓，这时进行圆的相识度判别。判断结果如果是圆，则证明之前识别的矩形区域为标签图像。圆的相识度判别公式是式(2)。
R=4πA/L2
(2)
其中，A表示图像中目标形状围绕的面积，L表示目标形状的周长，0≤R≤1。当R=1时目标形状为圆，由此可以判断该矩形范围内包含着标签，如图9所示。
图9 基于圆形轮廓的判别
3.3 标签倾斜处理
在实验中发现，标签正面朝向摄像头时候，识别情况良好，但当标签发生倾斜时候标签的识别率较低。因此，文中通过对标签倾斜原因的分析，设计了标签倾斜补偿处理方案。首先，标签倾斜的产生主要是由于目标人转向或者站姿引起的左右倾斜和迈步时引起的上下倾斜。如图10所示。
而文中的圆形标签是绘于一张正方形的白纸上的，因此在初步识别出这张白纸时候，如果出现了标签倾斜现象，白纸会呈现出长方形。为初步处理后分割得到的标签图像，此时对标签进行短轴方向上的拉伸处理，使得短轴的长度与长轴相等时，此时标签图案恢复成为圆形，此时的圆与正面拍摄得到的圆的大小是相同的。标签左右倾斜后处理得到的图像,如图11所示。
图10 标签的倾斜情况
图11 标签倾斜的处理
3.4 图像处理结果分析
文中通过对一段两分钟视频进行处理分析(采集到300张图像)。发现两种方法均能够在规定时间内完成图像的处理，即都满足系统的实时性要求，但在处理的准确性方面差别较大。如表1所示。
表1 匹配结果
由表中可以看出，模版匹配和形状匹配方式在识别标签的准确率相差不大，形状匹配方式略优于模版匹配方式。这是由于模版匹配的准确度会受采集到图像的明暗程度，及标签形变的影响，而形状匹配只受到形状特征的影响。在形状的识别过程中，二即二次识别时候，标签若产生倾斜，圆的轮廓会变成椭圆，从而使得相似度降低。因此，在做了相应的补偿处理后，匹配准确度明显提升。
5 总结
本系统以S3C2440开发板为核心，通过图像采集模块的设计，以及嵌入式图像处理算法的设计，准确的识别出标签的位置，完成了对目标人的跟踪。该嵌入式图像采集处理系统具有较高的实用价值，可以作为移动机器人研究的一个实用平台。
[1] 苑晶, 刘钢墩, 孙沁璇. 激光与单目视觉融合的移动机器人运动目标跟踪[J]. 控制理论与应用，2016, 33(2): 196-204.
[2] 居青, 房芳, 马旭东. 基于RGB-D传感器的移动机器人目标跟踪系统设计与实现[J]. 工业控制计算机，2016, 29(4): 68-70.
[3] Tengyue Zou, Xiaoqi Tang. Bao Song Improved Camshift Tracking Algorithm Based on Silhouette Moving Detection[J]. Multimedia Information Networking and Security, Date, 2011(11):11-15.
[4] 王玲玲, 裴东, 王全州. 一种改进的Camshift视频目标跟踪算法[J]. 激光与红外，2015, 45(10): 11-16.
[5] 黄晓丽, 杨国为, 吴少龙. 一种改进的Camshift和Kalman相结合的运动目标跟踪算法[J]. 工业控制计算机，2016, 29(1): 80-81.
[6] 肖军, 朱世鹏, 黄杭, 等. 基于光流法的运动目标检测与跟踪算法[J]. 东北大学学报(自然科学版)，2016, 37(6):770-774.
[7] 胡觉晖,李一民,潘晓露. 改进的光流法用于车辆识别与跟踪[J]. 科学技术与工程，2010,10(23):5814-5817.
[8] 陈丽娟,周鑫. 基于ARM嵌入式图像处理平台的太阳跟踪系统[J].现代电子技术，2012, 35(4): 71-74.
[9] 陆旭,梁光明,陈韵迪. 一种基于ARM的嵌入式图像处理系统研究[J]. 数字技术与应用, 2016, (6):129-137.
[10] 李刘生. 基于嵌入式的全景视觉移动目标跟踪系统[D]. 天津, 天津理工大学，2012.
[11] 张宜君,史智兴. 嵌入式Linux下USB摄像头单帧图像采集系统的实现[J]. 河北农业大学学报, 2014, 37(2):111-114.
[12] 方华,郭静,田敬北. 基于OpenCV的嵌入式图像处理平台的构建[J].无线互联科技, 2015, (3):53-54.
[13] Joseph Coombs, Rahul Prabhu, Greg Peake. Overcoming the challenges of porting OpenCV to Tl's embedded ARM + DSP platforms[J]. International Journal of Electrical Engineering Education, 2012, 49(3): 260-274.
[14] Hel-Or Yacov, Hel-Or Hagit, David Eyal. Matching by Tone Mapping: Photometric Invariant Template Matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 317.
[15] 贾松敏, 白聪轩, 王丽佳, 等. 多特征分块匹配的移动机器人目标跟踪[J]. 电子设计工程，2016, 24(1): 23-30.
[16] 何莲,蔡敬菊,张启衡.多边形近似及形状特征匹配的二维目标检测[J]. 激光与红外, 2011, 41(6):700-705.
[17] 陈宁,王胜,黄正文.基于特征匹配的集装箱识别与定位技术研究[J]. 图学学报,2016, 37(4): 530-536.
Label Tracking System Design Based on ARM Embedded Image Collection and Processing Platform
Duan Jialei, Gao Zhibo
(College of Electrics and Information Xi'an Polytechnic University, Shaanxi, Xi'an 7106007)
In this paper, we design a Linux embedded image acquisition and processing system for mobile robots with mobile trolleys as the experimental platform. The system uses Samsung S3C2440 development board as the core processor and adopts OV9650 camera to collect images. In this paper, the design of the image acquisition module is introduced, and two kinds of label recognition methods-pattern matching and shape feature matching are also introduced. The two methods are compared and analyzed. At the same time, the incline phenomenon of the label appearing in the recognition process is compensated. The embedded image processing system can identify the tag more quickly and accurately, and provide a better experimental platform for the design of mobile robot.
Intelligent tracking; S3C2440; Embedded image processing; Label recognition
西安工程大学基金(61401347)，西安工程大学“大学生创新创业训练计划”项目(2016105)
段佳雷(1987-)，男，富平人，硕士，助理工程师，研究方向：基于嵌入式的信号与图像处理，机械故障诊断。 高智博(1995-)，男，西安人，本科，专业方向：电气工程及其自动化。
1007-757X(2017)07-0033-04
TP311
A
2017.03.04)
