张 琴

( 广东技术师范学院，广东 广州 510665 )

基于瞳孔定位技术的视觉跟踪系统的研究*

张 琴

( 广东技术师范学院，广东 广州 510665 )

设计了一款基于瞳孔定位技术的视觉跟踪系统。该系统通过安装在眼镜上的摄像头采集人眼球瞳孔运动图像，并利用硬件电路分离视频同步信号，然后将信息传送至S3C6410嵌入式处理器，处理器利用图像处理算法计算出人的瞳孔运动轨迹，从而得到人眼瞳孔的实时定位信息。该系统具有较为广泛的应用前景，可以通过人眼睛的转动来实现对各种智能化设备的控制，能够应用于残疾人智能护理、病床智能护理等实际领域。

瞳孔定位；视觉跟踪；图像处理；嵌入式系统

0 引言

视觉跟踪(Visual Tracking)技术是计算机视觉领域中的一个重要问题。所谓视觉跟踪，就是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获取运动目标的运动参数(如位置、速度、加速度等)以及运动轨迹，从而进行深入一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的任务[1]。由于视觉跟踪技术在很多领域有着广泛的应用前景，视觉跟踪技术已经成为人工智能领域一项热门的研究课题。

本文设计了一款基于瞳孔定位技术的视觉跟踪系统。系统基本结构如下：在一款普通树脂眼镜的右上角部位安装微型摄像头，用以采集眼球活动数据，并由数据线将图像传输至微处理器，再由微处理器对眼球图像数据进行算法计算，得出眼睛瞳孔的准确运动方向。微处理器模块由于机械尺寸较大，暂时无法固定在普通树脂眼镜之上，因此目前采用外置方式。

系统原理结构图如图1所示。

图1 瞳孔追踪系统原理框图

1 系统各功能模块

1.1 微型摄像头模块

摄像头是采集人眼球活动数据的基本设备，它的采集精度和准确性对系统的质量有着关键的影响。经过综合考虑，本系统选择了OV7960摄像头模块，该模块尺寸较小，最大尺寸只有9 mm，具有480TVL的水平清晰度，可以满足眼球瞳孔定位追踪的精度要求。

1.2 视频同步分离模块

为了能够对采集到的视频信号进行数字化处理，必须首先对采集到的彩色视频信号进行视频同步分离，以获取视频中的彩色图像数据，这就需要视频同步分离电路来完成。为了减少处理器的负荷，本文采用硬件方法对视频信号进行同步分离，电路采用专用的视频分离芯片LM1881N完成分离功能，其电路如图2所示。

图2 视频同步分离电路原理图

1.3 微处理器模块

本系统采用S3C6410嵌入式芯片作为微处理器。S3C6410 采用ARM1176JZF-S 的内核，主频可以达到533 MHz/667 MHz ，最大支持到8 bit 纠错， 实现了MMU、AMBA BUS 和Harvard 高速缓冲体系结构[2]。

2 瞳孔追踪原理及算法

系统通过跟踪人瞳孔实时运动轨迹来实现视觉跟踪的目的，需要较为复杂的图像处理算法完成瞳孔识别与追踪的工作。其中第一步是实现对视频图像信息的采集任务，这可以在S3C6410处理器上运行图像采集程序实现。

图3 图像处理算法流程图

在一般情况下，系统采集到的眼部图像存在着背景光线干扰、光线反射变化、眼部运动变化等多种复杂的环境影响，因此图像的质量并不高，难以获得精确的瞳孔运动数据。因此必须通过专业的图像处理算法才可以提取到清晰的眼部瞳孔图像， 系统采用的图像处理算法流程图如图3所示。

2.1 图像的灰度化处理

为加强图像目标区域的对比度，本文采用了一种有选择性的灰度化方法[3]，该方法将常规的R、G、B数值映射到新的坐标空间Rn、Gn、Bn。以Rn为例，其计算过程由式(1)、式(2)确定。

当Rs≥128时，Rn的数值由式(1)给出：

(1)

当Rs<128时，Rn的数值由式(2)给出：

(2)

按照以上方法得到的灰度图像可以产生比传统方法更好的灰度化效果，使瞳孔部分的灰度效果在背景图像中表现得更加突出。

2.2 图像的滤波处理

本系统选择了模糊矢量滤波算法。当采集到的图像存在一定的噪声干扰的情况下，滤波器难以区分目标图形的边缘与噪声图像之间的界线，使得目标图像识别率降低，而模糊滤波理论可以解决以上问题[4]。图像模糊滤波算法的核心是构造一个模糊加权均值滤波器，其计算过程由式(3)确定[5]：

(3)

(4)

而图像像素点的归一化权值wk数学形式由式(5)定义：

(5)

2.3 图像的阈值分割

运用图像阈值分割技术可以从已经滤波的图像中提取所需的跟踪目标信息，常用的图像阈值分割方法有最大类间方差法和最大熵法等[6]。本文选择最大熵法进行阈值分割。最大熵法的最佳阈值由式(6)确定[7]：

T*=argMax[Hf(t)+Hb(t)]

(6)

2.4 轨迹特征提取

系统采用选择最小二乘法来实现瞳孔运动轨迹的直线拟合。最小二乘法的原理非常简单，可以用式(7)来实时地描述每一条运动轨迹：

Y=kx+b

(7)

其中，k表示直线的斜率，b表示直线的截距。只要求解出k和b的数值，就可以得到图像的运动轨迹，而根据最小二乘法原理，k、b的值由式(8)、式(9)确定[8]：

(8)

(9)

按上述方法，可以把瞳孔的运动轨迹拟合成若干段直线的组合形式，既能够减小处理器的计算量，同时也不影响对瞳孔运动方向的判断，符合系统对运动轨迹判决精度的要求。

3 实验及性能分析

使用该系统，对人双眼的瞳孔运动轨迹进行了多次的跟踪实验与判断。实验过程如下：系统在进行视觉追踪时，由算法自动设定眼球正中位置为初始位置，当人的眼球转动时，瞳孔的相对位置及运动轨迹发生改变，通过跟踪瞳孔的运动轨迹，系统可以判断出瞳孔的相对位置，并给出判断后的二进制数值。瞳孔的位置真值表如图4所示。

图4 瞳孔运动方向真值表

对系统进行了多次实验及测试，得到的实测数据如表1、表2所示。

表1 左眼瞳孔运动轨迹实测表

表2 右眼瞳孔运动轨迹实测表

由表1、表2数据可知，系统对人眼瞳孔轨迹追踪的实时响应时间较快，左眼平均响应时间为23 ms，右眼平均响应时间为23.5 ms，数据接近，可以满足一般情况下对系统实时性的要求。在测试中发现，系统对于瞳孔水平方向运动轨迹的跟踪准确度较高，正确率达到93.13%，而对垂直方向的瞳孔运动追踪准确度稍低，正确率为86%。分析原因，这是因为人体的眼球图像近似于一个水平放置的椭圆，左右方向的轴距较长，上下方向的轴距较短，所以在进行轨迹追踪时，垂直方向的瞳孔运动轨迹距离较短，采集到的像素点较少，因此系统容易造成误判；而水平方向的运动轨迹较长，采样到的数据点较多，系统拟合出的直线轨迹较为精确，因此判决正确率较高。

4 结论

在一般应用条件下，本文所提出的系统已经可以满足视觉跟踪技术对于实时性和准确度的要求，但在更高要求的场合应用时，系统的性能还需要进一步提高，这可以通过采用更高性能的硬件处理器以及设计更高效的软件算法来实现，这些工作可以在下一步的研究中继续优化与改进。

[1] BABU R V, PEREZ P， BOUTHEMY P. Robust tracking with motion estimation and local kernel-based color modeling[J]. Image and Vision Computing, 2007(25):1205-1216.

[2] 徐媛媛,匡斐,钟璐远，等.基于ARM11平台和GPRS远程无线图像报警系统的研究[J].微型机与应用,2015,34(2):38-40.

[3] 周金和，彭福堂.一种有选择的图像灰度化方法[J].计算机工程，2006,32(10):198-200.

[4] SHEN Y， BARNER K E. Fast adaptive optimization of weighted vector median filters[J].IEEE Transactions on Signal Processing, 2006, 54(7): 2497-2510.

[5] LUKAC R, PLATANIOTIS K N, VENETSANOPOULOS A N, et al. A statistically-switched adaptive vector median filter[J]. Journal of Intelligent and Robotic Systems: Theory and Applications,2005, 42(4): 361-391.

[6] Qi Zhengwei, You Jinyuan. Formalization of P systems by Maude [J] . Journal of Shanghai Jiaotong University (Science), 2005, 10(3):260-264.

[7] MORILLAS S, GREGORI V, PERIS-FAJARNES G, et al. A fast impulsive noise color image filter using fuzzy metrics[J]. Real-Time Imaging, 2005, 11(5-6): 417-428.

[8] GHEORGHE P. P systems with active membranes: attacking NP complete problems[J] . Journal of Automata Languages and Combinatorics, 2001(6): 75-90.

Research on the visual tracking system based on pupil positioning technology

Zhang Qin

(Guangdong Polytechnic Normal University, Guangzhou 510665, China)

A design of the visual tracking system based on pupil positioning technology is presented in this paper. The human pupil moving images can be collected through the cameras fixed on the glasses, then the video signals can be separated by the dedicated circuit. Afterwards， the video information will be transferred to the embedded processor S3C6410，which can calculate the trajectory of the human pupil through the image processing algorithms. This visual tracking system can be used to control kinds of intelligent devices depending on the eye movements analysis, and it can also be used in many practical fields, such as the disabled care ,the patient care, and so on.

pupil position; visual tracking; image processing; embedded system

广东省自然科学基金(S2012010008437)

TP391

A

1674-7720(2016)04-0054-03

张琴．基于瞳孔定位技术的视觉跟踪系统的研究[J] .微型机与应用，2016，35(4)：54-56.

2015-09-25)

张琴(1976-)，通信作者，女，硕士，工程师，主要研究方向：计算机与通信工程。E-mail：573749120@qq.com。