赵恒炜

(西安建筑科技大学信息与控制工程学院，陕西西安 710055)

基于区域灰度特征比较和人眼睑曲率的状态识别

赵恒炜

(西安建筑科技大学信息与控制工程学院，陕西西安 710055)

针对眼睛状态检测在实际疲劳监控系统应用中的缺陷，提出了一种基于区域灰度特征比较和眼睑曲率的人眼状态识别算法。在确定眼睛区域的前提下，提取眼睛区域的灰度特征和眼睑曲率特征，确定眼睛状态。通过对不同背景、光照变化、眼睛倾斜和旋转，以及戴眼镜等多种复杂环境下进行眼睛状态检测，实验结果表明，文中算法具有处理速度快、鲁棒性高等特点。

区域灰度特征比较法;眼睑曲率法;算法融合

据不完全统计，全世界每年死于交通事故的人数约为60万，仅车祸受伤的人数，平均每年约有1 000万人［1］。英国交通研究实验室(Transport Research Laboratory)认为:疲劳驾驶导致的交通事故占全部交通事故的10%。有资料表明，高速公路上发生的交通事故中有50%以上，是由于长时间疲劳驾驶或所见目标单调而造成注意力不集中、打瞌睡等原因所造成。

随着计算机图像处理技术的发展，利用图像处理技术检测驾驶员的疲劳状态已经成为可能。首先利用摄像机实时检测驾驶员的眼睛位置，其次根据图像处理方法检测驾驶员的眼睛状态并判断是否疲劳驾驶，因此眼睛状态的识别具有重要意义［2］。

目前，研究人员在进行眼睛状态识别这一领域中做了大量研究，提出了多种方法，其中主要方法有边缘复杂度法、灰度投影法［3］、模板匹配法［4］、眼睛面积法、Hough变换找珠法、眼睑曲率法［5］、SVM 训练法等。以上方法各具特点，但在识别率、鲁棒性、实时性等方面难以全面兼顾，总会存在某种缺陷。本文首先在传统的灰度投影法思想的基础上，提出了一种基于区域灰度特征的识别方法，其具有速度快、识别率高等特点。为进一步提高算法性能，把传统的眼睑曲率法和区域灰度特征法进行融合，通过把两种方法分别在边缘特征和区域灰度特征方面的优势相结合，实现更高的识别率和更强的鲁棒性。

1 眼睛状态识别

1.1 区域灰度特征比较法

通过对眼睛的观察发现，瞳孔和眼角区域在睁眼和闭眼时有明显变化，于是可以通过对这种变化的量化分析实现眼睛状态的识别。

(1)如图1所示选择眼睛瞳孔和眼角所在的两个矩形区域作为比较目标。瞳孔区域尽可能取作者简介:瞳孔的内侧矩阵区域使其与瞳孔近似，眼角区域尽可能选择眼角眼白的混合区，以突出其灰度变化复杂的特点。

(2)对眼睛区域进行灰度化，同时计算步骤1中标注区域的灰度均值和方差，如式(1)，式(2)所示，眼睛瞳孔区域灰度均值和方差分别记为V1、σ1，眼角区域灰度均值和方差分别记为V2、σ2。

式中，I(x，y)表示点(x，y)处的像素灰度值，m、n 分别表示矩形区域的宽和高。

(3)分别比较 V1、V2和 σ1、σ2，当睁眼时，由于眼睛的瞳孔和眼白出现，瞳孔区域灰度值很低，而眼角区域灰度值很高，因此V1≪V2。同时瞳孔区域以较低的灰度像素均匀分布，眼角区域灰度分布复杂，因此σ1≪σ2;当闭眼时瞳孔和眼白消失，这两个区域的灰度分布接近，因此V1≈V2且σ1≈σ2。利用此方法，通过设置合适的阈值可以准确判断眼睛的开闭状态。

图1 眼睛特征区域选取

区域灰度特征比较法计算量小、速度快，同时保留了基于知识建模方法的人眼状态连续、参数可调性，抛弃了需要精确几何模型的缺点，利用区域灰度均值和方差，具有较强的鲁棒性。但当背景或光线阴暗图片造成噪声时，如果噪声严重，可能影响二值化后的图像进而造成判断错误，因此提出和眼睑曲率法相结合的思想对算法作进一步改进。

1.2 眼睑曲率法

1.2.1 上眼睑的提取

(1)边缘提取。边缘对应于图像中灰度剧烈变化的地方，是图像的重要特征之一，描述边缘特征包括灰度的变化率和方向。边缘提取在机器视觉和图像处理中较为重要，边缘检测算子依据边缘上的灰度的一阶导数最大值和二阶导数过零点提取边缘点，如Sobel算子、Canny算子、Prewitt算子、Robert算子、Laplacian算子等。Canny算子具有较强抑制噪声的能力，其原理如下:因为图像中的边缘可能指向不同的方向，所以Canny算子使用4个mask检测水平、垂直以及对角线方向的边缘。原始图像和每个mask做卷积运算，并且标识每个点在这个点上的最大值以及生成的边缘的方向，这样从原始图像生成得到图像中每个点亮度梯度图以及亮度梯度的方向。由于较高的亮度梯度有可能是边缘，但是无确切的值来限定多大的亮度梯度是边缘，所以Canny使用滞后阈值。使用Canny算子提取边缘时能够得到较好的效果，具有较强的抗噪性。图2(b)为边缘检测结果图，眼睛的大部分边缘均被提取出。因此可见经过Canny算子运算后的图像，边界从整幅图像中突显出来。

(2)上眼睑轮廓的提取［5］。眼睛边缘图中包含所需的边缘信息。观察图2(b)可知，上眼睑基本位于边缘图上部，因此扫描图像取出每列的最上面的点，即得到上眼睑曲线，如图2(c)。由于噪声干扰，会存在一些孤立点对提取上眼睑曲线造成影响，必须消除噪声点干扰，采用三次曲线拟合方法对上眼睑曲线拟合，结果如图2(d)所示。

图2 上眼睑轮廓检测

(3)眼睑曲率的计算。由于利用上眼睑的整体特性，因此计算的是眼睑的平均曲率。平均曲率的计算公式为

其中，Δφ表示曲线段切线变化的角度;Δs为弧长。

如果直接利用该公式容易受噪声点干扰，鲁棒性较低，而且由于计算量大造成速度慢，因此需寻找更为简单的方法。文献［6］提出对每一眼睑分段，利用以下近似公式求每段的曲率，最后求其中值作为眼睑的平均曲率

其中，BD、AC为图3圆弧中的弦长，并且 A，B，C沿圆弧等间隔选取。

图3 近似圆弧

该方法在不影响计算精度的基础上，因为减少了计算量，所以整个系统的计算速度明显提高。但在计算过程中，发现该方法计算出的眼睑曲率为零的情况较多，其主要由于每一眼睑分段较短，几乎变成直线。为此，文中对该方法进行改进，不用分段求曲率，而是将眼睑曲线作为整体进行简化计算，具体如下:

(1)选择眼睑曲线的两边端点分别为A、C，则其纵坐标差值为AC。

(2)依次扫描眼睑上各点，比较各点的横坐标，横坐标靠上的点为眼睑的中点，即B点，计算B点到AC的距离得到BD。

(3)根据公式(4)计算曲率。

1.2.2 眼睛状态识别

睁眼和闭眼时眼睑曲线曲率不同而且弯曲方向也会不同，这是判断眼睛睁闭的重要特征。根据图3可知，当睁眼时B在AC上方，闭眼时B在AC的下方。因此定义当B在AC的上方时曲率为正，反之曲率为负。由于睁眼、半睁眼或眯眼时上眼睑曲率为正，实际眼睛状态识别过程中，当上眼睑曲率大于阈值时则判断为开眼，否则认为闭眼。

2 实验结果与分析

实验环境选用CPU E5300 2.9 GHz，2 GB的内存。操作系统为 Microsoft Windows XP SP3，仿真平台为Matalab 7.8。

2.1 区域灰度特征比较法

选取不同光照下的眼睛图片，通过对灰度特征比较法计算特征值，部分结果列于表1和表2。从所得数据可知，区域灰度均值和方差在开眼和闭眼状态下具有明显变化，同时由于图像的灰度值受光线影响较大，因此采用开眼和闭眼时的灰度均值比、灰度方差比作为眼睛状态判决的阈值，具有较好的适应性。

2.2 眼睑曲率法

同样对不同光照下的眼睛图片计算眼睑曲率，通过眼睑曲率法提取上眼睑和计算眼睑曲率，将部分结果列于表3。从所得数据中可知，眼睑曲率伴随眼睛睁闭状态而发生变化，因此可作为眼睛状态识别的特征之一。

表1 睁闭眼睛灰度均值对比表

表2 睁闭眼睛灰度方差对比表

表3 睁闭眼睛曲率表

3 结束语

疲劳驾驶是车祸事故的主要原因之一，因此对驾驶员的疲劳状态进行监测，减少由于疲劳驾驶而引发的事故，具有重要现实意义。人眼状态识别是构建驾驶疲劳检测系统的关键步骤之一。文中首先提出了一种基于比较区域灰度特征的眼睛状态识别方法，具有速度快、识别率高等优点。当光线较暗或噪声剧烈时，通过融合眼睑曲率法做进一步综合判断，使两种方法优势互补，这样既缩短了计算时间，而且提高了人眼状态识别的精确度和鲁棒性。

［1］DAWSON D，LAMOND N，DONKIN K，et al.Quantitative similarity between the cognitive psychomotor performance decrement associated with sustained wakefulness and alcohol intoxication［C］.In Hartley，L，R(Ed.)ManagingFatigue in Transportation Proceedings of the Third International Conference on Fatigue and Transportation，Fremantle，Western Australia.Oxford UK.Elsevier Science Ltd，1998.

［2］王荣本，郭克友，储江伟.一种基于Gabor小波的驾驶员眼部状态识别方法的研究［J］.中国图象图形学报，2003，8(9):1043 －1047.

［3］左坤隆，刘文耀，朱 昊.基于差分投影和梯度向量流场的眼睛特征提取［J］.计算机工程，2005，31(4):26－28.

［4］陈艳琴.关于司机疲劳监测的人眼检测与跟踪研究［D］.长沙:中南大学，2004.

［5］江水郎.基于视觉的驾驶员疲劳检测研究［D］.上海:上海交通大学，2008.

［6］周玉彬.基于视频方法检测驾驶员疲劳/瞌睡程度的技术研究［D］.西安:第四军医大学，2003.

Eye State Detection Based on Comparison of Eye Gray Area Feature and Eyelid Curvature

ZHAO Hengwei
(School of Information and Control Engineering，Xi'an University of Architecture and Technology，Xi'an 710055，China)

In order to improve the defects of current eye state detection when used for fatigue monitoring，this paper proposes a new vision sensor-based comparison of eye gray area and eyelid curvature.Under the premise that the eyes area is found，the eye state is determined by extracting the features of the gray area and eyelid curvature characteristic features.Eye state detection in such complex environments as different backgrounds，changing illuminations，eye tilting and rotation，and wearing glasses shows that the algorithm has faster processing speed and robustness.

comparison of eye gray area;eyelid curvature;merge

TP391.41

A

1007－7820(2012)06－017－03

2012-01-05

赵恒炜(1978－)，男，硕士研究生。研究方向:图像处理。