孙昕 杨昌其 陈连亮

摘  要： 为了更好地识别空中交通管制员疲劳状态下的面部特征，针对由于局部二值化模式（LBP）算法识别率低和易受外部环境变化等影响，深入研究了LBP算子、直方图特征提取对传统LBP算法改进。并结合了LIOP编码方法，进一步提出了增强局部量化模式（ELQP）算法。结果表明，改进后的LBP算法在管制员疲劳面部识别中具有更高的识别率和较强的鲁棒性。

关键词： 管制员疲劳; LBP算法; 特征提取; 人脸识别

中图分类号：V328.1          文献标识码：A     文章编号：1006-8228（2021）08-67-04

Application of improved LBP algorithm in identifying controller fatigue

Sun Xin， Yang Changqi， Chen Lianliang

（Institute of Air Traffic Control，Civil Aviation Flight University of China， Guanghan， Sichuan 610000， China）

Abstract： In order to better identify the facial feature of air traffic controllers（ATC） in fatigue state， aiming at the low recognition rate and easy to be influenced by external environment changes of local binary pattern （LBP） algorithm， the improvements to traditional LBP algorithm caused by the LBP Operator and histogram feature extraction are deeply studied. Combining with the LIOP coding method， an enhanced local quantization pattern （ELQP） algorithm is proposed. The experiment results show that the improved LBP algorithm has higher recognition rate and stronger robustness in identifying ATC fatigue face.

Key words： controller fatigue; LBP algorithm; feature extraction; face recognition

0 引言

空中交通管制员[1]（管制员）职责是维护空中交通安全，避免航空器之间相撞，保障运行畅通。因此，管制员需要长时间的记忆力高度集中来感知、分析、处理大量空中交通管理信息，容易导致管制员注意力不集中、反应时间延长、警觉性降低、嗜睡等不良的工作状况，这些情况会威胁空中安全。根据FAA航空局调查显示，大约有14%工作差错跟管制员疲劳挂钩 [2]。因此对管制员疲劳状态识别与监测成为了当下民航安全研究的热点问题之一。

本文目的是利用人脸特性检测对疲惫状况进行判定，使用计算机深度学习技术代替传统机器学习来对人脸状态进行检测。因此，对管制员疲劳状态研究核心内容是对面部特征识别算法研究。当下，人脸特征检测算法中，主要涵盖了以下几种[3]：第一种是利用欧拉距离公式表示人脸几何关系，例如Willer提出的的欧拉距离面部识别算法;第二种是对眼睛轮廓、嘴巴状态进行模板识别，哈佛大学Kettlewell提出对人眼闭合比（PERCLOS）的研究。然而，因为管制员工种与其他工作有所不同，管制员的主要工作环境是长时间在一个密閉的环境中，且光线强弱变化，对视频图像识别加大了难度。目前，解决问题的第一步是提出新算法或在原有的算法基础上改进，从而做到有效地识别管制员疲劳时面部特征状态。

早期提出的人脸疲劳状态研究是利用状态分析法对人脸特征提取[4]，提出了特征脸方法，由于人脸关键点特征单位维度很高，导致识别力度弱，需要进行降维处理，因此，又有研究提出了线性回归与特征相结合的方法，先应用主成分分析对人脸关键点向量进行降维处理，然后使用线性回归识别方法来减小关键点之间差异，增大单一指标不同性。但线性回归方法进行面部状态识别，对表情变化、光照强度、是否佩戴眼镜等情况的识别不稳定，不利于实际应用。于是，本文提出了一种基于改进的局部二值模式（Local Binary Pattern，LBP）算法在管制员疲劳状态识算法，逐渐成为该领域研究的主要热点之一。

1 局部二值化模式算法改进

1.1 局部二值化理论

LBP算法[5]是一种利用管制员面部关键点特征状态来进行疲劳识别算法。LBP算法工作原理：利用灰度值比较局部细节特征的方法。LBP对于边界框、特征点，以及由于光线变化导致图像明暗不一等情况具有良好的识别能力。对于任意的管制员视频图像来说，LBP通过比较图像中心像素点和相邻像素点的值对图像进行重编码，定义公式如下：

LBP（S）=∑_（i=0）^（n-1）〖φ（v_i-v_c ） 2^i，φ（X） 〗=1（x≥1）或0（x≤0） ⑴

其中，φ（x）是阈值激活函数，当x的值大于或等于0时为1，否则为0;n是相邻像素点数，i是第i个邻域点，c是中心像素点。

上面公式涉及LBP算法计算简单，且存在缺陷，主要表现为：随着相邻点数n数目的增多，二值化数值会成指数式增加;再者，二值化编码虽有一定的灰度和旋转不变性，但就管制员工作环境来说，对姿态变化和光照敏感方面不具有鲁棒性。

1.2 局部二值化算法的改进

为了改善以上述局部二值化算法存在的缺陷，提高在复杂环境下管制员疲劳状态识别检测，主要通过以下三种方法进行改进。

⑴ 图像滤波上的改进

为了消除管制员在不同工作岗位，光照条件太或太强的情况下，需要对图片预处理。具体方法是对收集到的管制员视频图像先使用滤波器进行预处理，得到图像f（P），然后对二值化重新编码，用来对视频图像进行细微部分处理。

⑵ 采样上的改进

由于局部二值化只利用了相邻点数与中心像素点之间的相互关系，没有涉及两两之间的大小关系，因此，如何使用邻域之间大小关系对图片进行重新编码，是重点解决的问题。相邻点大小关系可以按照局部算法模式排序，将对算法采样上不足进行改进。

⑶ 模式编码上的改进

为了增强判别管制员疲劳时面部识别能力不得不使用较大的邻域点数，然而LBP编码模数与邻域之间存在指数关系。针对如何降低主模数这个问题，HUSSAIN SU提出了LQP，即通过K均值距离建立样本，并将二进制序列分成K个子类来编码主模数。

1.3 面部特征提取

改进LBP算法后，需要进一步对面部直方图特征提取，如图⑴所示。

⑴ 直方图特征度量

使用图像分割的方法，将局部二值化提取的特征关键点，通过图像分割得到空间特征点对管制员面部表情、姿态等不具备检测性。为了更好的对特征图进行疲劳识别，需要具体的衡量标准。对于所获得图片特征图来说，传统的欧式距离几何法不再适用特征图计算，应利用特征图相交距离[6]来表示面部疲劳状况，本文给出直方图相交距离的表达式：

S（H_1，H_2）=∑_（i=0〖min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑵

⑵ 直方图权重分配方法

管制员在疲劳的时候，面部关键点表现出的特征具有很大差异性，导致不同的特征图描述对应判别方式也不同，因此需要对特征图进行权重度量，由于面部是一个整体结构，且每个特征图是由特征区块连接起来，为了能够体现不同区块在特征识别的重要性，需要分配权重。然而目前对该权重的配置没有具体的实施要求。通常，靠人工经验的方法取权重值显得过于随意，为了提高本文对不同特征图的判别能力，根据公式⑵得出特征图相交公式⑶：

S（H_1，H_2）=∑_（i=0）?〖w（i）min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑶

其中：w（i）表示第i块直方图对应的权重值。

⑶ 直方图特征降维

当提取管制员面部疲劳特征直方图时，直方图的维数不宜过高，只要人脸特征显著即可，因此有必要对直方图进行降维处理。本文利用主成分分析特征降维方法[7]，该算法步骤为：①计算PCA构成矩阵S;②计算S特征值和特向量;③按特征值大小進行特征向量排列;④选择其中较大特征向量，并将其作投影向量，构成投影矩阵W。

本文根据西南空管局一线管制员测试结果如图2。

图2是由管制员原始图像得到直方图特征提取的人脸图像，可以看出，经过PCA降维处理后的人脸特征图像更能直观的看出人眼闭合状态，以及嘴部哈欠状态，人脸的局部细节仍然保留，最后通过降维后局部特征矩阵转化为样本并用最小向量机来以此分类管制员是否处于疲劳状态。

2 增强局部量化（ELQP）管制员疲劳人脸识别算法

2.1 概述

由于上述提到LBP邻域编码能力弱，会影响人脸疲劳识别结果，所以本文在改进LBP算法的基础上深入研究，提出了增强局部量化模式（ELQP）的管制员面部疲劳识别算法。LIOP[8]主要作用是通过邻域关系来代替邻域编码，对面部疲劳状态具有更强的判别能力。而LQP是通过自查方式对特征点向量编码，它不会增加计算冗长度且能够进行最大化采样编码。本文结合LIOP和LQP的优点，提出增强量化模式（ELQP）算法进行管制员疲劳时人脸识别。

2.2 LIOP主模数指数级增加的解决

由于LIOP的数量会呈现指数级增加，而本文提出的增强局部量化模式可以在一定程度上解决这一问题。局部二值化方式通过预先建立的疲劳状态特征对特征向量进行分类编写，其过程分为初始阶段和编码两个阶段，初始阶段利用K均值聚类算法得到图像邻域特征向量。编码阶段通过计算机自查的方式将特征向量编码，从而获得LQP编码图。

2.3 LIOP和LQP融合特征提取

本文选用的增强局部量化模式方法将两者特征融合。关键在于本文选用ELQP[9]的16个邻域点计算离线码本，本文将收集到的一线管制员图像分成6*6的子集块，降低计算机运算量，邻域点的如图3所示。

2.4 图像降维方法

提取管制员疲劳时候面部特征向量，与正常状态下图像直接做相识度比较。由于考虑到管制员面部疲劳特征识别过程的是一个深层次运算过程，对特征图使用直方图相交度量进行识别。管制员疲劳前后面部特征直方图的特征向量存在差异性，并计算直方图相交距离。同时利用Fisher法[10]进行特征向量权重分配，对于降维处理本文使用WPCA降维[11]。

3 实验分析

本文通过实验比较各种通过面部疲劳特征识别算法。

3.1 识别率比较

使用直方图相交度量结果如表1所示。

3.2 运算时间比较

在表1中可看出，本文提取的增强局部量化模式特征提取方法在面部遮挡，表情变化，坏境等因素的影响下优于与之对比的PCA、LBP、Fisherface算法;从表2中可看出ELQP算法在高维度下提取面部特征时间较少，且效率高，这说明了本文的算法具有很强的实用性。

4 结论

实时的检测管制员疲劳时面部关键点变化，是一个值得深入研究的方向。近年来由于航空安全得到民航局高度关注，管制员疲劳也引起了管制单位的注意，在借鉴识别面部疲劳特征检测基础上防止管制员疲劳方面也取得了重大研究突破。本文通过分析局部二值化模式（LBP）在管制员面部疲劳识别中存在的不足，在图像滤波、模板采样、模板编码三个方面对局部二值化进行优化，并对LBP编码时邻域特征向量关系进行深入研究，结合LIOP和LQP算法，提出增强局部量化模式（ELQP）算法，并通過实验验证本文改进后的算法与其他检测方法相比，在时间和精度上具有一定的优越性，并且根据增强后的局部量化算法能够检测出管制员当前实时状态（图2）。

参考文献（References）：

[1] Aviation-Aviation Safety; Study Results from Peter Kearney et al Provide New Insights into Aviation Safety （The Analysis of Occurrences Associated with Air Traffic Volume and Air Traffic Controllers' Alertness for Fatigue Risk Management）[J]. Defense & Aerospace Week，2020.

[2] 孙瑞山，李康，李敬强.空中交通管制员疲劳状态及影响因素分析[J].安全与环境学报，2018.18（6）：2241-2246

[3] 安高云.复杂条件人脸识别中若干关键问题的研究[D].北京交通大学，2009.

[4] 宋昱，孙文赟，陈昌盛.对数变换主成分分析的图像识别[J/OL].西安交通大学学报：1-12[2020-12-21].http：//kns.cnki.net/kcms/detail/61.1069.t.20200914.1947.009.html.

[5] 任飞凯，邱晓晖.基于LBP和数据扩充的CNN人脸识别研究[J].计算机技术与发展，2020.30（3）：62-66

[6] 王建文，林劼.基于颜色直方图金字塔的图像自动标注方法[J].计算机工程，2016.42（6）：235-240

[7] 史蕴豪，许华，郑万泽，刘英辉.基于集成学习与特征降维的小样本调制识别方法[J/OL].系统工程与电子技术：1-13[2020-12-21].http：//kns.cnki.net/kcms/detail/11.2422.TN.20201014.1326.028.html.

[8] 颜普，苏亮亮，邵慧，吴东升.基于多支持区域局部亮度序的图像伪造检测[J].计算机应用，2019.39（9）：2707-2711

[9] 李茅.基于特征学习的人脸识别算法研究[D].湖南师范大学，2016.

[10] 张秀峰.基于Fisher脸的人脸识别技术研究[D].安徽理工大学，2018.

[11] 万里红.图像表示的多级特征提取研究与应用[D].上海交通大学，2017.

收稿日期：2021-03-09

基金项目：民航局安全能力项目“空管安全人员资质能力提升研究”

作者简介：孙昕（1994-），男，江苏淮安人，硕士研究生，主要研究方向：空管安全，管制员疲劳。

通讯作者：杨昌其（1974-），男，四川成都人，硕士，教授，主要研究方向：空管安全。