安海平 马行 穆春阳 尹诚

摘  要： 文中设计一种远程智能视频监控系统，通过加入人脸识别技术，对视频中感兴趣的人脸进行提取并识别。考虑到使用便利性以及成本节约，系统采用嵌入式微处理器平台，并使用Linux作为操作系统。在底层利用V4L2来驱动摄像头输入，利用TCP/IP网络通信协议进行传输。系统采用的是B/S架构，通过浏览器的形式可以查看实时视频监控画面。为了改进普通视频监控的局限性，加入人脸识别技术使其可以自主地筛选出视频中出现人员的信息。采用Adaboost算法检测出人脸，然后通过训练人脸模型库，利用LBP算法对检测出的人脸进行识别。传统的被动视频监控系统存在视频数据利用率不高、资源浪费、增加人工成本等问题。与之相比，基于人脸识别的视频监控系统能够主动地识别视频中人员信息，保存识别的人脸数据，用户可以方便查看视频中出现的人员信息，有着较好的实用性。

关键词： 人脸识别; 智能监控系统; 视频监控; V4L2; B/S架构; Adaboost算法

中图分类号： TN948.64?34                    文献标识码： A                        文章编号： 1004?373X（2019）12?0176?04

Abstract： A remote intelligent video monitoring system is designed in this paper to extract and recognize the interested human faces in the video by adding the human face recognition technology. Taking the usage convenience and cost savings into account， the embedded microprocessor platform and operating system Linux are adopted for the system. In the bottom layer， the V4L2 is used to drive the camera input， and the TCP/IP network communication protocol is used for transmission. The B/S architecture is adopted for the system. The real?time video monitoring screen can be viewed in the form of browser. The human face recognition technology is added to make it possible to autonomously filter the personnel information appearing in the video， so as to improve the limitations of ordinary video monitoring. The human faces are detected by using the Adaboost algorithm， and then recognized by training the human face model library and using the LBP algorithm. In comparison with the traditional passive video monitoring system which has the problems of low utilization rate of video data， waste of resources， and increase of labor costs， the video monitoring system based on human face recognition can actively recognize the personnel information in the video， save the recognized human face data， and make users conveniently view the personnel information appearing in the video， which has a good practicality.

Keywords： human face recognition; intelligent monitoring system; video monitoring; V4L2; B/S architecture; Adaboost algorithm

近年來，随着视频监控在越来越多的场合被使用，视频监控市场也呈现了爆发式的增长。随着社会的发展，人们安全意识的提高，视频监控带了极大的便利性，越来越受到广泛的关注，它可以应用在公共场所、民宅、军用、农业大棚监控等各个领域。随着现代技术的提高，传统的视频监控已经不能满足人们的需求。传统视频监控技术单一，导致大量资源浪费。美国圣地亚哥国家实验室针对视频监控做了一项研究，人们在查看视频画面22 min后时，正常肉眼对视频里95%以上的信息基本都是忽略的[1] 。

当出现事故需要查看视频时，人们关注的都是关键信息，这会浪费非常多的人力、时间。智能视频监控技术出现后，就很好地解决了这一问题。利用计算机视觉技术对视频中关键信息进行处理，并利用相关算法进行目标检测、目标跟踪、目标识别、行为分析[2?4]。人脸识别技术能有效地对比人员信息实现高效的智能人员分析过滤[5] 。人脸检测Adaboost算法相当于人脸识别的预处理，即将人脸特征区域提取出来[6] ，人脸识别算法有利于PCA对人脸区域降维处理，再用LBP二值模式提取人脸样本特征值，最后使用支持向量机SVM训练出人脸数据库[7] 。文献[8]利用融合LSH和LOG特征改进光照变化对人脸识别的影响。

本系统结合嵌入式技术、人脸识别技术、网络通信技术，设计一个远程智能监控系统。相比于传统的布线视频监控，本文采用TCP/IP网络通信协议，应用B/S模式实现了远程视频监控，在保证实时性的情况下，加入了人脸识别算法对人员进行筛选，系统可以识别出陌生的人脸，并且拍照保存下来，用户可以随时查看非法人员。

1  系统方案设计

本文基于嵌入式微处理器平台，设计一个使用便利、经济实用、性能稳定的远程智能视频监控系统。系统可以远程实时查看监控视频信息，并且能够自动对人脸进行识别筛选。其主要有以下几种功能：

1） 采用B/S模式，用户可以通过上网的形式，实时查看摄像头的监控视频信息。一般传统的视频监控都是通过布线方式实现的，布线方式成本较高，在一些特殊领域也无法实现，采用局域网形式，安装方便、成本较低，对用户来说使用更加方便。

2） 在视频监控中加入人脸识别技术，达到智能化的视频监控体系。传统视频监控存储大、筛选重要信息困难，造成大量资源浪费。本系统中，可以对监控视频中的人员进行筛选，如果识别到的是陌生人，则拍照保存下来，用户可以方便查看陌生闯入人员。

3） 系统采用嵌入式微处理器平臺。嵌入式系统成本低廉、性能稳定，方便在各种场合安装使用，它有着丰富的外围接口，可以根据需求拓展更多的功能。

系统总体方案结构如图1所示，首先是底层加载驱动使摄像头采集视频数据，数据经过处理后通过TCP/IP网络协议传输到服务器，用户通过输入IP地址和端口号方式进行查看实时视频信号。同时加入了人脸识别算法，先使用Adaboost算法对监控区域内进行人脸检测，对出现人脸的帧画面进行标定，再使用LBP算法对人脸进行识别，通过建立人脸库，如果识别到的是库的人脸，则不做任何处理，如果识别到的是非库里的人脸，则认定为非法闯入人员，保存闯入人员的信息，用户可以点击按钮事件来查看闯入人员信息。

图1  系统总体流程图

2  远程视频监控设计

系统使用的是Cortex?A8架构的ARM处理器，移植基于Linux 2.6内核的系统到ARM开发板，设置系统环境，使得开发板功能可以作为一个小型PC机使用。由于涉及到对人脸特征的识别，因此需要移植Opencv函数库至系统环境。它占用系统的内存比较大，所以在移植之前需要用fdisk命令将外接TF卡扩展为系统的使用内存，系统使用的是Opencv 2.4.9版本。

使用V4L2驱动USB摄像头实现视频数据采集。在V4L2中，视频设备被看作一个文件，使用阻塞或非阻塞模式打开摄像头[9]。如果使用非阻塞模式调用视频设备，则即使未捕获到信息，驱动依旧会把缓存（DQBUFF）里的东西返回给应用。打开视频设备后，可以对该视频设备的默认参数进行修改，得到想要的输出结果。

利用Socket套接字实现服务器与客户之间的远程通信。Socket源于Unix，是一种特殊的文件，是应用层与TCP/IP协议通信的中间软件抽象层[10] 。其通信原理类似于打电话的原理，通过一系列相关的作用函数来实现地址绑定、监听、建立连接。服务器端在没有连接请求之前会一直处于阻塞状态，从而能够节省资源。在网络协议上选用TCP作为通信协议，它相对于UDP协议有着比较好的数据发送安全性，不会丢失相应的视频数据。为了满足多个用户进行查看信息，系统采用多线程技术，每新增一个用户请求就会创建一个线程，可以同时进行多用户查看数据。

3  人脸识别设计

人脸识别算法目前主要有PCA算法、卷积神经网络算法、LBP算法等方法。由于系统使用的是嵌入式微处理器平台，考虑到人脸识别的实时性、识别率、稳定性等因素，最终选用LBP算法，它的算法时间复杂度较低，识别率较高，有着较好的鲁棒性。

在进行人脸识别之前首先需要检测出人脸，因此选择使用了Adaboost算法检测出人脸。Adaboost也称为自适应增强器，由若干个分类器迭代而来，它的自适应在于前一个基本分类器被错误分类的样本的权值会增大，而正确分类的样本的权值会减少，并再次用来训练下一个基本分类器，直到达到预期可以接受的错误率之下才停止，并得到最终的强分类器。在检测时，用Haar?Like特征来进行特征匹配，每一幅图像基本有几十万个以上的Haar?Like特征，因此采用积分图来进行加速特征匹配，从而提高人脸检测的效率。

在人脸识别上，系统采用的是LBP算法。LBP即局部二值模式，它拥有较好的旋转不变性和灰度不变性。通过提取人脸局部的纹理特征来识别人脸，使用阈值分割法对人脸进行均等分块，使用LBP算法计算出每个小分块的LBP值得到人脸对应的直方图。如图2所示为LBP方法对人脸特征提取过程。

图2  人脸特征提取示意图

通过图2过程可以得到人脸的LBP纹理特征。得到人脸特征后，则需要对人脸进行匹配，可以使用最近邻方法来对特征进行分类。这里使用的是chi平方统计数学公式如下：

4  实时性优化

由于本系统使用的是嵌入式微处理器平台，其运算处理速度相对要弱于PC机。人脸识别算法的运算时间复杂度比较高，如果不加以优化，在测试中识别人脸的延时将会达到400 ms，这个延时是比较大的。

系统中分别从软硬件上对程序运行速度进行了优化。在硬件上，由于使用的是嵌入式平台，可以直接为程序分配一个专用内存，嵌入式板直接为本系统所使用的话，可以为程序分配大量资源以提高运行效率。通过测试后，人脸识别的延时减少到180 ms左右。在软件上，由于人脸识别是通过遍历一幅图像的每一个像素点进行特征匹配，因此图像的输入大小严重影响了人脸识别效率，系统在图像输入上，将默认的输入中将近30万个像素点的图像通过转换，变为7万多个像素点的图像输出，由此会极大减少特征匹配的运算量。通过测试后，最终的延时减少到了约87 ms，这个延时时长是可以被用户接受的。

5  实验结果及分析

如图3所示，连接好电源线、网线后，设置好开发板IP地址。通过PC端或手机端浏览器输入开发板IP地址及端口号，即可登录到客户端。实时监控画面见图4。

图3  嵌入式平台

图4  实时监控画面

利用HTML5+CSS+JS搭建了用户界面，可以在客户端查看实时视频信号，并且可以进行拍照保存操作。在实时监控的同时，在后台运行人脸识别算法，通过点击“查看识别人员”按钮可以调出识别出的相关人员信息。图5为通过LBP算法所训练的人脸匹配库，这里为匹配库进行了从1开始的数字标签。图6是将视频中出现的人脸与训练库进行匹配，通过贴标签的方式来准确显示人员信息，由于图中两个人均在人脸库中，系统显示出他们的数字标签为35，37。在人脸识别率上，虽然本系统使用的是嵌入式微处理器平台，但是在识别率上也是相当不错的，通过测试，系统的人脸识别率达到87.4%。实验结果显示，系统有着较好的稳定性，在视频监控系统中，能够有效地识别出人员信息。

图5  人脸训练库

图6  人脸识别

6  结  语

本文系统以嵌入式微处理器作为平台，实现了基于人脸识别的远程智能监控系统。通过测试，系统能够很好地将人脸识别技术运用到视频监控系统中，可以在查看实时视频画面的同时，并且能高效地查看过往视频中出现非法闯入的人员信息，整个系统有着较好的鲁棒性。

参考文献

[1] WOJEK C， DOLLAR P， SCHIELE B， et al. Pedestrian detection： an evaluation of the state of the art [J]. IEEE transactions on software engineering， 2012， 34（4）： 743?761.

[2] 黄凯奇，陈晓棠，康运锋，等.智能视频监控技术综述[J].计算机学报，2015，38（6）：1093?1118.

HUANG Kaiqi， CHEN Xiaotang， KANG Yunfeng， et al. Intelligent visual surveillance： a review [J]. Chinese journal of computers， 2015， 38（6）： 1093?1118.

[3] 吴群，王田，王汉武，等.现代智能视频监控研究综述[J].计算机应用研究，2016，33（6）：1601?1606.

WU Qun， WANG Tian， WANG Hanwu， et al. Survey on modern intelligent video surveillance [J]. Application research of computers， 2016， 33（6）： 1601?1606.

[4] Markets and Markets. Video surveillance market?global forecast & analysis [EB/OL]. [2014?11?01]. http：//www.marketsandmarkets.com/Market?Reports/video?surveillance?market?645.html.

[5] 王海峰.传统报警与视频智能结合及报警联网发展方向探讨[J].中国安防，2017（3）：87?91.

WANG Haifeng. Discussion on intelligent combination of traditional alarm and video and development direction of alarm networking [J]. China security & protection， 2017（3）：87?91.

[6] 叶剑锋，王化明.AdaBoost檢测结合SOM的自动人脸识别方法[J].哈尔滨工程大学学报，2018，39（1）：129?134.

YE Jianfeng， WANG Huaming. An automatic face recognition method using AdaBoost detection and SOM [J]. Journal of Harbin Engineering University， 2018， 39（1）： 129?134.

[7] 朱黎，胡涛，罗锋，等.基于自适应LBP人脸识别的身份验证[J].计算机工程与科学，2014，36（11）：2217?2222.

ZHU Li， HU Tao， LUO Feng， et al. Identity authentication based on adaptive LBP face recognition [J]. Computer engineering & science， 2014， 36（11）： 2217?2222.

[8] 曹洁，朱晶晶，李伟，等.融合LSH和LoG特征的人脸识别[J].计算机工程与应用，2018，54（17）：158?163.

CAO Jie， ZHU Jingjing， LI Wei， et al. Face recognition based on fusing LSH and LoG feature [J]. Computer engineering and applications， 2018， 54（17）： 158?163.

[9] LI H. Design and implementation of mobile video surveillance system based on V4L2 [J]. International journal of signal processing， image processing and pattern recognition， 2016， 9（1）： 409?416.

[10] 陈金超，谢东亮.无线网络TCP拥塞控制算法研究综述[J].软件，2015，36（1）：82?87.

CHEN Jinchao， XIE Dongliang. Survey on TCP optimization in wireless network [J]. Computer engineering & software， 2015， 36（1）： 82?87.