唐志鸿

中国移动通信集团江苏分公司

0 前言

江苏移动“千里眼”视频监控产品目前已成功应用到环保、国土、住建、商铺、餐饮、旅游等众多行业领域，业务呈现出高速增长趋势，其中应用于环保秸秆焚烧监控的蓝天卫士产品和应用于国土监管领域的国土卫士产品也在全省得到大规模复制推广，得到客户的高度好评。

江苏移动千里眼视频监控平台的定位是用作视频采集、视频存储和视频浏览及监控的功能平台，不具备实时视频智能分析能力，对于监控视频中的风险点，无法做到智能识别和预警，存在以下不足：

1）完全依赖人工监控：注意力难以长时间集中，调研显示人工盯着电视墙，超过10分钟后将漏掉90%的信息。

2）实时性差、响应慢：监视器数量太多，只能采用轮询的方式进行监控，无法及时发现突发或预警事件。

3）效率低、成本高：需要大量人力，效率低，国土卫士、蓝天卫士等视频内容改变缓慢，问题更加突出。

4）数据分析难度大：平台7×24小时录像，存储数据海量，事后数据查找及分析难度大。

视频智能检测分析是新型数字化服务发展趋势，智能视频监控技术的行业应用在国内处于刚起步的状态。传统的视频监控行业需要大量的人力资源来人工观看各路网络摄像头，并判断是否有违法行为或者灾难事件的发生。这种监控模式不仅浪费了大量的人力财力，而且容易发生疏忽遗漏的情况。因此，把计算机视觉中的相关技术应用到视频监控领域，作为一种辅助手段来提高监控事件的准确性，减少人力资源的投入，是一种主流的行业趋势，也是新型数字化服务产品发展方向。

环保和国土部门客户多次提出视频自动检测和告警需求，研发蓝天卫士火焰/烟雾检测、国土违法占用检测智能分析功能可以大幅降低客户的人力物力投入，提升客户业务监管工作效率。同时，这种智能检测识别需求属于公司大力提倡开拓的新型数字化服务，一方面可以推动公司集团市场专线业务的深入拓展，另一方面随着手机APP移动监管功能的规模化应用，也极大地促进了公司流量经营战略落实。运营中心将着力拓展中小企业蓝海市场，打破隔离，寻求新的增长点，新的突破。

1 视频智能检测分析系统架构

系统拟基于江苏移动千里眼视频监控平台建设视频监控大数据分析系统，该系统作为配套千里眼平台的独立功能模块存在，从千里眼平台实时读取视频数据流，并按照行业应用需求进行实时智能分析和检测，对分析检测出来的视频内容的异常情况进行预警，相关预警信息通过千里眼平台接口输送到平台告警模块，并最终通过千里眼平台客户端向用户发出告警信号，视频智能检测识别系统架构如图1所示。

图1 视频智能检测识别系统架构图

系统通过研发视频智能分析算法调度引擎功能模块，从千里眼平台获取视频，调度各种智能分析算法，并将算法分析结果输出到千里眼平台，然后利用千里眼现有客户端软件向用户呈现各种检测结果和告警信息。总体上系统包括平台对接、视频轮询、算法调度、告警通知等四个模块组成，其中关键点是视频算法调度模块的构建，它的功能是控制整个系统的运作，包括视服务资源管理、视频流读取、任务分发、结果反馈等。本系统采用开源LTS（light-task-schedule，分布式作业调度框架），自动对所有智能分析算法进行任务分配和管理，保证整个系统的高效、稳定运行，同时具有较高的可扩展性。

2 视频智能检测分析算法

2.1 自然场景火焰烟雾智能检测

算法包括白天算法和夜间算法两部分，两种算法自动切换。由于摄像头在白天和夜间的工作模式不同，所以算法必须根据这两种模式进行区别设计。算法总体框架如图2所示。

图2 算法总体框架图

算法根据摄像头工作模式自动判断白天或夜间，根据判断结果自动调用白天或者夜间算法。其中白天算法核心流程如图3所示。

白天算法主要采用图像分块、多特征建模、前景检测、颜色检测、纹理检测、小波分析、动态分析、时域运动分析常用来对火焰和烟雾进行检测分析，综合考虑了视频抖动、光线变化、背景干扰物对于检测的影响，可以排除绝大多数干扰物所导致的误检，在几乎不影响正检的情况下保证了较小的误检率。同时在准确检测到视频中烟雾火焰的基础上，算法能够排除静止背景干扰物（白墙、白云、道路等）的影响，具有一定的抗视频抖动能力。

图3 白天算法流程图

在进行多特征建模时，针对的对象是包括时域信息的三维时空分块，加入时域上的信息，可以去除背景干扰，有效的提高检测准确率，减少误判概率。离散小波变换是算法重要部分，其效果如图4所示。

图4 离散小波变换图

上图是用离散小波变换对空间图像进行处理的结果，左边是原图像，右边四幅子图像是二维单尺度小波变换的结果。夜间算法检测主要流程如图5所示。

图5 夜间算法检测流程图

由于大部分摄像头在夜间处于红外模式，即图像只包含亮度信息，不包含色彩信息，所以夜间存在很多的背景干扰物，大多数时候连人眼也无法判断是不是火焰。

夜间的干扰物基本都是路灯、房灯和车灯，夜间算法设计的目标就是排除这三种干扰物对于火焰检测的影响。路灯和房灯属于同一种类型，他们的特性是基本每天夜间都会点亮，因此，算法使用了场景建模的方法，预先学习场景中的路灯和房灯区域，在检测的时候就可以排除这些干扰物的影响。夜间算法自动进行场景建模，随着时间的推进场景模型会变得更加准确。对于车灯，它的特点是运动模式和火焰不同，所以我们采用了运动分析的方式来排除车灯对夜间火焰检测的影响。

2.2 国土违法占用智能检测

国土违法占用检测算法对于一定场景下每天获得的图片进行分析，与建立的背景模型进行比较并检测是否有违章建筑。如果在一定时间内持续检测到违章建筑，系统报警并返回报警图片。算法针对多种自然场景进行设计，结合建筑物本身的结构特性，对于不同场景下出现的违章建筑具有较好的识别能力，对雨雾天影响造成图像模糊具有较好的自适应能力。国土占用检测算法流程如图6所示。

算法针对多种自然场景特性进行设计，考虑了摄像头晃动、天气特点、非建筑物特性对于检测的影响，可以排除绝大部分的干扰，有效地降低了误检率。

算法主要流程设计如下：

（1）天气检测：引入《Single Image Haze Removal Using Dark Channel Prior》文章中暗通道的概念，通过计算暗通道成分的多少，来判断是否为雨雾天气；

（2）图像配准：引入基于全局Sobel索贝尔值的矫正，以降低视频抖动、光照变化造成的影响；

（3）绿色分量检测：筛除绿色分量较高的分块，去掉田野、树林等非建筑物部分，降低误检率；

（4）变化区域检测：违法建筑物的产生会使得图片的局部区域发生较大的变化，设计使用Hash、Hog、灰度值、CNN卷积特征等检测算法进行分析检测；

（5）建筑物检测：利用上述CNN卷积网络判断是否有建筑物痕迹；

（6）逻辑判断：连续3天检测到有违章建筑的痕迹时发出报警。

图6 国土占用检测算法流程图

3 总结

基于视频智能检测分析技术，我们推出了蓝天卫士、国土卫士等视频智能检测产品，可以满足客户日常秸秆焚烧、国土占用等监控管理，目前产品已经处于规模推广阶段。截止目前，视频智能检测分析行业产品已经在全省落地应用，为提升客户工作监管效率发挥了极大作用。

视频智能检测分析产品，通过客户业务模式的创新改革，帮助客户提升了工作效率，节约了人力投入，满足了客户业务的强需求，增强了用户感知，为企业创造了良好的社会效益和经济效益。