任子晖 王雨晴 张兆义 时明 陈诚

摘 要：近年来，伴随着国内平安城市、无线城市的快速普及与发展，平安城市运行中产生了海量的城市视频数据，并呈快速增长趋势，另外，无线城市在日常运营中，前端AP设备采集了大量以终端MAC为主的探针数据。如何有效融合及利用沉淀的海量数据资源，为城市公共安全管理提供强有力的信息化手段引起了重点关注，是目前研究的热点问题。文章通过对前端AP采集的数据、城市视频大数据进行分布式存储、融合、计算及分析，搭建基于大数据的智慧安全应用服务系统，可达到人群计数、拥堵预警、人车同踪等功能。

关键词：平安城市；无线城市；手机MAC；公共安全

中图分类号：F49 文献标志码：A 文章编号：2095-2945（2018）36-0088-02

Abstract： In recent years， with the rapid popularization and development of domestic safe city and wireless city， the operation of safe city has produced a mass of urban video data， and showed a rapid growth trend. In addition， the wireless city in daily operation， the front-end AP equipment collects a large number of probe data mainly from terminal MAC. How to effectively integrate and use the precipitation of massive data resources for urban public security management so as to provide a strong means of information technology has attracted attention. This is a hot issue in the current research. Through the distributed storage， fusion， calculation and analysis of the data collected by the front-end AP and the city video big data， the intelligent security application service system based on big data is built can achieve the crowd count， congestion warning， people and vehicles with the track and other functions.

Keywords： safe city； wireless city； Mobile MAC； public security

1 概述

近年来，随着国家对平安城市、无线城市、智慧城市投资力度的不断加大，国内“平安城市”、“无线城市”建设正如火如荼的展开，据统计，台湾、香港、上海、北京、广东、湖北、江苏、山东、安徽等30余省的超300个城市已建设成无线城市。截至目前，全国基本上所有地市和重点区县都已经完成第一期的平安城市建设，使城市大多数公共区域均实现了视频监控。“平安城市”、“无线城市”在日常运行中，产生了海量的视频数据、以手机MAC数据为主的无线数据资源，并呈快速增长的趋势。

目前城市各大公共场所的信息化安全管理以视频监控+人工巡逻为主。在发生群众聚集或犯罪行为时，依靠办案民警或管理部门对监控画面进行肉眼识别，或在案发后调阅存储视频进行排查，难以起到预防作用。在公安机关进行案件侦破过程中，调阅视频监控的人工检索方式耗时长，耗费工作人员精力大。随着大数据、云计算技术的不断成熟，如何利用无线网络所沉淀的大数据资源，结合视频监控大数据资源进行智能化分析处理，打造新型智慧化城市，构建信息化环境下的安全社会，成为城市相关管理者亟待解决的问题。

综上所述，城市管理者急需一个智能化的，能有效结合海量视频大数据和网络大数据资源的分析应用系统。本系统以公安、城市安全管理等部门需求为导向，研发基于大数据的智慧安全服务系统，探究整合“无线城市”、“平安城市”及社会网络视频资源的技术实现途径，形成统一标准的网络及视频数据接口。实现高效的资源存储管理及分析应用，创新“无线+视频监控”的智慧應用，为公安、城市管理部门的治安管理、应急处置、打击犯罪等提供有力的支撑手段。

2 系统整体设计

基于MAC地址+活动时间两个维度，可以确定具体轨迹的活动地点与时间，可以通过AP所在的经纬度查询与之最近的监控视频，再通过时间维度调出当时发生的监控录像，进行智能研判。基于大数据的智慧安全服务系统整体框架如图1所示。整体架构包含四层，各层作用如下：（1）前端采集：通过用户接入的采集摄像机和MAC采集设备（AP），获取视频数据及移动终端的MAC地址、终端品牌等信息。（2）传输网络：通过网络将前端采集的数据上传到大数据处理平台。（3）大数据处理平台：对前端采集的数据进行清洗、转换、融合、存储和管理。（4）业务应用系统：与视频监控数据相结合，利用大数据分析算法，对前端采集的海量数据进行挖掘分析，针对不同的应用要求，快速找到相关信息。

3 技术路线

（1）数据采集。本项目中所需数据资源涉及无线网络大数据和视频监控大数据两部分，其中视频监控大数据可将用户的视频流媒体服务器或存储服务器引入系统接口；无线网络大数据可利用城市无线局域网和后续增补点位采集的信息、单位个体自建的无线信息。

（2）数据整合。本文通过研究GB/T28181-2011（国家标准联网接口协议）、ONVIF、PISA等网络传输协议和H.264、MPEG-4等系列视频编解码算法，形成统一标准的视频流媒体服务器接口；采用基于不同厂商AP探针模块的UDP包接收解析技术，实现对不同厂商AP设备探针模块发送数据的解析，汇入系统统一数据库，将不同厂商的设备数据统一出口标准，纳入大数据处理平台，实现海量异构无线大数据与视频大数据的融合。

（3）海量数据存储。本系统采用HDFS、HBase、ElasticSearch三种系统进行数据的统一存储。HDFS作为本系统数据的基础存储平台。针对视频数据，本文通过hadoop提供的API接口，实现将接收到的视频流文件从本地上传到HDFS中。面对海量数据查询与检索，必须要求系统具备很高的数据结构设计与性能，传统数据库几乎无法完成多条件的查询。为了实现海量数据秒回查询，本系统对需要实时读写、随机访问的数据存入HBase中，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，并基于Elasticsearch建立分布式海量数据检索服务，Elasticsearch的性能是solr的50倍，作为HBase数据仓库的查询入口，实现实时检索，稳定，可靠，快速。另外，HBase技术在廉价PC Server上可搭建起大规模结构化存储集群，在实现系统PB级数据存储能力的同时又节省了系统硬件投入。在本系统中，由于采集的数据量巨大，对分布式服务器节点的性能和存储空间要求较大，本文通过采用LZO（Lempel-Ziv-Oberhumer）压缩技术，将原始数据压缩到12%左右，减少了78%的存储资源，使集群能保存更多的数据，延长集群的使用寿命。

（4）数据计算及分析。本系统采用基于Hive进行标准SQL化分布式数据计算与挖掘，对存储在HDFS中的海量数据，特别是MAC数据，采用类SQL的查询语言（HiveQL），对数据进行离线管理和分析。实时计算适用于对历史数据依赖不强，短时间内变化较大的数据。如人车同踪、寻找犯罪同伙等随环境和时间实时变化的数据都可能用到实时计算。离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析，决策。本系统采用SparkStreaming进行实时数据流并行分析与计算，SparkStreaming是Spark提供的分布式的大数据实时计算框架，是基于SparkCore的扩展，它提供了动态的，高吞吐量的，可容错的流式数据处理，可从多个数据库中获取数据，然后使用复杂的算法和高级的函数算子进行数据处理加工。最后可以将处理后的数据输出到文件系统，数据库和可视化界面，实现本系统高复杂、高强度的业务场景需求。

4 系统测试

完成系统的开发之后，采用了黑盒和白盒的测试方法对系统进行测试，经测试，系统的功能、性能和兼容性等满足预期要求。

5 系统应用

构建信息采集热点，结合网格化管理等技术手段，形成一个基于MAC信息的人员定位网络，同时与视频监控、网格化管理结合，可广泛用于集体事件人员批量锁定、社区网格化管理、景区管理等领域。

（1）人群计数及拥挤预警。利用采集的MAC地址数据，描绘系统应用区域内的人群密度信息，结合视频监控资源，实时监测预警，避免群体性突发事件。（2）MAC地址碰撞。运用大数据技术对MAC地址等数据进行挖掘分析，初步确定可疑人员信息，并结合视频监控进一步确认，辅助社区景区管理及公安人员破案。（3）人车同踪。MAC地址数据和视频监控数据相结合，以MAC地址和车牌号为定位特征，可将同一时间、同一地点的人车进行同步轨迹回放。（4）寻找犯罪团伙和目击证人。寻找犯罪同伙：不同案发地点采集到多个相同的MAC地址，可以排查是否是团伙作案。寻找目击证人：从案发地点采集到的MAC地址信息，找到该MAC地址对应的人的真实身份，快速的定位现场目击证人。（5）可视化布控告警。MAC地址精确布控：支持通过设定MAC地址、布控时间、布控地点等完成布控单。布控实时预警：满足管理人员在线实时查看布控信息的需求，在出现符合布控条件的MAC时，支持彈出视频及声音警报。布控审批：满足对使用者提交的布控单进行审批的功能，根据布控单的审批阶段及时在对应人员的账号下显示。告警闭环处理：当被布控的MAC地址出现时，可以有下面三种提示方式：大屏展示、短信通知和弹出客户端，同时关联现场视频，并让街面警员协助盘查。

6 结束语

利用平安城市、无线城市发展契机，通过对城市视频数据、前端AP设备采集的手机MAC数据的采集、传输、存储、融合、计算分析等，搭建基于大数据的智慧安全应用服务系统，并提出该系统的五大应用场景：人群计数及拥堵预警、MAC地址碰撞、人车同踪、寻找犯罪团伙和目击证人、可视化布控告警，为城市公共安全管理供强有力的信息化支撑和保障。

参考文献：

[1]高见，袁得嵛.基于WIFI探针的预警系统设计与研究[J].中国人民公安大学学报，2016，3（1）：89-93.

[2]杨扬，郝明磊，张璇.基于WiFi探针技术的无线安防系统设计[J].电子测量技术，2018，41（15）：128-132.