庞尔江

国家知识产权局专利局专利审查协作天津中心，天津 300304

0 前言

2008年，IBM在“智慧星球”计划中首次提到“智慧城市”一词，并于2010年正式提出“智慧城市”愿景[1-2]；2015年，“第十二届全国人大第三次会议”上，“智慧城市”首次被写入政府工作报告；2016年11月，国家发展和改革委员会、中央网络安全和信息化委员会办公室、国家标准化管理委员会联合发布《新型智慧城市评价指标（2016年）》，其中一项重要内容就是智慧安防。随着大数据、云计算、物联网、人工智能、5G等技术的快速发展，各地建设“智慧城市”的热情也在不断高涨[3-4]，安防作为“智慧城市”重要的部分，有着巨大的发展潜力，并且随着智能化要求的提高，智慧安防已经成为行业大趋势[5-7]。

智慧安防涉及的专利技术主要包括终端硬件与视频分析技术。视频分析技术得益于人工智能技术的发展，是目前安防行业研发的热点，随着视频分析算法的不断优化，智慧安防实现了突破性的发展，应用领域也越来越广泛[8]。无论是传统的安防企业还是新兴的物联网企业都纷纷抓住这一时机，申请了大量的专利，在国家政策的导向和市场需求的刺激下，高校及科研院所对视频分析算法也投入大量的科研力量进行改进，因此，智慧安防领域视频分析技术的申请量和申请人数目呈快速增长态势[9-10]。

本文通过对全球专利数据样本进行分析，结合产业发展情况和重要申请人的情况，梳理了智慧安防视频分析技术发展路线，进而给出专利申请建议。

1 技术分支

智慧安防视频分析技术一般由目标检测、目标跟踪、目标分类、行为分析、群体分析组成。

1.1 目标检测

运动目标检测是对采集到的图像序列进行背景分割，获得正确的前景。前景的正确提取对于视频图像的后期处理是非常重要的，后期的图像处理主要考虑分割出的运动目标的像素[11-12]。

1.2 目标跟踪

目标跟踪表达为一个测量、状态分配和估值问题的组合。目标跟踪等价于在连续的视频图像之间建立基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题[13-15]。

1.3 目标分类

目标分类的目的是识别运动目标所属的类别。同一区域可能对应于不同的目标，比较交通道路上监控摄像机所捕捉的视频图像中可能包含行人、车辆及其他诸如飞鸟、流云、摇动的树枝等运动物体，为了便于进一步对行人进行跟踪和行为分析，对目标进行正确分类是完全必要的[16]。

1.4 行为分析

行为分析包括个人行为分析和群体行为分析。在火车站、银行和公共汽车站等人流量密集的公共场合，常常需要在视频中识别出行为人的行为，并且需要准确地确定出每个行为人进行各种行为的起始时间和终止时间[17]。

1.5 群体分析

群体行为是一些由多人或多人与物体所组成的团体行为。通过对异常人群事件特点进行分析，总结出通用的代表性的人群异常特征[18]。

2 技术发展路线

智慧安防需要分析大量视频数据，得到精确结果，因此，采用何种图像分析方式，以及对图像分析方法的改进成为行业内重点研究内容。本文通过对全球专利数据样本进行梳理，结合产业发展情况和重要申请人的情况，梳理了智慧安防视频分析技术发展路线，参见表1。

表1 智慧安防视频分析技术发展路线

在目标检测这一技术分支中，刚开始主要采用背景减法和帧间差法进行处理[19-20]。例如，2002年，中国科学院申请的一种利用身材信息辅助人脸信息的身份识别方法，该方法判断采集到的图像背景是否强烈变化，并将该强烈变化的部分作为前景，直接从该图像背景中分割出强变化的区域，进而从中获得身材信息[19]。此后，关于目标检测改进的专利申请量持续平稳增加，此阶段支持向量机和学习型算法大量出现。例如，2011年，浙江大学申请的基于主元分析和支持向量机的人脸检测方法，该方法的主要特点是能够通过对输入图像区域进行主元分析，同时用支持向量机对分析的中间结果进行分类，从而能够达到快速高效地进行人脸检测的目的[21]。2013年，中科院自动化研究所申请的一种基于多任务模型的行人检测方法，该方法将训练样本分为包括不同分辨率行人样本的训练样本集，分别提取不同分辨率的样本纹理特征；对不同分辨率样本纹理特征，初始化不同分辨率投影矩阵，并根据所述不同分辨率投影矩阵，将不同分辨率样本纹理特征投影到一个公共子空间上，在所述公共子空间上定义一个分类器，以检测投影后的检测样本是否为行人样本，所述分类器和不同分辨率投影矩阵共同组成不同分辨率下的行人检测器。在训练阶段，利用训练样本迭代地优化不同分辨率投影矩阵以及所述分类器；在检测阶段，对于待检测图像，根据其分辨率的不同，使用不同分辨率下的行人检测器进行检测，并得到最终的检测结果[22]。随着深度学习、大数据、云计算等多种技术的广泛应用，检测准确度和速度都大幅度提升[23-25]。例如，2015年，海康威视申请的一种基于深度相机的身高测量方法及装置，该方法通过深度相机获取场景的深度图像，根据预先设置的人体特征参数，在深度图像中进行识别，确定深度图像中的人体目标；根据人体目标在深度图像中的位置，确定人体目标的上端点在深度图像中的第一图像坐标和人体目标的下端点在深度图像中的第二图像坐标；根据第一图像坐标、第二图像坐标、景深信息和预先设置的相机标定参数，计算第一图像坐标对应的第一三维坐标和第二图像坐标对应的第二三维坐标；根据第一三维坐标和第二三维坐标确定人体目标的高度[23]。2017年，武汉大学申请的一种基于深度尺度学习的行人重识别方法，通过三个层级结构的框架来描述行人重识别的由粗到精的深度判别学习。第一层次是选取来自两个不同摄像头视角的监控中的人物图片，然后随机地把这两张图片拼合在一起，作为第二层的原始输入；第二层次是通过减去平均值和对每个样本进行标准化来实现预处理，图片转换成灰度图像，形成栈式自编码网络的输入；第三层次是利用每个栈式自编码带有的softmax分类器得到一个分类结果。在本发明中，采用了三个不同隐藏层结构的栈式自编码网络，针对上述第三层中所得到的每一个自编码网络和分类器的结果，利用加权分配处理机制综合其分类结果以得到最终的分类精度，根据是对同一人的相似程度大于不同人的相似度原理实现最终的行人重识别判别结果[25]。

在目标分类这一分支中，最初主要是特征对比，例如，2005年，由日立欧姆龙公司申请的利用面部图像检测ATM的非法使用者的方法，该方法通过照相机获取交易处理中的使用者的面部图像，从获取的图像中检测出使用者的面部区域，根据检测出的面部区域和在该信息处理装置中包含的或在经网络连接的存储装置中预先登录的面部信息，进行面部识别，根据面部识别结果判定使用者是否为预先登录的嫌疑人的处理[26]。随后，目标分类技术向多个方向发展[27-28]，例如，2011年，海康威视申请的一种基于目标边缘方向的目标分类方法，该方法根据当前帧和背景图像的差获取当前图像中的运动目标区域，对运动目标区域内的图像计算边缘梯度方向，对所述边缘梯度方向按方向角度进行统计，得到方向直方图，根据所述方向直方图确定运动目标的类型[27]。近几年，随着深度学习的广泛应用，目标分类特别是基于人脸识别的目标分类方向得到了大幅度的发展[29-30]，例如，2018年，由天地伟业申请的一种基于深度全卷积孪生网络的实时人脸跟踪方法，在视频中给出需要跟踪的目标人脸，在目标人脸的周围获取跟踪区域，滑窗使用深度全卷积网络提取区域内所有位置的特征，使用孪生网络架构和匹配算法计算相似度，找出相似度最高的几个区域，拟合区域，精准定位目标人脸[30]。

在目标跟踪这一技术分支中，最初主要是利用数字图像序列进行目标跟踪，例如，2006年，上海鼎业电子申请的一种基于立体视频动态跟踪的多摄像机监控系统，该系统对视频数据信号进行相应处理，形成数字图像序列并输出至图像处理模块，图像处理模块用于对数字图像序列进行包括运动目标检测与分割算法、目标三维位置信息融合算法的运算处理，生成各目标的包含三维运动与位置信息的下行控制信号，用以控制跟踪摄像机模块[31]。随后，目标跟踪向多场景发展[32-33]，例如，2012年，海康威视申请的一种智能跟踪球机的跟踪方法，该方法确定当前画面中的最远距离点和最近距离点，获得当前画面的距离范围，根据距离范围计算并在显示当前画面的显示器中画出等距曲线，在显示器中计算并画出跟踪触发的报警线，如果检测到移动物体，则计算移动物体到指定点的距离；如果周期性计算所得的距离跨度包含预先设定的报警距离，则对移动物体进行跟踪[33]。近几年目标跟踪很重要的发展方向是大场景环境下的目标跟踪[34-36]，例如，2016年，海康威视申请的一种目标跟踪方法，该方法获取N个子画面及其对应的全景画面，在全景画面中确定目标的第一位置；根据第一位置，确定目标对应的目标子画面；根据每个目标子画面对应的全景画面中的第二位置及该第一位置，确定目标在每个目标子画面中的第三位置；根据第三位置，在目标子画面中对所述目标进行跟踪[35]。

在行为分析这一技术分支中，主要是特征点检测应用较多[37-40]，例如，2012年，浙江大华技术股份有限公司申请的一种剧烈运动目标检测方法，该方法根据一帧图像的前景图像，对该帧图像进行特征点检测，获得该帧图像中运动目标的特征点，通过确定该帧图像以及与该帧图像相邻的前一帧图像中匹配的特征点之间的相对位置关系，确定在该帧图像中所述运动目标的运动方向和运动幅度，从而可以确定在该帧图像中，该运动目标是否为剧烈运动目标[39]。

在群体分析这一技术分支中，主要是用于检测人流密度[41-46]，例如，2010年，由海康威视申请的一种可适用多角度应用场景的人流量统计的方法，该方法通过场景标定自动选择检测窗口的尺寸，将检测区域划分为若干个子区域；采用分类器对当前图像进行人头检测，确定当前图像中的各人头，对分类器检测到的人头进行边缘特征细筛选处理，对确定出的各人头进行跟踪，形成人头目标运动轨迹，通过对人头目标轨迹的平滑度分析，去除虚假目标；根据人头目标运动轨迹方向进行人流量计数[42]。

3 结束语

通过分析可知，我国在智慧安防视频分析这一领域形成了相对成熟的智慧安防研究模式及相关的知识产权。本文通过对技术路线的分析，将各个分支在不同时期的代表技术和专利进行梳理，分析各个分支的发展脉络，发现行为分析和群体分析这两个技术分支研究方向相对单一，申请人有必要在这两个分支进行适当的专利布局。与之相比，目标检测、目标分类目前研究方向较多，发展也较为迅速，特别是深度学习算法出现后，无论是准确度还是识别速度都有大幅提高。因此，如何通过优化深度学习算法，在少样本训练下，得到更为精确的检测结果是未来申请人应该重点关注的技术，可以成为未来企业的研发重点。