王泽胜 董宝田† 王爱丽

(1.北京交通大学 交通运输学院， 北京 100044； 2.中国铁路总公司信息技术中心， 北京 102300)

基于自适应脉冲耦合神经网络的行人检测方法*

王泽胜1董宝田1†王爱丽2

(1.北京交通大学 交通运输学院， 北京 100044； 2.中国铁路总公司信息技术中心， 北京 102300)

由于受到光照等因素造成的散斑噪声和灰度不均衡现象的影响，应用计算机视觉技术实现行人的准确检测较为困难.为了提高交通场景信息提取的精准度和自动化水平，文中提出一种基于自适应脉冲耦合神经网络的行人检测方法.首先以像素间“准欧式”距离为参考，确定神经网络接受区中心神经元与邻域神经元间的点火贡献关系；然后根据图像灰度特征以及邻域综合信息对脉冲产生区的关键控制参数——初始阈值进行设定；最后对获得的初始结果进行多策略形态学修正，从而提取出图像中的行人.实验结果表明，该方法能够在有效提高检测方法自适应程度的同时,显著去除噪声的影响，较好地抑制过分割的问题，检测到相对完整的目标.

智能交通；行人检测；脉冲耦合神经网络；计算机视觉；自适应性

交通信息智能检测设备是现代交通管理系统的基础，而基于计算机视觉技术的检测方法相比传统方法，具有设备易维护、不破坏路面等明显优势，已经成为智能交通信息采集的发展方向之一[1].随着视频监控技术的快速发展，行人交通检测逐渐引起广泛的重视，对其展开研究具有极大的现实意义和实用价值.

如何对视频图像中的运动目标进行精准定位与分割，是实现交通信息智能检测的重点和难点.很多学者投入到该领域并提出了许多算法，包括阈值法、边缘检测法以及分水岭方法等[2- 9].其中,基于脉冲耦合神经网络(PCNN)[10- 11]的分割方法是新发展起来的一种方法.作为第3代神经网络，PCNN以迭代算法为核心，具有脉冲调制和耦合链接特性，相似的元素集群若在空间上也相近，就会同步产生脉冲，这非常适合处理由离散值构成、以矩阵形式存储的数字图像，也使其成为关注的焦点[12].但传统的PCNN方法参数较多，在对特征不同的图像进行分割时，多需要人工输入，自动化水平有待提高，适应性和鲁棒性需要进一步增强[13- 14].因此，学者们提出了许多解决方法，主要有:Ashraf等[15]提出的基于自组织映射网络(SOM)的脉冲耦合神经网络图像分割方法；徐黎明等[16]提出的基于最小交叉熵的改进PCNN杨梅图像分割算法;Chen 等[17]提出的应用区块特征匹配简化的、对彩色图像进行分割的PCNN方法；Qu 等[18]提出的利用遗传算法优化PCNN模型参数来进行图像分割的方法.然而，这些方法多针对脉冲耦合神经网络中的部分区域或部分参数进行优化，自动化水平仍然需要进一步提高.另外，对于复杂的交通环境，现有方法无法直接适用，需要针对具体环境进行研究.

在前人研究基础上，文中提出一种基于自适应脉冲耦合神经网络的行人目标提取方法.该方法对脉冲耦合神经网中信息接受区和脉冲产生区均进行了优化，并最终进行融合.

1 模型建立与求解

1.1 具体实现流程

文中算法流程如图1所示.首先引入背景差分法，获得初始待检测对象，对其进行灰度标准化处理；然后根据灰度标准化处理结果计算初始阈值等PCNN需要的主要参数；迭代执行PCNN，记录网络内各个神经元的激活状态，并以此作为迭代终止的判定条件；最后对迭代分割结果进行多策略形态学修正，从而提取出相对完整的目标.

1.2 简化的PCNN 神经元模型

PCNN是一个由脉冲耦合神经元(基本单位)构成的二维单层神经元阵列.各个神经元之间通过链接权值相互连接，从而形成复杂的非线性动力学系统.将PCNN模型应用于二维图像，图像中每一个像素点作为一个神经元，如图2所示.当某个神经元激发时会引起相邻区域中灰度级相近的像素点的激发，神经元自身的特殊结构保证了脉冲发放的特性.

图1 算法流程图Fig.1 Flow chart of algorithm

图2 脉冲耦合神经网络模型Fig.2 PCNN model

图3为单个神经元模型.在该模型中，神经元输入划分为反馈输入F和链接输入L：

(1)

(2)

Uij(n)=Fij(n)[1+βLij(n)]

(3)

(4)

θij(n)=e-αθθij(n-1)+VθYij(n)

(5)

其中：n为迭代次数；Fij(n)、Lij(n)分别为反馈域通道和链接域通道的输入；ij为神经元位置，kl为该位置对应的神经元；VF和VL为放大系数；αF和αL为衰减系数；M和W分别为反馈输入和链接输入的权重矩阵；Uij为内部信号，控制神经元的点火状态；β为链接强度，取[0,1]之间的一个常数；Yij(n)标记神经元当前的点火状态；θ为神经元动态阈值，在衰减因子αθ的影响下逐渐衰减，直至该神经元发生点火.

图3 PCNN 神经元模型Fig.3 Model of neuron in PCNN

PCNN模型中，可调节参数众多，从而使分割效果对参数设置的依赖性较强.为了提高PCNN在由离散值像素组成的图像矩阵分割中的自适应性，文中对传统PCNN做如下改进和简化:

Fij(n)=I(i,j)

(6)

(7)

Uij(n)=Fij(n)[1+βLij(n)]

(8)

Yij(n)=Uij(n)>θij(n-1)‖Yij(n-1)

(9)

(10)

其中：I(i,j)为输入图像中坐标为(i,j)的像素灰度值，对于单帧静态图像，将像素值作为反馈通道的输出，更有利于强化图像本身的灰度特征；内部信号Uij(n)依然取链接通道输入与链接强度的乘积加上1的正偏移量，再与反馈通道输入相乘的结果，充分体现双通道相乘调制特征；θij为动态阈值；θT为单个神经元脉冲爆发临界阈值.由于指数型衰减函数更符合人类视觉机制，因此文中设置θij(n)为指数型衰减.

相比传统PCNN模型，简化模型不再严格按生物学机制处理图像分割.在输入域，不再考虑其随时间的变化，而是只接受外部刺激以及邻域神经元的点火状态信息.阈值模型的简化能够有效降低算法复杂度，有利于算法在实际应用中进行实时处理.为了获得较好的处理效果，具体情况下需要对权重矩阵、迭代自适应终止条件等进行设置.该部分内容将在1.3-1.5节中进行详细介绍.

1.3 接受区链接矩阵的设置

(11)

其中,(i,j)为神经元在图像中的坐标，(k,l)为该神经元邻接神经元的坐标.

1.4 脉冲产生区脉冲爆发阈值的设置

初始阈值是神经元点火的关键控制参数，而分割操作应做到尽量区分背景环境和行人目标.传统PCNN中常以经验值作为模型计算的初始阈值.为了强化图像自身灰度特征，提高算法的自适应性，文中采用分割结果类间方差取得最大值，即将背景区域与前景目标区域差异化最大时计算得到的归一化灰度结果θg,max作为模型计算的初始阈值，从而在提高前景目标分割准确度的同时减少图像分割的无效迭代次数，提高方法的效率和有效性.

(12)

综合上式有

(13)

θg,max=ψg,max/255

(14)

其中，255为灰度数字图像的灰度级上限.

1.5 迭代终止判定条件的设置

传统PCNN分割方法需要多次操作，然后对结果进行对比，选取效果较优者作为最终结果.文中神经元激活后将该神经元动态阈值设为θT，为了保证神经元不被重复点火，θT应足够大.通常PCNN可接受的有效迭代次数在30次以内，文中将θT值设置为1.0×1010倍的θg,max，从而保证在可接受迭代次数内，同一神经元不被二次点火.

θT=1.0×1010θg,max

(15)

标记矩阵B初始化为全零矩阵，并与图像同大小，用来记录整幅图像中曾被激活的像素.

(16)

(17)

式中，a为图像高度，b为图像宽度，n′为n次迭代中的任意一次,0

1.6 初始检测结果的修正

为了获得结构更清晰、完整，辨识度更高的行人目标检测结果，采用自适应形态学方法对初始结果进行修正.首先采用形态学开操作，根据连通域属性去除Fst(x,y,k)中的异常点；然后进行孔洞填充，得到封闭性较好的目标图像Fmodify02(x,y,k)；对Fmodify02(x,y,k)目标执行细化操作，从而消除模糊边缘；最后利用椭圆形核结构进行膨胀运算，得到最终的行人目标检测结果Fnd(x,y,k).

(18)

采用参考文献[19]中的方法计算P和stel01.为确定异常连通域的像素大小，stel01为进行膨胀操作的结构元素.

2 实验结果与分析

为验证文中提出方法的合理性和有效性，取北京南站录制的行人流视频资料进行测试实验.并与公认较好的Otsu's 阈值分割方法以及分水岭分割方法进行对比.实验中，初始化连接强度系数β=0.32，衰减常数α=0.31[20].

2.1 迭代结果分步展示

图4(a)-4(f)为北京南站高架北候车区样本图片在迭代过程中的分步处理结果.根据1.4节得到图4(a)的θg,max为0.243 1，θT为2.431×109.参数初始化完成后开始迭代运行.在每次迭代过程中，分别计算各神经元内部行为，并与不断更新的动态阈值进行比较，从而判断神经元是否点火.神经网络的输出状态形成二维点火矩阵，将其作为该次迭代的输出图像，并作为下次迭代的反馈输入直接影响神经元内部活动.5次迭代后终止，此时H(5)为165 157.

2.2 直观效果对比

图5为文中方法与对比方法的检测结果.限于篇幅，只给出图5(a)所示在高架北候车区、高架北进站厅和首层北进口内西侧监控视频中随机抽取的3幅图像(从左至右依次排列)，大小分别为521×317，351×247，271×227(3幅图像均为自适应背景更新和背景差法获得的初始前景灰度图像，包含由于光照造成的阴影和大量的散点噪声).对检测结果进行直观效果的对比分析，可以看到基于分水岭的方法对图像中由于光照引起的的噪声较为敏感，在检测结果中出现了噪声形成的虚假目标区域以及过分割现象；Otsu's 方法结果在部分区域存在一定程度的欠分割与过分割现象.在视觉效果上，文中方法检测结果轮廓较清晰，目标区域完整，有效地抑制了光照造成的散斑噪声以及过分割与欠分割问题，检测效果得到了明显的改善.当行人密度增大时，优势更明显.3幅图像的关键参数、迭代次数以及H(n)值如表1所示.

图5 分割结果Fig.5 Segmentation results

表1 3幅图像的主要参数表Table 1 Major parameters of three pictures

计算异常点去除的连通域尺寸P以及椭圆形核函数半径、高度值(均以像素为单位)，得到的结果见表2.

表2 多策略形态学操作主要参数

Table 2 Major parameters of multi-strategy morphological operations

图像Pstel01样本图片1150(3,2)样本图片2130(2,1)样本图片3350(3,2)

2.3 客观参数对比

在图像分割处理中，交叉熵用来描述分割前后图像信息量的差异.交叉熵值越小，表明经过处理后原有图像灰度聚集程度受影响越小，即保留的灰度特征信息越多.因此，常将交叉熵作为图像分割的一项重要评价指标.计算检测结果与原始图像的交叉熵，结果如表3所示.结果显示，文中方法图像处理结果的交叉熵更低，对原始图像灰度聚集程度信息保留得更完整，损失的有效信息更少，分割结果更好.

表3 行人检测结果的图像交叉熵Table 3 Image cross entropy of pedestrian detection results

2.4 场景应用

将文中方法应用于北京南站高架层北候车区一段时长60 s、背景存在复杂运动和光照变化的视频片段，检测人数与实际人数如图6所示.结果显示，除个别检测帧检测准确率较低外，绝大部分都较高，行人检测结果较为理想.

图6 客流检测结果分析Fig.6 Analysis of pedestrian detection result

3 结论

文中从PCNN的模型机理出发，根据交通场景中的光照噪声影响和局部灰度特征，简化了模型的输入部分，并利用图像空间域信息特征，给出了该模型应用于图像处理时多个参数的确定准则，从而构建了一个自适应性较强的简化PCNN处理方法.实验结果表明：文中方法能够有效抑制复杂环境中光照以及运动背景对检测结果的影响，减少传统方法中过分割与欠分割问题的出现，提高检测的准确性；并能在有效检测的同时，更完整地保留原始图像的信息，为智能交通系统进一步地进行行人分析提供保障；制定参数的确定准则可提高方法的自适应性，使系统的自动化水平更高.然而，当行人密度较大导致互相遮挡、图像中灰度混叠严重时，检测结果出现偏差.在今后的工作中将会针对该问题做进一步完善.

[1] 刘寅.数字智能视频监控系统在城市轨道交通中的发展前景 [C]∥中国城市科学研究会数字城市专业委员会.《智慧城市与轨道交通》2015年中国城市科学研究会数字城市专业委员会轨道交通学组年会论文集.沈阳:中国城市出版社,2015:131- 132.

[2] YUAN Xiao-cui,WU Lu-shen,PENG Qing-jin.An improved Otsu method using the weighted object variance for defect detection [J].Applied Surface Science,2015,349:472- 484.

[3] SHAHVERDI Reza,TAVANA Madjid,EBRAHIMNEJAD Ali,et al.An improved method for edge detection and image segmentation using fuzzy cellular automata [J].Cybernetics and Systems,2016,47(3):161- 179.

[4] 刘琼,王国华,申旻旻.基于边缘分割的车载单目远红外行人检测方法 [J].华南理工大学报(自然科学版),2015,43(1):87- 91,98. LIU Qiong,WANG Guo-hua,SHEN Min-min.Pedestrian detection with vehicle-mounted far-infrared monocular sensor based on edge segmentation [J].Journal of South China University of Technology(Natural Science Edition),2015,43(1):87- 91,98.

[5] 袁小翠,吴禄慎,陈华伟.基于Otsu方法的钢轨图像分割 [J].光学精密工程,2016,24(7):1772- 1781. YUAN Xiao-cui,Wu LU-shen,CHEN Hua-wei.Rail image segmentation based on Otsu threshold method [J].Optics and Precision Engineering,2016,24(7):1772- 1781.

[6] CHEN Xiao-dan,LI Si-ming,HU Jun,et al.A survey on Otsu image segmentation methods [J].Journal of Computational Information Systems,2014,10(10):4287- 4298.

[7] ANURADHA S G,KARIBASAPPA K,REDDY B E.Target Seg:A GUI for image segmentation using morphogical watershed and graph cut techniques [J].International Journal of Signal Processing,Image Processing and Pattern Recognition,2016,9(3):167- 178.

[8] WANG Yin-long,LI Qian-jin,LI Zhi-xiang.An image segmentation algorithm based on watershed transform [J].Applied Mechanics and Materials,2015,740:608- 619.

[9] 沈夏炯,吴晓洋,韩道军.分水岭分割算法研究综述 [J].计算机工程,2015,41(10):26- 30. SHEN Xia-tong,WU Xiao-yang,HAN Dao-jun.Survey of research on watershed segmentation algorithms [J].Computer Engineering,2015,41(10):26- 30.

[10] ECKHORN R,REITBOECK H J,ARNDT M,et al.Feature linking via,synchronization among distributed assemblies:simulation of results from cat visual cortex [J].Neural Computation,1990,2(3):293- 307.

[11] JOHNSON J L,PADGETT M L.PCNN model and applications [J].IEEE Trans Neural Network,1999,10(3):480- 498.

[12] 陈龙斌.基于脉冲耦合神经网络的图像分割与图像融合研究 [D].昆明:云南大学,2015.

[13] DENG Xiang-yu,MA Yi-de.PCNN model analysis and its automatic parameters determination in image segmentation and edge detection [J].Chinese Journal of Electronics,2014,23(1):97- 103.

[14] 廖艳萍,张鹏.PCNN文本图像分割的细菌觅食优化算法 [J].哈尔滨工业大学学报,2015,47(11):89- 92. LIAO Yan-ping,ZHANG Peng.PCNN image segmentation method based on bactrial foraging optimization algorithm [J].Journal of Harbin Institute of Technology,2015,47(11):89- 92.

[15] ASHRAF K H,GH S E T.Image segmentation scheme based on SOM-PCNN in frequency domain [J].Applied Soft Computing,2016,40:405- 415.

[16] 徐黎明,吕继东.基于最小交叉熵的改进PCNN杨梅图像分割算法 [J].西北师范大学学报(自然科学版),2016,52(1):43- 52. XU Li-ming,LÜ Ji-dong.Improved PCNN bayberry image segmentation algorithm based on minimum cross entropy [J].Journal of Northwest Normal University(Natural Science),2016,52(1):43- 52.

[17] CHEN Yu-li,MA Yi-de,KIM,et al.Region-based object recognition by color segmentation using a simplified PCNN [J].IEEE Transactions on Neural Networks and Learning Systems,2015,26(8):1682- 1697.

[18] QU Shi-ru,YANG Hong-hong.Infrared image segmentation based on PCNN with genetic algorithm parameter optimization [J].High Power Laser and Particle Beams,2015,27(5):270510071- 270510076.

[19] 王爱丽,董宝田,王泽胜,等.融合光流速度场自适应背景更新建模的交通场景中运动行人检测算法 [J].长安大学学报(自然科学版),2015,35(增刊)：184- 187,221. WANG Ai-li,DONG Bao-tian,WANG Ze-sheng,et al.Pedestrian detection algorithm based on optical flow velocity field and adaptive background modeling in traffic scenes [J].Journal of Chang’an University(Natural Science Edition),2015,35(Suppl):184- 187,221.

[20] 赵小川.MATLAB图像处理——程序实现与模块化仿真 [M].北京：北京航空航天大学出版社,2014:299- 301.

Pedestrian Detection Method Based on Adaptive Pulse-Coupled Neural Networks

WANG Ze-sheng1DONG Bao-tian1WANG Ai-li2

(1.School of Traffic and Transportation, Beijing Jiaotong University, Beijing 100044, China; 2.Information Technology Center of China Railway, Beijing 102300, China)

It is rather difficult to detect pedestrians accurately in the traffic images stained by speckle noise and intensity distortions under complex illumination. In order to solve this problem and improve the accuracy and automation level of information extraction from traffic images, a new pedestrian detection method, which is based on adaptive pulse-coupled neural networks, is proposed. In the investigation, first, the ignition contribution values between the central nerve and its neighborhoods are determined according to the quasi-Euclidean distance between pixels. Then, a key control parameter named initial threshold is set by merging gray feature and neighborhood information. Finally, multi-strategy morphological modifications are performed on the initial detection results to obtain the final pedestrian information. Experimental results demonstrate that the proposed method greatly eliminates the impact of noise, well restrains the over-segmentation, and helps to obtain satisfactory detection results with good adaptability.

intelligent transportation; pedestrian detection; pulse-coupled neural networks; computer vision; adaptability

2016- 09- 23

国家高技术研究发展计划(863计划)项目(2009AA11Z207)；教育部高等学校博士学科点专项科研基金资助项目(20110009110011) Foundation items: Supported by the National High-Tech R&D Program of China(863 Program)(2009AA11Z207) and the Research Fund for the Doctoral Program of Higher Education of China(20110009110011)

王泽胜(1987-)，男，博士生，主要从事智能交通与计算机视觉研究.E-mail：815345591@163.com

† 通信作者: 董宝田(1956-)，男，博士生导师，主要从事智能交通与铁路信息化研究.E-mail：btdong@bjtu.edu.cn

1000- 565X(2017)06- 0074- 07

U 298.2

10.3969/j.issn.1000-565X.2017.06.012