基于特征融合粒子滤波的神经丝自动跟踪∗
2018-05-15袁亮郑爽买买提江卡斯木
袁亮,郑爽,买买提江卡斯木
(1.新疆大学机械工程学院,新疆乌鲁木齐830047;2.新疆医科大学第一附属医院,新疆乌鲁木齐830054)
0 引言
神经丝蛋白质是一种细长的圆柱形突起,它能在神经细胞中沿着神经轴突进行快速且随机的运动[1].分析神经丝蛋白质的运动特性和动力特性对于研究神经细胞有着很重要的作用.传统的神经丝蛋白质运动特性的分析跟踪方法是人工手动完成的,这不仅需要大量的劳动强度,而且精度很低[2].因此,建立一个完整的神经丝蛋白质的自动跟踪,以提高跟踪精度和降低劳动强度是必要的.神经丝蛋白质在神经轴突内运动,其运动具有无规则性,方向不定性,在运动过程中还可能出现伸长、缩短、弯曲和变形等情况.
随着计算机运算能力的飞速提高和存储成本的大幅度降低,使用计算机进行目标跟踪成为计算机视觉领域的一个重要研究课题.如今视觉跟踪技术已经广泛应用于民用和军事等众多领域,主要包括视频监视,如用于小区、银行、停车场等公共场所进行监控;智能交通方面,用于对交通流量的控制和检测车辆异常行为等;人机交互方面,通过对视频图像分析和识别,解读人的姿态、动作、手势等,达到人机智能交流的目的.在视频跟踪领域,目标自动跟踪算法如:卡尔曼滤波、扩展卡尔曼滤波、粒子滤波等,国内外已经有不少学者将理论的跟踪方法运用到各种跟踪领域.王新于、张桂林等人在光流法的基础上提出了多分辨率光流估计法,对目标进行检测[12].JI Yo-long等人利用粒子滤波的主轮廓跟踪算法跟踪形状复杂的目标[10];YUAN Liang等人提到的利用图像切割技术和马尔科夫随机场实现荧光显微图像的神经丝蛋白质跟踪[1],以及后来提出的利用粒子滤波算法跟踪神经丝蛋白质[2].
本文中,我们根据神经丝蛋白质的特点,以粒子滤波为基础,在空间—颜色直方图约束粒子分布的条件下,引入图像重心分布特征来修正直方图特征分布.这一特征对神经丝蛋白质的伸缩,变形和不规则运动有很强的跟踪不变性.融合了空间—颜色直方图和中心分布特征的粒子滤波可以对神经丝蛋白质的变化实现稳定跟踪.
1 传统粒子滤波算法
粒子滤波(Particle Filter)是一种贝叶斯理论框架下的状态估计方法.在蒙特卡罗方法的基础上将描述目标运动信息的变量组成目标的状态变量,并通过状态演化方程进行预测,然后利用观测信息对状态预测更新.粒子滤波方法在处理非线性非高斯性的目标估计方面有着自身的优越性.
标准粒子滤波算法的实现过程如下[9]:
(1)预测
式中:p为概率密度;X为状态量;Z为观测量;k为时刻值.
(2)更新
后验概率密度可用一组加权的随机样本近似表征为:
式中:N为粒子数;W为权值.权值更新为:
归一化权值:
(3)状态估计为
2 融合空间—颜色直方图和重心分布特征的改进算法
空间—颜色直方图在传统的颜色直方图的基础上增加了像素位置分布信息,因此描述的图像信息较传统颜色直方图更为丰富,分辨能力也更强.用这种空间—颜色直方图描述目标则能有效的区分颜色相似但像素空间位置分布信息不同的目标.而运动特征则根据之前的位置来预测当前位置的速度、加速度等有用信息.将运动和空间—颜色直方图进行有效的融合,实现精确跟踪的目的.
2.1 空间—颜色直方图法
空间颜色直方图类似于传统的颜色直方图,但考虑图像可能出现的颜色相似但像素空间位置不同的情况,对传统的颜色直方图引入描述空间位置的像素坐标.将目标的RGB颜色等级量化,引入量化函数b(lm),对于给定的状态X定义其核函数颜色分布函数为:
其中:M为目标的总像素数;l为目标的中心坐标(x,y)由目标状态决定;表示目标区域的大小;δ(.)为Delta函数;C为归一化因子,约束其中
K(.)为核函数,对于采样粒子,根据其分布特点,对于靠近目标中心的粒子赋予较大的权值,而处于离目标中心较远或者边缘粒子,粒子的权值应该较小.根据这个特点,我们采用高斯核函数:
其中x为像素距离目标中心的距离.
假设上一帧的目标模板Xk−1的核函数颜色直方图为当前候选目标Xk的核函数颜色直方图为,利用核函数颜色直方图的相似性度量建立Xk−1和Xk之前的相似度.本文采用Bhattacharyya系数度量:
其中ρ越大,表示两个区域的核函数颜色直方图越相似.该公式可进一步定义为相似性度量函数:
在此基础上,我们可以得到目标的观测概率分布函数:
其中:δc为颜色信息高斯分布的方差.通过观测概率分布函数可以看出,对于相似度高的粒子,对应的观测概率会比较大,即相似度高的粒子拥有较大的权值.
2.2 重心分布特征
图像目标在移动的过程中,会存在不确定因素的变化.考虑转动惯量对几何畸变(如平移、旋转、缩放)有较好的不变性[6].将粒子按照图像的重心,以转动惯量为分布条件,形成了粒子有效的分布特征.重心分布特征对神经丝的伸缩、旋转、不规则变化有很好的效果.引入重心分布特性可以很好的处理神经丝的不确定变化.
对于一幅数字图像中的M×N搜索框F(x,y),x=0,1,...,M−1;y=0,1,...,N−1,定义它的p+q阶矩mpq(f(x,y))为:mpq(f(x,y))
二值图像搜索框重心记为其中
则搜索框绕重心的转动惯量为:
根据搜索框的重心和转动惯量的定义,可以得到图像绕重心的归一化转动惯量为:
连续的两帧图像的搜索框中,对每个粒子区域进行求其归一化转动惯量值,假设前一帧的归一化转动惯量的值为N1,当前帧的归一化转动惯量的值为N2,判断两帧图像搜索框的相似度:
定义粒子的归一化转动惯量观测值为:
其中,ZN为归一化转动惯量的观测,PN为观测似然函数.
2.3 特征融合
对于利用空间—颜色直方图法能够很好的实现对神经丝蛋白质的跟踪,但是对于神经丝蛋白质的快速运动、物体形变、对象合并和分裂等等,依靠重心约束特性可以起到很好的限制作用.在跟踪的过程中,假设颜色特征和重心约束特征是两条独立的线索,且各自产生独立的观测.
通过上面的分析,本文将这两种方法以下面的方式进行结合,以实现更有效的跟踪.我们引入特征融合函数:
其中γ与(1−γ)分别为PK(Zk|Xk)和PN(ZN|Xk)的分配权值.在跟踪的过程中为应对实时的变化,对某一时刻的γ与(1−γ)可以用PK(Zk|Xk)和PN(ZN|Xk)的权重进行计算,即:
其中,n为跟踪所选取的粒子数目.
由上式可以得到:
设置初始值γ0=0.5,利用上式在随时刻变化的过程中γk根据上式自适应调整.
图1 特征融合分布
如图1所示,以采样12个粒子为例重要性权值的过程中,以颜色核函数作为基础,以归一化转动惯量观测值作为修正值.当跟踪目标出现速度突变或形变时,归一化转动惯量会随着相似度(18)的变化发生相应的左右移动.修正后得到的特征融合函数(19)更能体现采样粒子的重要性特征.
假设动态系统用一下状态空间模型表示:
其中,Xk为k时刻(k≥0)的系统状态向量,Uk为系统的随机噪声,F(•)为系统的状态转移模型;Zk为k时刻的系统观测向量,Vk为随机观测噪声,H(•)为系统观测模型.
粒子的权值为:
归一化权值:
目标估计:
算法实现的步骤:
1)粒子初始化:在初始帧位置手动框选所要跟踪的模板,初始化γ0=0.5,初始化粒子状态分布为并计算目标区域的空间—颜色直方图和重心约束特征值.
2)粒子状态转移:根据(12)和(18)计算出直方图观测值和归一化转动惯量观测值,通过(19)计算出特征融合函数.
3)粒子权值计算及目标状态估计:根据(23)、(24)、(25)计算其权值和目标估计.
4)重采样:根据粒子的权值从粒子集重新抽取n个粒子,具体过程为:计算粒子集的累计权值,在粒子集中搜索使的最小j,并令为在[0,1]上均匀分布的随机数;形成新的粒子集
5)返回步骤2继续跟踪.
3 实验结果及分析
为验证上面跟踪方法的有效性和准确性,本文进行仿真实验.所用设备为:Intel core i5处理器,内存4G,通过Matlab编程实现.实验一为在荧光显微镜下录制的真实视频,对视频中的单一神经丝进行跟踪.视频分辨率为,共84帧,本实验选择视频中的第27帧、45帧、50帧、60帧.前三帧均为速度突变帧,第60帧为神经丝形变帧.并分别给出原图(图1),100个粒子下的粒子滤波跟踪图(图2)和100个粒子下的特征融合改进算法下的跟踪图(图3).
图2 初始图片
图3 传统粒子滤波跟踪下的目标跟踪图片
图4 特征融合下的目标跟踪图片
图5 跟踪位移对比图
图6 速度对比图
实验二:在原来的基础上加入白噪声方差为0.01,相应的得到在对比图:
图7 加入白噪声的标准粒子滤波
图8 加入白噪声的特征融合粒子滤波
图9 加入白噪声的跟踪位移对比图
图10 加入白噪声的速度对比图
针对实验一仿真得到的图像进行分析:
图3通过传统的粒子滤波方法进行目标跟踪,银白色为染色的神经丝蛋白质,在高倍显微镜下观察得到的图形.神经丝在移动的过程中是随机且无规则的运动,会出现速度跳变以及伸缩变形等情况.在第27、45、50、60帧的时候出现跟踪框与跟踪目标有较大偏差.
图4是在传统的粒子滤波跟踪的基础上加入了特征融合算法,在传统粒子滤波跟踪出现较大偏差的情况下依然可以实现精确的跟踪,具有更好的准确性.
图5为跟踪位移对比图,实线的线条为通过手动标定每一帧跟踪目标中心点所得到的跟踪目标的位移曲线图.虚线为自动跟踪的过程中搜素框中心点的连线,即自动跟踪的位移曲线图.对比两种跟踪算法的位移曲线图,在神经丝运动出现偏移的情况下传统的粒子滤波跟踪会出现偏差,再进行漫漫修正.而改进的粒子滤波算法则可以更有效的在跟踪目标出现偏移的情况下进行跟踪.
图6为跟踪的速度变化对比图,实线的线条为通过手动标定每一帧跟踪目标中心点所得到的跟踪目标的速度曲线图.虚线为自动跟踪的过程中搜素框中心点的速度曲线图.可以明显看出在速度出现较大变化的时候传统的粒子滤波跟踪的速度变化反应较慢,而改进的粒子滤波在一定程度上更能很好的反应神经丝速度变化,在跟踪上具有更好的鲁棒性.
对于实验一仿真得到的图像进行分析:
同样对比图7和8可以看出,在同样加入白噪声的情况下,在标准粒子滤波算法的跟踪下出现了较大的偏差,在特征融合的情况下得到的跟踪效果更好.图9和10可以看出加入白噪声的情况下特征融合粒子滤波的跟踪也能够很好的保持和手动标定的相似度.
表1 有效粒子数对比表
表1所示为传统粒子滤波算法和基于特征融合算法的有效粒子数对比结果.从表中可以看出基于特征融合的粒子滤波算法在神经丝跟踪的有效粒子数高于传统粒子滤波的有效粒子数,得到的跟踪效果也较好.但在增加特征的情况下,跟踪时间较传统的粒子滤波高,运算量有所增加.
4 总结
由于神经丝蛋白质的重要医学研究作用,在跟踪其运动规律的过程中精度要求比较高,以此来分析神经丝的运动性质.但对于神经丝的不确定性、非线性运动及可能出现的伸缩变形等对跟踪提出了巨大的挑战.传统的粒子滤波可以在一定程度上达到跟踪的目的,但后续的分析数据偏差较大.本文提出的融合空间颜色特征和转动惯量特征的改进粒子滤波算法,根据神经丝的采样视频的特点,利用空间—颜色直方图法来描述具有很大的优势.对于跟踪过程中神经丝的突变和伸缩变形特性,采用重心约束特征方法进行约束,并和空间颜色特征融合.实验结果表明,基于空间—颜色特征和重心约束特征融合的粒子滤波算法在神经丝蛋白质的跟踪中具有更好的准确性和鲁棒性.
参考文献:
[1]Yuan Liang,Zheng Yuan F.Object Tracking With Particle Filterring In Fluorescence Microscopy Images:Application to the Motion of Neurof i laments in Axons[J].IEEE Transaction on Medical Imaging,2012,31(1):117-130.
[2]袁亮.基于粒子滤波算法的神经丝自动跟踪[J].计算机工程与应用,2013,50(9):25-31.
[3]M Sanjeev Arulampalam,Simon Maskell.A Tutorial on Partical Filter for Online Nonlinear/No N-Gaussion Bayesian Tracking[J].IEEE Transactions on Signal Imaging,2002,50(2):174-188.
[4]柯泽贤,江汉红,张朝亮,等.融合运动和颜色特征的视频目标粒子滤波跟踪[J].计算机仿真,2015,32(02):347-352.
[5]李志鹏,赵捍东,李元.基于粒子群改进粒子滤波的机动目标跟踪方法[J].探测与控制学报,2014,36(3):31-40.
[6]杨小冈,付光远,等.基于图像NMI特征的目标识别新方法[J].计算机工程,2002,28(6):149-151.
[7]张问银,唐建国,曾振柄.基于NMI不变特征的图像检索方法[J].计算机应用,2003,23(9):55-57.
[8]于金霞,许景民.多特征融合的自适应性粒子滤波跟踪算法[J].计算机工程与应用,2014,50(18):178-181.
[9]王法胜,鲁明羽,赵清杰,等.粒子滤波算法[J].计算机学报,2014,27(8):1679-1694.
[10]季玉龙,杨光,戈文一.基于粒子滤波的目标主轮廓跟踪算法[J].电子科技大学学报,2015,44(1):91-96.
[11]张娟,毛晓波,陈铁军.运动目标跟踪算法研究综述[J].计算机应用研究,2009,26(12):4407-4410.
[12]王新余,张桂林.基于光流的运动目标实时检测方法研究[J].计算机工程与应用,2014,1(4):43-46.