APP下载

一种基于KL-KSVD的测量矩阵优化算法

2023-03-11刘知远刘有珠包学才

计算机仿真 2023年1期
关键词:字典高斯传感

刘知远,刘有珠,包学才,姜 灵

(南昌工程学院,江西 南昌 330099)

1 引言

据统计,中国在1990~2009年间受旱涝和极端气温影响的人口比例达7.95%[1],虽然在历年防洪努力下受灾人数逐步下降,但我国仍是世界受水灾影响最严重的国家之一[2]。想要更全面的监测环境对水资源影响情况,必须提高监测节点数量,为尽可能的节省传输带宽,亟需行之有效的数据压缩算法。

20世纪初,Caratheodry证明了信号在满足一定的前提条件下,可以通过远少于奈奎斯特采样定理所要求的样本数即可表征原始信号。2006年,Donoho发表“Compress Sensing”一文,标志压缩感知理论(Compressed Sensing,CS)正式提出[3],这一颠覆性的理论,打破了香农采样定理的限制,使超高分辨率图像采集变得可能。截至目前,压缩感知理论已在医疗造影、资源探测以及天文学测量等领域展现出强大的生命力[5],尤其在图像压缩方面研究很多:中国矿业大学的张侠等[6]利用FPGA将压缩感知应用在视频监控中,具有较好的细节还原效果;中国科学技术大学的奚昌凤[7]将压缩感知欠采样特征应用于动态MRI(核磁共振成像),加快了核磁共振成像速度。

图像的压缩感知算法主要分为三部分:信号的稀疏表示、测量矩阵和稀疏表示矩阵的构造以及重构算法的设计[8],其中测量矩阵由于贯穿整个压缩感知算法始终,决定了所能适应的信号稀疏度范围以及最低测量数目[9],对最终的重建效果影响巨大。

目前测量矩阵主要分为两类,一类是确定型测量矩阵,如局部哈达玛矩阵、多项式矩阵等;另一类为随机型,如随机高斯矩阵、随机伯努利矩阵等。但以上这些直接构造出的测量矩阵所达到的效果并不是最优的。研究表明,减小测量矩阵与稀疏表示矩阵之间的互相关性是优化测量矩阵的有效方法[10],此类方法首先通过测量矩阵和稀疏表示矩阵的乘积,构造对应的Gram矩阵,该矩阵的非对角线元素即是测量矩阵和稀疏表示矩阵的互相关系数,然后通过研究Gram矩阵的特性改善测量矩阵的性能。Xu[11]利用ETF的结构使得Gram矩阵的非对角元素值等于该阵的最大互相关系数;Tian[12]利用正交梯度因子矩阵来优化Gram矩阵从而达到去相关性的目的;Abolghasemi V[13]采用梯度下降迭代法来使得Gram矩阵接近于单位阵。这些方法概括来说都是通过减小测量矩阵与稀疏表示矩阵的互相关性得到更加优化的测量矩阵,但存在计算复杂且优化效果不明显的缺点。本文利用KL变换以及KSVD联合优化测量矩阵,减小测量矩阵与稀疏表示矩阵的互相关性,从而实现测量矩阵优化的目的。最后通过不同实验验证了联合优化测量矩阵算法的性能。

本文使用基于ARM处理器所设计的STM32F767开发板进行图像压缩,相较于传统X86架构计算机拥有稳定性高价格低的特点,非常适合在野外恶劣环境对水文信息进行监测采集。

2 压缩感知理论

若信号x本身是稀疏的,或在某一变换域内是稀疏的,那么可以通过求解最优l1范数下凸优化问题来精确复原信号x,稀疏指的是正交基的变化系数的绝对值很小,通俗来说即是非零点个数远远小于总的点数。

假设长度为N的一维稀疏信号x在某一测量矩阵Φ的正交投影为y,y∈N×1

y=Φx

(1)

其中测量矩阵Φ=[φ1,φ2,φ3,…,φN]大小为M×N(M

y=Φx=ΦΨΘ=AΘ

(2)

式中:稀疏表示矩阵Ψ=[ψ1,ψ2,ψ3,…,ψN]大小为M×M,传感矩阵A=ΦΨ大小M×N。在已知测量值y和传感矩阵A的前提条件下,信号重构过程如下

(3)

因为M

(4)

此时可通过凸优化算法[14]进行求解,例如正交匹配追踪(Orthogonal matching pursuit,OMP)算法[15]等。

3 KL变换与KSVD字典学习联合优化测量矩阵

Tao和Candès证明了传感矩阵A应该满足约束等距性条件(RIP),但想直接确认一个矩阵是否满足RIP条件是十分困难的事情,Baraniuk证明了RIP的等价条件是测量矩阵和稀疏表示基是不相关的,即测量矩阵Φ中的i行不能由变换域矩阵Ψ中的k列进行表示,反之亦然。通过减小测量矩阵与稀疏表示矩阵之间的互相关性可优化测量矩阵以提高复原概率[10],不同于对互相关性的传统定义

(5)

文献[16]提出了基于Gram矩阵的t-平均互相关性,能够更好的描述互相关性。定义如下

(6)

本文优化算法主要思想是利用KL变换来减小测量矩阵与稀疏表示矩阵之间的互相关性,在每次对传感矩阵做KL变换的同时利用KSVD对稀疏表示矩阵进行优化。KL变换又称卡洛南-罗伊变换,通过原始数据协方差矩阵的特征向量构成主成分变换矩阵G,利用矩阵G对原始数据线性变换,经过变换的数据,其协方差矩阵以及相关矩阵中非对角线元素都是零或近似等于零,即各数据分量之间存在不相关性。由于KL变换只能对一维信号进行,因此对矩阵进行KL变换时将逐行进行,具体操作如下:

假设X=(X1,X2,X3,…,XN)T是一组N×1维随机矢量,计算出X的均值mX=E(X)以及协方差矩阵CX=E{(X-mX)(X-mX)T},为确定主成分变换矩阵G,需求出协方差矩阵的特征值λi以及特征向量e,矩阵G的每一列为协方差矩阵CX所对应的特征向量,再将矩阵进行正交化,使其满足G-1=GT,得到最终的主成分变换矩阵G,即

(7)

上式中的eij(i,j=1,2,…,N)表示第i个特征值的第j个分量。

按照KL变换定义,利用矩阵G对X进行正交变换,即Y=GX,此时Y的均值

mY=E(Y)=E(GX)=GE(X)

(8)

又因为CY=E{(Y-mY)(Y-mY)T},将式(8)代入容易得

CY=GE{(X-E(X))(X-E(X))T}GT

(9)

(10)

式中:CY对角线元素为Y各点数据的方差。按照λ1>λ2>…>λN大小排列,清晰的展示了各分量之间的离散程度,除主对角线外其它元素为零或近似为零表明了信号经KL变换后数据相关性被大大减弱。同时KL变换为线性变换,可以简单理解为将原始数据所处坐标系进行旋转变换得到新的坐标系,在新的坐标系中,数据将变得具有非相关性,不同于奇异值阈值法等其它去相关性方法,KL变换在去除相关性的同时保留了原信号的特征。

KSVD是一种常用的字典学习方法,其主要思想是利用样本逐步更新字典D中的原子,从而得到更加准确反映样本特征的新字典。若D∈m×K,x∈K,y∈n分别代表字典、训练信号以及训练信号的稀疏表示向量,是n个训练信号的集合,称样本矩阵,为Y的解向量集合,称稀疏编码矩阵,因此KSVD字典学习的目标函数为

(11)

其中,xi(i=1,2,…,K)为矩阵X的行向量,为字典矩阵的系数,约束其l0范数不大于阈值T0使X尽可能稀疏。

(12)

上式中稀疏矩阵X利用OMP算法求解,而字典D通过SVD分解进行求解。

(13)

综上所述,结合压缩感知基本原理得出需要求解的最终目标函数

(14)

(15)

经过M次KL变换后得到新的传感矩阵:

(16)

此时M×N维传感矩阵任意行的协方差矩阵为对角阵,除主对角线外其余元素为零,Cii与Cij的相关性大大削弱,即减小了测量矩阵与稀疏表示矩阵之间的互相关性。利用具有不同特点的训练图像得到不同的稀疏表示矩阵Ψ,不断重复上述过程直至迭代结束。

具体算法步骤如下:

输入:随机训练信号序列X∈N×N,Ψ-稀疏表示矩阵,Φ-测量矩阵,Iter-迭代次数;

输出:ΦIter、ΨIter;

初始化:k=0;

Step1:将训练信号X投影至Y上,Y=ΦX;

Step2:通过正交匹配追踪算法(OMP)得到Θ,并利用KSVD得到更新字典,获取传感矩阵D=Φ,D的行向量数目为I;

Step3:将传感矩阵D的第i行转置得到d,计算u=E(d)与协方差矩阵Cd,Cd的特征向量与特征值分别为vj和λj,1≤j≤N,得到特征向量矩阵V=[v1,v2,…,vn];

Step4:变换传感矩阵的第i行=(V*T(d-u))T,其中V*为V的正交化矩阵;

Step5:i=i+1,若i=I,执行Step6,否则转回Step3;

4 实验结果与分析

为验证优化测量矩阵算法的有效性,本文选取两幅图像进行算法测试实验,分别是大小为512×512的Lena图像以及由STM32F767开发板所拍摄的大小为512×512的Scenery图像。重构算法选用凸优化算法中的OMP算法。初始测量矩阵Φ选择随机高斯矩阵,初始稀疏表示矩阵Ψ由DCT稀疏基组成。为提高算法运行速度,对原图像做8×8大小的分块处理,每小块都转换为列向量作为输入信号,最终将图像转换大小为64×4096的训练序列。因为测量矩阵为随机高斯矩阵,为保证实验结果准确性,所有结果均为10次迭代15次实验的平均值。

基于式(6),通过改变测量数目M 的大小来验证本文算法优化测量矩阵的有效性。因为本文的优化算法属于联合优化算法,所以对传感矩阵只进行KL变换(KL优化)以及对传感矩阵KL变换联合KSVD(本文优化)分开测试以获得更加清晰的对比效果,并以随机高斯矩阵(未优化)为参考,得到测量矩阵的μt{D}如表1所示。

表1 不同测量矩阵的t-平均互相关性,t=0.8

根据表1可以看出测量矩阵在经过优化算法处理后μt{D}变小,即优化方法可以减小t-平均互相关性。值得注意的是若只对传感矩阵做KL变换而不联合KSVD算法,μt{D}值并没有显著的降低,而联合KSVD后,μt{D}相较于未优化的随机高斯矩阵可平均减少0.17。

接下来为更加直观反应优化算法效果,分别利用本文优化算法得到的随机高斯矩阵与未优化的随机高斯矩阵对Lena 与Scenery图像进行算法测试实验,采样率设为0.4,下面将从主观感受以及峰值信噪比(Peak Signal to Noise Ratio,PSNR)两个角度进行评价,得到重构图像如图1、2所示。

图1 优化算法在采样率为0.4时重构Lena图像效果图

从主观视觉感受来说经优化后的测量矩阵获得的重构效果有很大改善,图1(c)与图1(d)的视觉效果好于图1(b),图1(b)PSNR值最低,整体存在大量噪点且块分割现象十分明显;图1(d)在头发帽檐等细节区域显示清晰,面部区域也要比图1(b)显的更加光滑,但存在不太明显的块分割现象;图1(c)与图1(d) PSNR非常接近,图1(c)视觉的效果虽也远好于图1(b)但在人物轮廓等细节处仍差于图1(d)。图2(b)的效果远差于图2(c)与图2(d),树叶以及后方大楼的窗户模糊不清,天空处噪点也比图1(b)更加严重;图2(d)中细节得到较好还原,天空也基本没有噪点,但因为天空处画面较为单一,所以分块显得更加明显。

图2 优化算法在采样率为0.4时重构Scenery图像效果图

在以上实验的基础上,将采样率提高至0.6,利用优化算法同时对Lena与Scenery图像进行重构,得到结果如图3、4所示。

图3 优化算法在采样率为0.6时重构Lena图像效果图

从图3(b)和图4(b)可以看出,虽然采样率有所提高但随机高斯矩阵重构图像得PSNR提升不大,观察Scenery的天空以及Lena的面部,仍可看到较为严重的噪点;而从图3(d)、图4(d)和图1(d)、图2(d)可以看出,重构图像的质量随采样率提高有较为显著的提升,PSNR平均提升3.66dB,分块效应消失且细节轮廓也更加清晰;而KL优化矩阵重构图像质量从视觉上以及PSNR上都依然不如本文优化矩阵,图4(c)下方树木存在波纹状扭曲。至此可以说明,经本文算法优化后的测量矩阵重构图像的视觉效果提升明显。

图4 优化算法在采样率为0.6时重构Scenery图像效果图

为更全面测试优化算法性能,对Lena与Scenery进行更多不同采样率的测试,引入文献[11]与文献[12]优化测量矩阵方法并以重构误差作为评价标准进行测试,对Lena与Scenery算法测试实验结果的重构误差曲线如图5所示。

从图5(a)来看,当采样率设定在0.4~0.9之间,重构误差随采样率增加总体不断减小,当只对传感矩阵进行KL变换优化后重构误差即可显著降低,而在联合KSVD后得到了更加理想的效果。虽然采样率为0.42左右时,本文优化矩阵重构质量因为不够稳定导致比KL优化矩阵要差,但在0.45~0.8之间时本文优化方法拥有最低的图像重构误差,即重构图像效果最好。尤其在0.45~0.65之间时,本文优化方法与其它方法的差距更为明显。采样率为0.5~0.6时随机高斯矩阵重构误差曲线并不是平滑下降,说明存在较严重的不稳定性。图5(b)情况总的来说与图5(a)类似,不多赘述。两幅图像重构的PSNR如图6所示。

根据图6可以看出PSNR随采样率增加而提高,更高的采样率意味着更多的测量数目,对原信号的采集到的信息也越多,自然PSNR变得更大,复原效果也越好。根据实验可得出本文优化矩阵平均比未优化的高斯矩阵提高9.93dB,但依然存在着在采样率较低情况下重构质量不稳定的问题。图6(a)与图6(b)总的来说除采样率为0.42左右外,本文优化优化矩阵要总体好于其它优化方法,在0.62~0.8差距更加明显。通过以上分析,得出了除压缩率较低复原不稳定情况外,本文算法重构质量最好,且与未优化的高斯矩阵差距明显。

图5 不同优化算法在采样率为0.4到0.8之间两幅图像重构误差关系曲线

图6 不同优化算法在采样率为0.4到0.8之间两幅图像峰值噪比关系曲线

表2 不同采样率下Lena图像重构时间(s)对比

表2为当采样率分别为0.4、0.6、0.8时,Lena图像的重构时间对比,重构算法依然选择OMP算法,算法测试环境为Win10操作系统,CPU主频2.3GHz,运行软件MATLAB2017b。从表2可以看出本文优化测量矩阵重构图像所用时间最短,随着采样率的增大,重构图像时间差距变大。虽然其它优化方法相比未优化测量矩阵拥有很好的图像复原效果,但重构图像耗时却要高于未优化的随即高斯矩阵。通过以上实验结果可以得出本文算法可在拥有更高复原质量的前提下减少重构时间,尤其是在采样率大于0.4的情况下此效果更加显著。

5 结语

本文从减小测量矩阵与稀疏表示矩阵的互相关性角度出发,提出一种基于分块的KL变换与KSVD联合优化测量矩阵算法。根据对实验结果分析可知,本文算法可成功优化测量矩阵,经本文优化算法优化后的测量矩阵拥有更小的平均互相关系数μt{D},即重构图像有更高复原效果,并且拥有更少的重建时间,尤其在采样率较大时,重构时间与其它方法相差明显。但此方法仍存在不足之处,例如在采样率较低时存在分块效应,同时因为需要通过字典学习来优化测量矩阵,因此优化过程较为复杂,未来可以采用学习速度更快的字典学习方法来进一步优化算法。

猜你喜欢

字典高斯传感
《传感技术学报》期刊征订
新型无酶便携式传感平台 两秒内测出果蔬农药残留
数学王子高斯
天才数学家——高斯
字典的由来
IPv6与ZigBee无线传感网互联网关的研究
大头熊的字典
正版字典
从自卑到自信 瑞恩·高斯林
某型Fabry-Perot光纤应变计的传感特性试验