基于多任务学习的无参考超分辨图像质量评估
2021-08-24刘锡泽李志龙何欣泽
刘锡泽 ,李志龙 ,何欣泽 ,范 红
(1.东华大学 信息科学与技术学院,上海 201620;2.OPPO研究院,上海 200030;3.上海大学 通信与信息工程学院,上海 200444)
0 引言
单幅图像超分辨率重建(Single Image Super-Resolution Reconstruction,SISR)是图像复原的一种,其通过信号处理或者图像处理的方法,将低分辨率(Low-Resolution,LR)图像转化为高分辨率(High-Resolution,HR)图像[1]。目前,SISR被广泛应用在医学影像、遥感图像、视频监控等领域当中。近年来,许多SISR算法相继被提出,因此需要一种可靠的方式来衡量各种算法重建图像的质量好坏。
最可靠的图像质量评估方式是主观评分,但这种方式需要耗费大量的人力和时间,所以往往使用客观评价指标来对超分辨(Super-Resolution,SR)图像进行质量评估。最常用的图像客观评价指标是峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似度(Structural Similarity,SSIM)。但在 SISR领域中,这两个指标与人眼感知的一致性较低[2]。因此研究者们提出了一系列基于人类视觉系统(Human Visual System,HVS)的图像质量评估算法,如信息保真度(Information Fidelity Criterion,IFC)[3]、特征相似度(Feature Similarity,FSIM)[4]等算法,在图像质量评估数据库中的性能超过了PSNR、SSIM等传统算法。
由于以上算法都是全参考图像质量评估算法,需要HR图像的信息,在显示中HR图像往往是不可获得的,因此需要开发一种有效的无参考图像质量评估算法。Ma等人[5]针对SR图像提出了一种基于两阶段回归模型的图像质量评估算法,并创建了第一个SR图像质量评估数据库,包含用9种SR算法重建的1 680张SR图像与每张图像的主观质量分数。近年来,卷积神经网络(Convolutional Neural Network,CNN)被广泛应用在图像质量评估任务当中:Fang等人[6]首先提出了基于 CNN的 SR图像质量评估网络,Bare等人[7]和 Lin等人[8]分别在 CNN中引入残差连接和注意力机制,并取得了先进的性能。……
