基于自注意力机制的单幅图像去雨滴方法
2021-06-03刘双元江佳俊
郭 嘉,蒋 旻*,刘双元,江佳俊
(1.武汉科技大学 计算机科学与技术学院,湖北 武汉 430065;2.智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学),湖北 武汉 430065)
0 引 言
图像去雨滴属于图像去噪[1-4](图像去雨[5]、去雾[6]、除雪[7]、超分辨[8])范畴,它的最终目的是改善给定的图像,解决实际图像由于雨滴干扰而导致图像质量下降的问题,给户外视觉应用(如目标追踪[9]、物体识别[10]、动作识别[11]、目标检测[12])提供帮助。通过去雨滴可以有效地提高图像质量,更好地体现原来图像所携带的信息。作为一种重要的预处理手段,人们对图像去雨滴[13]算法进行了广泛的研究。由于雨滴的透镜效果,在现有的去雨滴算法中,雨滴去除效果较好,却丢失部分图像边缘信息,或者有的致力于研究检测图像边缘信息,保留图像细节,雨滴消除的就不完全。同时由于网络结构的复杂,还可能面临参数量巨大的问题。如何在消除雨滴和保留细节上找到一个较好的平衡点,同时如何在保持去雨效果的同时控制参数量,都成为近年来研究的重点。
注意力机制由于其可以从众多信息中选择出对当前任务目标更关键的信息的特点,在深度学习领域(如语音识别、机器翻译等)上得到广泛的应用。最近提出的新的注意力机制——非局部神经网络(non-local neural networks)[14]可以很好地解决图像中长距离约束。在去雨应用中,该算法可以通过非局部神经网络[14]的逐像素相乘的方式,得到每个像素间的一个权重矩阵,该矩阵可以表达雨滴覆盖下的背景像素与其他背景像素的相关性,将输入特征映射为上面每个位置的特征值赋给对应的位置,其他位置全部清零,从而实现自注意地由其他背景信息来预测当前位置的背景信息。……
