刘 清，李世超，王文杉，师文喜，成科扬

结合时序网络和金字塔融合的稳像修复方法

刘 清1,2,3，李世超1,2,3，王文杉4，师文喜5，成科扬1,2,3

(1. 江苏大学计算机科学与通信工程学院，江苏 镇江 212013； 2. 江苏大学网络空间安全研究院，江苏 镇江 212013； 3. 江苏省大数据泛在感知与智能农业应用工程研究中心，江苏 镇江 212013； 4. 中国电子科学研究院社会安全风险感知与防控大数据应用国家工程实验室，北京 100041； 5. 新疆联海创智信息科技有限公司，新疆 乌鲁木齐 830001)

针对视频稳像领域内视频图像缺损填充效果不佳，严重影响视觉效果，且导致稳像处理后的视频不稳的黑边填充问题，提出了一种基于时序网络预测和金字塔融合的图像修复方法。首先结合预裁剪机制自适应判断当前帧是否需修复；然后将截止至当前时刻的所有帧送入卷积神经网络(CNN)和门控循环单元(GRU)的模型进行待填充部分的预测；随后采用改进的加权最佳缝合线进行拼接并在高斯拉普拉斯金字塔中进行图像融合重构；最终在重构完成后裁剪尺寸。实验结果表明，该方法平均峰值信噪比(PSNR)相较于对比算法提高了2~5 dB，平均结构相似度(SSIM)较对比算法提升了约2%~7%。该方法修复后的视频缺损填充自然，视觉效果较为稳定，即使在黑边面积较大时也有良好的修复效果，可用于多种摄像平台及不同场景下。

视频稳像；视频图像修复；时序网络；金字塔融合；最佳缝合线

随着视频采集设备在生活中的广泛使用，电子稳像技术成为研究热点。……