基于深度学习的图像风格迁移研究进展
2021-06-11陈淮源张广驰周清峰
计算机工程与应用 2021年11期
陈淮源,张广驰,陈 高,周清峰
1.广东工业大学 信息工程学院,广州510006 2.东莞理工学院 电子工程与智能化学院,广东 东莞523808
在图像处理领域中,图像风格迁移是一个有趣的研究热点,其主要任务是将一张图像的风格迁移到另一张图像上,这也被认为是一个纹理迁移问题,即在目标图像上合成源图像纹理的过程,其描述如图1所示。传统非参数的纹理合成方法通常是在原始纹理图像上进行重采样来合成新纹理,这只是一个在不改变其感知属性条件下随机化原始纹理的过程,在处理结构简单的图像上可以获得较好的效果,但在颜色和纹理复杂的图像上的处理效果难以令人满意,无法符合实际应用场景的需求。

图1 图像风格迁移示意图
随着深度学习[1-2]的兴起,Gatys等人[3]提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)的高效参数纹理建模方法,通过预训练VGG模型[4]提取图像的抽象特征表示,构造Gram矩阵作为图像的风格表征,即利用特征图之间的相关性来表示纹理模型。基于这种风格表征方法,Gatys等人[5-6]开创性地提出了神经风格迁移,其核心原理是对图像数据进行特征拟合,使用预训练VGG模型作为图像特征提取器,显式地分离图像内容和风格的抽象特征表示,通过独立地处理这些特征表示来生成具有原图像内容和新风格的风格化图像。
神经风格迁移展现出了非常出色的视觉效果,引起了学术界和工业界的大量关注,但是神经风格迁移背后的原理仍然不清楚。……
登录APP查看全文
