深度学习中的图像多风格迁移算法
2021-08-02石剑平
软件导刊 2021年7期
李 超,石剑平,姜 麟
(昆明理工大学 理学院,云南 昆明 650500)
0 引言
图像风格迁移又称为图像风格转换,是在保持原图像语义内容不变的情况下,将艺术图像的风格迁移到内容图像上。该操作被广泛应用于社交活动、娱乐应用、户外创作等领域,通过风格迁移可得到新的艺术作品。
早期风格迁移方法为非真实感绘制(Non-photorealis⁃tic Rendering,NPR),其图像渲染方法主要分为以下4 种:笔触渲染[1]、区域渲染[2]、实例渲染[3]和基于图像处理滤波器技术的渲染[4-5]。这些渲染技术虽然能有效对内容图片进行风格化处理,但都是通过原始图像的底层信息完成,并没有利用高层抽象信息。在传统的风格迁移过程中,内容图的风格与语义信息分离是前提条件,也是重点和难点。在深度学习理论被提出后,Gatys 等[6]首次将卷积神经网络应用于图像风格迁移中,并取得了良好效果,解决了传统方法的局限性;Li 等[7]应用拉普拉斯损失增强边缘信息,使细节和轮廓边缘更加明显;Dmitry 等[8]提出一种实时神经网络风格算法;Johnson 等[9]通过引入前馈式传输网络实现了图像的快速风格转换。但上述学者提出的神经网络算法均丧失了原始算法[6]的灵活性,风格迁移网络的目的单一性问题没有被解决,更换风格样式时需要重新训练网络,增加了风格迁移的工作量。
综上所述,目前风格迁移方法局限于单一风格,且当语义信息与风格信息不匹配时容易发生色彩溢出现象。在实际应用中,原始图像的语义信息不同,所要求的风格信息也不同,因此单一风格迁移会导致原图像中所有语义信息均偏向于单一风格,使生成的语义信息被破坏。……
登录APP查看全文
