神经风格迁移模型综述
2021-10-14唐稔为刘启和
计算机工程与应用 2021年19期
唐稔为,刘启和,谭 浩
电子科技大学 信息与软件学院,成都 610054
绘画是艺术的一种表现形式,优秀的画作总是会吸引到大众的目光,在过去,一幅优秀的画作需要耗费一个专业的画家大量的时间来精雕细琢。现在随着计算机视觉的兴起,科学家们开始研究如何利用计算机技术将普通图像转换为艺术画作,风格迁移技术应运而生。风格迁移技术不仅可以用于绘制艺术风格图像,也可用于娱乐行业,例如影视、动漫的制作,将需要由人工逐步制作的背景渲染、漫画上色等交由风格迁移网络来批量完成,极大地缩短了制作时间,降低了制作成本。
图像风格迁移可以理解为对图像进行重新渲染,在保持其内容特征不变的情况对其颜色、纹理等进行改变的过程。风格迁移技术主要分为传统风格迁移技术和神经风格迁移技术(Neural Style Transfer,NST)。
传统迁移技术主要包括早期的非真实感渲染(Non-Photorealistic Rendering,NPR)[1-3]和纹理迁移[4-6]。NPR可对特定艺术风格,如水彩画、油墨画以及中国风的古典画等各种画风进行数字化模拟。根据渲染方式不同,NPR 可细分为三类:笔触渲染、图像类比和图像滤波。Meier[7]提出基于笔触渲染的画笔模型,可以模拟油画生成的过程;Hertzmann等人[8]提出图像类比的概念,在有监督的状态下改变原图风格;Winnemöller等人[9]引入双边滤波器和高斯差分滤波器来自动生成卡通风格图像。
纹理迁移技术主要用于纹理合成,即根据参考图像来对输入图像进行纹理填充,使得生成图像具有类似于样图的纹理风格,适用于处理纹理简单且重复的图像,如木纹、砖块和墙面等。……
登录APP查看全文
