郑茗化 白本督 范九伦 魏雅娟 焦瑞芳

关键词： 图像处理; 图像风格化转换; 深度学习; 卷积神经网络; 特征提取; 局部均方差

中图分类号： TN958?34; TP751.1         文献标识码： A                          文章编号： 1004?373X（2019）14?0144?04

Neural network image style transfer based on local mean square error

ZHENG Minghua1，2，3， BAI Bendu1，2，3， FAN Jiulun1，2，3， WEI Yajuan1，2，3， JIAO Ruifang1，2，3

（1. School of Communications and Information Engineering， Xian University of Posts & Telecommunications， Xian 710121， China;

2. Key Laboratory for Electronic Information Investigation Application Technology of Ministry of Public Security， Xian 710121， China;

3. International Cooperation Research Center of Wireless Communication and Information Processing Technology of Shaanxi Province， Xian 710121， China）

Abstract： Gatys and others first use the deep learning?based method to separate and reorganize the contents and styles of images， so that image style can be transformed arbitrarily， which opens up a new field of image style transformation based on neural networks. On the basis of the research of Gatys and others， the local mean square error denoising method is introduced in this paper. The local mean square error is taken as part of the neural network loss function， and the weighted algebraic sum of the three loss functions is taken as the total loss function of the neural network by combining the content loss function and style function. The results show that the method proposed in this paper can effectively improve the image quality output by the style transformation algorithm while performing image style transformation， which makes image noise points significantly reduced and produces smoother images.

Keywords： image processing; image style transformation; deep learning; convolutional neural network; feature extraction; local mean square error

圖像风格转换，本质上是使图像由当前风格转换成另一种风格。图像风格转换的传统方法是基于计算机图形学的非真实感渲染（NPR）。非真实感渲染技术自出现到现在一直是图形学研究的热点问题，经过无数专家学者的努力，已经取得了一系列的成果。非真实感渲染是一种模仿人类艺术表现的计算机图形技术，自20世纪90年代以来一直被研究[1]。大多数研究工作都集中在具体风格的表达上，如画家风格、笔墨和水彩画。 这些是基于笔画的渲染（SBR）方法，该方法使用笔触笔画作为基本元素[2]，各种风格可以通过对每个画笔笔画进行建模来表达。然而，每种风格都需要一种独特的绘画方法，因此在单个框架中表示各种风格并不容易[3]。Gatys等人首次使用深度学习中的卷积神经网络来进行图像风格化转换[4]，其核心是利用神经网络来分离与组合任意图像的内容和风格。基本想法是利用一个多层的卷积神经网络抽象出给定图像里一些高级的隐藏特征来模仿图像风格，并把这个风格应用到一个新的图像上。而在纹理转换领域，传统方法之所以没能取得这么惊人的效果，其本质原因在于，非深度学习的方法只能获取到目标图像低层次的图像特征。所以这些方法无法独立地对图像的语义内容和风格的变化进行有效的建模，从而无法很好地对两者进行解耦和合成。……