钱文华， 徐　丹， 普园媛， 徐　瑾， 何　磊， 廖东伟

(1. 云南大学计算机科学与工程系，云南 昆明 650091；2. 云南大学研究生院，云南 昆明 650091)

非真实感绘制漫画艺术效果的研究与实现

钱文华1， 徐丹1， 普园媛1， 徐瑾2， 何磊2， 廖东伟1

(1. 云南大学计算机科学与工程系，云南 昆明 650091；2. 云南大学研究生院，云南 昆明 650091)

提出了一种基于非真实感绘制的漫画艺术效果绘制算法。算法首先将输入图像从RGB色彩空间转换为LAB色彩空间，通过双边滤波及色彩量化的方法对输入图像进行处理，获得连续的、局部区域色彩一致的结果图像，可通过权值等参数对滤波及量化程度进行控制。其次，采用DOG滤波器和阈值处理求取输入图像的边缘信息，获得连续的、清晰的边缘。最后将边缘图像融合到量化结果图像中，获得最终的漫画艺术效果。从最终的漫画艺术绘制效果看出，该算法简单、易于实现。

非真实感绘制；漫画；双边滤波；量化；DOG滤波

非真实感绘制(non-photorealistic rendering, NPR)是计算机图形学中的一个研究热点，通过使用计算机生成不具有照片的真实感，而具有手绘风格的图形技术是 NPR研究的内容，其可方便地绘制出富有艺术表现力的图像，受到文化产业、旅游业等各方面的关注。随着技术不断的成熟，NPR可以运用到各个领域，如图像美化、动画制作、景区风景宣传、商业娱乐欣赏等。

“漫画”(cartoon)一词由英文音译而来，随着时代的发展，漫画的风格也不断发生改变，一般通过归纳、夸张、变形的手法来塑造各种形象，且符合NPR的特点，并可以利用其技术绘制图像，产生漫画艺术效果。此外，漫画常用于动画领域，如转描机技术逐帧追踪真实运动物体，直接转换为漫画的动画场景，图1显示了转描机技术产生漫画艺术效果的过程[1]。

图1 《恶之华》转描机技术生成漫画效果[1]

图像分割技术有利于产生非连续的着色区域，常被用来产生漫画效果。DeCarlo和Santella[2]基于mean-shift图像分割方法，实现了图像多层次抽象绘制，将图像转换为漫画风格；David等[3]基于mean-shift滤波和特征最小化方法对输入图像进行处理，产生区域简化的漫画风格化效果，有利于图像压缩。然而图像分割后的每一个分割区域形成一个闭合边缘，边缘线条化过程使处理速度变慢，不适应实时绘制。此外，通过滤波方法能产生类似漫画的效果，如Kyprianidis等[4]采用双边滤波平滑局部区域，对静态和视频图像进行抽象绘制；Obrenovic和Martens[5]基于图像特征产生的矢量场进行各向异性滤波，并通过交互方式获得类似漫画艺术效果；文献[6]提出了L0滤波方法对输入图像进行抽象化，保留了较高对比度区域的细节；文献[7]采用双边滤波算法，对单幅图像进行图像增强；Song等[8]采用数据驱动的方法对人脸图案进行了漫画效果处理；文献[9]通过差分滤波对图像边缘的细节信息进行编辑。通过滤波方法提高了处理速度，但边缘在抽象艺术效果中具有重要的作用，需要对轮廓细节进行增强，本文通过高斯差分(difference of Gaussian, DOG)方法与滤波结果的融合，提升轮廓细节信息。Collomosse和Hall[10]使用遗传算法在输入图像中搜寻有意义的绘画区域，因此接近理想艺术效果的显著细节被保留下来，而没有显著细节的区域被弱化，同样存在绘制速度慢的问题。

综上所述，漫画风格以其夸张、变形的艺术表现风格，对人们具有极大的吸引力，也丰富了艺术表现形式，在影视作品等领域有较大的应用价值。本文基于人的视觉对亮度、颜色、边缘等信息影响最大的特点，基于双边滤波和DOG滤波，提出了自动的漫画艺术效果绘制模型。

1　漫画艺术绘制流程

漫画艺术风格化的特点主要表现是：①高度的概括，细节的减少突显了特殊部分，更加具有视觉吸引力；②颜色的泛用，图像颜色较为鲜明，局部区域的颜色相似，没有细小的色块；③边缘的强化，通过对边缘信息的增强突出边缘细节；④变形夸张，漫画效果通过对主体的变形，产生不同于真实场景的效果，增强吸引力。

基于以上漫画风格特点，设计了绘制流程图来实现漫画效果，如图 2所示，主要包括以下几个步骤：

(1) 将输入图像转换为LAB色彩空间，对亮度信息进行双边滤波，该过程可以根据需要进行重复迭代；

(2) 对双边滤波的结果图像进行色彩量化处理，获得统一和连续的局部区域色彩；

(3) 采用DOG滤波检测边缘信息，并通过阈值处理获得连续的、清晰的边缘图像；

(4) 将边缘图像融合到色彩量化结果图像中，并将色彩空间转换为 RGB，获得最终的漫画艺术效果。

图2　漫画效果绘制流程图

2　漫画艺术效果绘制算法

漫画艺术效果的绘制算法需考虑以下问题：①漫画效果中的亮度和色彩信息是需要重点考虑的特征；②边缘信息需要被保留下来；③漫画效果的部分细节丢失，需对色彩进行局部的概括。具体实现过程中，通过双边滤波和量化获得漫画效果的色彩。

2.1图像的双边滤波

双边滤波器(bilateral filter)是使图像平滑化的非线性滤波器，基于高斯滤波方法提出[11]。主要通过对高斯滤波中高斯权系数与输入图像亮度进行卷积运算获得滤波结果，即空间距离中的高斯函数与灰度图像距离函数的乘积。与传统的均值滤波、中值滤波相比，双边滤波器除了使用像素之间几何上的距离之外，还考虑了像素之间的光度、色彩的差异，因此能够有效地去除图像上的噪声，并保存图像上的边缘信息。

零均值噪声图像模型如下：

其中，f表示无噪声图像，n表示服从零均值高斯分布的噪声，g为噪声图像；滤波时需要滤除噪声图像g中的噪声n，重建无噪声图像f。双边滤波器采用局部加权平均的方法获取复原图像的像素值：

其中，S表示邻域大小，w表示权重函数；邻域内的每一个像素点 g(i, j)由空间距离值和灰度距离值两部分的和组成。

空间距离是当前目标点与中心点的欧式距离，其高斯函数的数学形式为：

其中，(i, j)为当前像素点的位置，(ic, jc)为中心点的位置，σ是空间域标准差。

灰度距离是当前目标点灰度与中心点灰度差的绝对值，其数学表达式为：

其中，gray(i, j)为当前点灰度值，gray(ic, jc)为中心点的灰度值，σ为值域标准差。

双边滤波中加入了对像素点灰度信息的权重，邻域内越接近中心像素点，其权重越大。标准差σ越大，边缘越模糊，当标准差无穷大时，近似于高斯滤波；而标准差σ越小，边缘越清晰，当标准差无穷小时，滤波后的结果接近与输入图像。滤波时，首先将输入图像从RGB色彩空间转换为LAB色彩空间[12]，对亮度L层进行双边滤波，在最终效果中加入色彩信息获得彩色的结果图像。

图3显示了实验中得到的双边滤波结果。随着σ值的增大，眉毛等细节信息越来越模糊，但边缘信息能被保留。

图3　双边滤波结果

2.2色彩的量化

漫画效果的特点是忽略了原始输入图像中的很多颜色细节信息，大块区域的颜色比较接近或均匀，因此对图像进行双边滤波后，可通过量化的过程实现色彩的重建。颜色量化主要通过对色彩选择形成新的调色板，是对图像局部色彩接近的区域重新分配颜色的过程实现。在 LAB色彩空间中，通过式(5)对色彩进行量化处理：

其中，qedge表示边缘信息，f(x, y)表示输入图像，即双边滤波后的结果图像，参数w表示量化过程中的颜色区间宽度，参数φ为色彩的补偿函数，tanh表示双曲正切函数，如图4所示，双曲正切函数具有双端抑制，中间过渡平滑的特征，能减少量化过程中的人造痕迹。

图4　双曲正切函数曲线

图5为经色彩量化后的结果图像，可以看出，其实现了对局部色彩的均匀和扩散处理，并且随着量化过程中区间宽度w的增加，局部区域的色彩趋于一致。

图5　量化结果

2.3图像的边缘检测

真实漫画效果中，艺术家经常通过简单的线条来产生艺术效果，因此，轮廓信息在漫画效果中具有重要的作用。边缘检测是在邻域计算的基础上实现的，可通过不同的边缘检测算子检测边缘，如Roberts、Sobel、Laplacian等，然而边缘检测算子使用增强高频信号的方法获得边缘时，也增强了噪声。本文对边缘的提取采用各项异性的DOG滤波器进行提取，该滤波器稳定性较高，能较好地抑制噪声的产生，提取出的边缘更加连贯、平滑[5]。

DOG滤波器通过对掩模的卷积操作得到高斯的二阶导数▽2G，采用两个具有不同标准差σ的高斯平滑掩模的差值作为掩模，假设Gσ(x,y)为最终的滤波结果，DOG滤波器可以表示为[13]：

式(6)在实际计算过程中可以离散化计算：

对图像用DOG算子进行滤波即是求两次高斯滤波后的结果差，式(7)通过改变标准差σ1、σ2和参数 t，得到不同的轮廓图，轮廓中边缘的粗细程度也可通过标准差σ1、σ2进行调节。得到滤波结果E(x, y)后，通过二值化处理可得到最终的边缘效果。

图6用DOG算子进行边缘检测得到的结果图像。图6(a)为输入图像，图6(b)为通过DOG算子计算后得到的结果图像，可看出图像的边缘较为平滑，手指等细节信息也被保留下来，由于原始图像的灰度差异，提取出的边缘亮度并不一致，形成了一些弱边缘。为了获得清晰可见的边缘，需要统一边缘的亮度。因此，采用阈值处理的方法对边缘图像进行处理。通过设置阈值，对边缘进行二值化处理，达到边缘增强、滤除细小边缘的效果。图6(c)显示了阈值处理之后获得了亮度一致的边缘图像。

图6　边缘获取

获得边缘图像之后，将边缘信息加入到量化之后的结果图中，可获得最终的漫画艺术效果图像。在边缘图像与量化图像的融合过程中，首先将量化结果图像从LAB色彩空间转换为RGB色彩空间，并通过α融合算法将对应色彩通道进行融合，获得结果图像(0＜α＜1)。

3　实验结果与分析

为了测试本文所提出方法的可行性和有效性，基于本文描述算法，对不同输入图像进行处理，实现了非真实感漫画风格化的艺术效果。本实验在Windows XP操作系统中进行，基于3.2 GHz Intel CPU，2 GHz内存的硬件环境，并采用Matlab2012a软件编程实验，实验图片来自网络，下文给出具体的实验结果。

图7通过本文方法获得的结果图像可看出，边缘图像很好地融入到结果图像中，图像的色彩被保留，形成了局部区域的色彩量化，轮廓等细节信息清晰可见，获得了较好的漫画效果。

图8为本文的结果图像与文献[14]的结果图像，文献[14]中采用拉普拉斯算子获得边缘信息，图像边缘不连贯，杂散点较多。本文采用DOG滤波器对图像进行滤波后，采用阈值处理增强了边缘，去除了较小的杂散点，因此最终漫画效果中边缘连续，更加接近真实的漫画效果。

图9为本文的结果图像与通过转描机技术获得的结果图像，转描机技术通过画家来处理，细节描绘十分准确，人物表情等细节非常清晰，但面部额头和嘴唇的色彩量化有些僵硬，本文获得的结果图像与转描机获得了类似的结果，在面部额头和嘴唇等区域获得了较好的结果，然而在手指、背景等细节的处理上还需要进一步完善。

图7　漫画艺术效果图像

图8　漫画艺术效果图像

图9　漫画艺术效果图像

4　总结与展望

本文研究了NPR中的漫画艺术风格模拟问题，算法通过对输入图像进行色彩空间变换、双边滤波及量化过程，获得了具有漫画色彩的艺术效果。同时，基于DOG滤波器边缘提取算法将边缘信息加入到最终结果图中，获得最终漫画艺术效果图像。在将来的工作中，将扩展相关算法到三维和视频抽象领域，并采用硬件加速进一步提高算法处理和绘制效率，实现图像和视频的实时漫画风格化效果。

[1] Marco R, Della C. Through a ‘scanner’ dazzlingly: sci-fi brought to graphic life USA today [EB/OL]. [2006-08-01] http://usatoday30.usatoday.com/life/movies/news/2006-08 -01-rotoscoping_x.htm.

[2] DeCarlo D, Santella A. Stylization and abstraction of photographs [C]//Annual Conference on Computer Graphics and Interactive Techniques. New York: CAM Press, 2002: 769-776.

[3] David G, Hiroki T, Suguru S, et al. Sketch based fine-tuning of image segmentation methods [C]// Proceedings of the International Workshop on Advanced Image Technology (IWAIT). New York: ACM Press, 2006: 393-398.

[4] Kyprianidis J E, Collomosse J, Wang T,et al. State of the ‘art’: a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(5): 866-885.

[5] Obrenovic Z, Martens J B. Sketching interactive systems with sketchily [J]. ACM Transactions on Computer Human Interaction, 2011, 18(1): 172-180.

[6] 丁志鹏, 张少雄, 陈佳舟, 等. L_0梯度极小化耦合梯度保真的保结构图像平滑[J]. 中国科学: 信息科学, 2014, 11(11): 1370-1384.

[7] 胡韦伟, 汪荣贵, 方帅, 等. 基于双边滤波的Retinex图像增强算法[J]. 图学学报, 2010, 31(2): 104-109.

[8] Song Y B, Bao L C, Yang Q X, et al. Real-time exemplar-based face sketch synthesis [C]//Computer Vision ECCV 2014. Switzerland: Springer International Publishing, 2014: 800-813.

[9] Wang H, Cao J J, Liu X P, et al. Mesh detail editing by filtering differential edge coordinates [J]. Computer Aided Drafting Design and Manufacturing, 2014, 24(4): 1-6.

[10] Collomosse J P, Hall P M. Salience-adaptive painterly rendering using genetic search [J]. Artificial Intelligence Tools, 2006, 15(4): 551-575.

[11] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 12(7): 629-640.

[12] Reinhard E. Color transfer between images [J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-40.

[13] Kang H, Lee S, Chui C. Coherent line drawing [C]// Proceedings of the ACM Symposium on Non-photorealistic Animation and Rendering. New York: ACM Press, 2007: 43-50.

[14] Daniel L B, Shervin E, David M E. Mastering OpenCV with practical computer vision projects [M]. New York: Packt Publishing, 2012.

Realization of Cartoon Effects Based on Non-Photorealistic Rendering

Qian Wenhua1,Xu Dan1,Pu Yuanyuan1,Xu Jin2,He Lei2,Liao Dongwei1

(1. School of Information Science and Engineering, Yunnan University, Kunming Yunnan 650091, China; 2. Graduate School, Yunnan University, Kunming Yunnan 650091, China)

An effective method for non-photorealistic rendering for computer generated images with cartoon artistic works from 2D images is provided in this paper. The proposed methods is inspired by bilateral filter and DOG filter. The color space of source image is transferred from RGB to LAB, and bilateral filter can be used to reduce contrast in low contrast regions, and increase contrast in high contrast regions. Further, the color can be abstracted by soft color quantization to create cartoon-like effects. In addition, DOG filter and threshold are applied to obtain continuous and clear edge image, and this edge information can be merged to the cartoon-like effects finally. Experimental results show that our proposed method is simple and effective.

non-photorealistic rendering; cartoon; bilateral filter; quantization; DOG filter

TP 391

10.11996/JG.j.2095-302X.2016020218

A

2095-302X(2016)02-0218-06

2015-09-24；定稿日期：2015-10-01

国家自然科学基金项目(61462093, 61163019, 61063009)；教育部博士点基金新教师类项目(20125301120008)；云南省应用基础研究计划项目(2014FA021, 2014FB113)；云南省教育厅重点项目(2015Z012)

钱文华(1980–)，男，云南曲靖人，副教授，博士。主要研究方向为图像处理、计算机非真实感等。E-mail：qwhua003@sina.com

徐丹(1968–)，女，江苏无锡人，教授，博士，博士生导师。主要研究方向为基于图像的建模与绘制、虚拟现实等。

E-mail：danxu@ynu.edu.cn