祖宝明 谢志峰

摘要：现如今可视媒体应用需求巨大，针对可视媒体资源具有的海量、多源、异构的特点，研究高效智能的可视媒体处理技术成为当务之急。本文重点综述了可视媒体技术中的编辑处理方面的研究现状，寄望于解决编辑处理中的结构问题，从而提升可视媒体应用的质量和效率。鉴于人们对可视媒体资源深度开发的迫切需要，本领域的研究对促进影视后期、动画创作、互动娱乐等数字内容产业的发展，具有重要的研究与应用意义。

关键词：可视媒体;编辑处理;色彩

中图分类号：TP31 文献标识码：A

文章编号：1009-3044（2019）32-0236-03

1概述

当前可视媒体的应用需求非常巨大，但因为可视媒体资源本身所具有的海量、多元等特点使得可视媒体的编辑处理技術具有一定的难度，这是当下急需解决的一个难题。可视媒体编辑处理主要是通过灵活多样的编辑技术，在颜色、细节、纹理和边缘等方面改变其固有特征，从而获得新媒体素材。编辑处理技术的形式多种多样，主要涉及的编辑内容有媒体风格化处理、画质增强、色彩转移、显著度提取等，但在编辑过程中由于各种因素的影响可能会导致在对比度、环境协调、色彩等方面无法获得最佳效果。因此，利用结构分解进行高精度的可视媒体编辑处理技术，从而获得平滑、光照和反射等属性，进而构建结构感知模型，消除各种缺陷，提升处理质量和效率是本研究的目标。

2国内外研究现状

可视媒体领域的研究分为结构分解与编辑处理，其中是技术核心，编辑处理则是应用聚焦，两者相互关联、协调统一，一方面竭力提升结构分解的精度，另一方面在属性分离的基础上努力解决编辑处理中的结构问题。可视媒体的编辑处理的研究符合对可视媒体资源深度开发的迫切需要，有望促进我国数字内容产业的发展，具有重要的研究与应用意义。在编辑处理方面的研究重点，主要包括风格化处理、色调映射、画质增强、颜色转移、无缝融合、显著度提取等。

2.1可视媒体编辑处理

2.1.1风格化处理

风格化处理，又称非真实感渲染，是计算机技术和绘画技术相结合的一个研究领域，指利用计算机生成不具有照片般真实感，而是具有手绘风格的图形技术。其目标不在于图形的真实性，而主要是表现图形的艺术特质，模拟艺术作品。目前，很多艺术风格已经被成功的模拟出来，如铅笔画、卡通画、水彩画、油画、水墨画等。如图1所示，左图为输入的图片集，右图为风格化后的结果。

目前的风格化方法，从处理方式上可以分为四类：基于笔画的方法、基于区域的方法嘲、基于样例的方法和基于图像处理和滤波器的方法。第一类基于笔画的方法中又能分为基于笔刷的和基于拼贴的，基于笔刷的方法通常定义不同风格、不同颜色、不同宽度的笔刷，在画布上进行全局或者局部性的绘制;基于拼贴的方法通常根据不同的风格形式，定义小的贴片，用这些贴片去拼接形成风格化的结果。第二类基于区域的方法通常需要图像分割作为前提，在分割的局部区域内进行风格绘制。第三类基于样例的方法通常在样例中学习颜色和纹理的映射关系，通过风格之间的映射操作来实现风格变换。第四类基于图像处理和滤波器的方法通常在空间域或梯度域内借助图像处理操作，结合各种类型的滤波器，对结构、颜色等信息进行风格绘制。

2.1.2色调映射

色调映射是指将高动态范围（HDR）图片压缩为低动态范围（LDR）图片的操作。通常，自然场景中的亮度变化在10^-3至10⁵cd/m2之间，而普通的数字显示器一般是低动态范围在10²cd/m2左右，色调映射正是要填充它们之间的间隔，使高动态范围图片也能在低动态范围的显示器上高质量地显示出来。如图2所示，左图为没有经过映射处理直接显示的高动态范围图片，中间和右图为经过色调映射处理后形成的不同的显示效果。

目前的色调映射方面，主要可以分为四类：基于视觉感知的方法、基于梯度操作的方法、基于人工交互的方法和基于图像质量索引的方法。第一类基于视觉感知的方法具有执行快速，不引入光晕等优点，但是对比度方面显示效果比较差，可以分为全局和局部两种处理方式，其中有基于Stevens理论的方法、类似Naka-Rushton方程的方法、考虑时间自适应性的方法、基于局部细节的方法、基于Retinex理论的方法、基于Anchoring理论的方法等。第二类基于梯度操作的方法采用收缩大梯度，保留小细节的思想，和前述的细节分解一致，其中有采用偏微分方程的方法、基于双边滤波器的方法、基于梯度域内压缩因子的方法等。第三类基于人工交互的方法通过用户选择亮度空间，借助交互方式生成满意的映射效果。第四类基于图像质量索引的方法，通过定义质量索引，自动地调整映射的参数，生成达到一定质量要求的映射结果。

2.1.3画质增强

画质增强是一种提升低画质图像和视频到更高画质的处理操作。由于光学、环境、数模转换、运动、采样等原因，很容易产生带有噪声、失真、光学变形、运动模糊等问题的图像，而画质增强的目标就是要消除这些问题，生成高画质的结果。针对不同的画质问题，画质增强领域涌现出去噪、锐化、去运动模糊、超分辨率等多种技术方法。如图3所示，左边两幅图片为锐化前后的对比，右边两幅图片为细节增强前后的对比。

目前的画质增强方面，主要包含以下几种技术：去噪、锐化、细节增强、对比度增强、去运动模糊、超分辨率等。去噪技术可以抑制噪声，改善图像质量，按处理方式可以分为空间域的方法、变换域的方法和基于学习的方法。锐化技术可以补偿图像的轮廓信息，增强边缘特征，使图像变得清晰，主要有空间域方法、频率域方法和梯度域方法。细节增强技术可以利用细节分解提取细节层，增强细节改善图像质量。对比度增强技术可以调整显示对比度，从而提升图像的显示质量，主要采用对直方图进行操作的方式实现。去运动模糊技术可以估计运动的模糊核，通过反卷积运算求解出清晰图像，根据核的变化情况可以分为卷积核变化方法和卷积核不变方法，根据核是否已知又可以分为盲卷和非盲卷两种方式。超分辨率技术可以将低分辨率的图像转换为高分辨率图像，主要包括基于插值的方法、基于重建的方法和基于学习的方法。

2.1.4颜色转移

颜色转移是一种将参考图像上的颜色风格转移到源图像上的处理方法，可以使得源图像上的颜色特征在视觉上与参考图像一致。本领域主要关注基于样例的转移方式，即给出两张图像自动地进行颜色的转移，无须人工干预。

目前的颜色转移方面，按照处理区域可以分为两类：全局颜色转移和局部颜色转移。第一类全局颜色转移方法通常以整张图像作为处理对象，在图像间实现自动的转移操作，主要包括基于均值和方差等统计信息的方法、基于颜色分类的方法、基于直方图匹配的方法等，这些方法简单快速，但容易引起颜色和细节问题。后来，研究人员提出了一些优化方法来抑制这些缺陷，包括梯度维持的优化、直方图重塑的优化、光源感知的优化、基于内容的优化、自学习的优化等等。第二类局部的方法通常都需要依赖人工交互，通过交互指定局部区域，在局部区域之间进行操作，能够实现更精确的颜色转移，主要包括基于软分割的方法、基于交互工具的方法、基于笔画的方法、用户可控的方法、可选择的方法等。这些局部的方法和全局的方法一样，不可避免的也会遇到相同的颜色和细节问题，影响转移的效果。

2.1.5无缝融合

无缝融合是指通过高效的交互编辑，在边界、颜色、光照等方面寻求自适应目标环境的高质量合成。在融合过程中，对象提取、合成处理、环境协调是其关键问题，衍生出相关的软抠取、克隆、协调等多种技术，通过这些技术的运用，最终获得和环境协调的无缝融合效果。如图4所示，左图为源图像，左二为目标图像，右二为位置选择，右图为无缝融合的结果，可以看出结果与目标环境完美地融合为一体。

目前的无缝融合方面，根据处理流程主要涉及三种关键技术：软抠取技术、克隆技术和特征协调技术。软抠取技术在用户简单交互形成三分图的基础上，通过定义透明度来表示前景和背景的线性混合关系，借助颜色采样和局部传播方法计算其透明度，特别在边缘不清晰和半透明的对象提取时，利用透明度计算弥补硬分割的不足，实现高精度的对象提取。克隆技术采用边界插值算法，将感兴趣的对象整合到目标图像上，保证与目标环境的匹配，根据插值方式可分为基于泊松方程的方法和基于均值坐标的方法，区别于直接的复制粘贴方式，它可以避免复杂的人工交互，强调与目标的环境匹配，消除合成失真现象。特征协调技术主要针对合成时噪声、纹理等特征不一致的问题，通过特征的转移和重建，加强合成对象与目标环境的协调统一，它更关注如何简单快捷地将表面特征进行转移和匹配，提升合成时的特征一致性。

2.1.6显著度提取

显著度提取是在人类视觉注意理论的基础上，进行视觉显著度估计，从而能在没有先验知识的情况下，实现对感兴趣对象的自动提取。显著性源于视觉的独特性、不可预测性、稀缺性及奇异性，是由颜色、梯度、边界等图像属性所致，主要有自底向上和自顶向下两种提取模式。如图5所示，左图为示例图片，中间为显著度图，越亮的地方表示显著度越高，越能引起视觉的关注，右图为在显著图的基础上实现的对象自动提取。

目前的显著度提取方面，根据处理对象可以分为：图像显著度提取和视频显著度提取。在图像显著度提取方面，涌现出各种图像显著性检测方法，包括基于中心一周围差异的方法、基于模糊增长模型的局部对比度方法、基于图模型的方法、基于频率谱的方法、基于频率调谐的方法、基于上下文感知的方法、基于全局对比度的方法等。它们通过局部或全局对比度定义，能够有效地检测图像的显著性，建立符合人类视觉感受的显著度图。在视频显著度提取方面，不同于静态的图像，视频中涵盖了时空信息，在顯著度提取时需要统一考虑，主要包括基于用户注意力的自动检测框架、基于时空线索的方法、基于时序谱残留的方法、基于动态纹理的方法、基于随机域模型的方法、基于动态对比度的方法等。它们以图像显著性检测方法为基础，通过结合亮度、颜色、运动等信息，在统一建模的基础上有效地进行视频显著度提取。

3总结与展望

综上所述，尽管国内外已经在编辑处理方面积累了一定的研究成果，但是编辑处理中的结构问题并没有获得根本解决，甚至某些方面的研究仍然处于初步探索阶段，要形成成熟的理论和技术，还需要大量更具创新性的工作。有鉴于此，本领域的研究工作主要从编辑处理方面展开，尝试以高精度的结构分解为基础，解决编辑处理应用中的结构问题，实现可视媒体资源的高效处理和有效利用。总之，在国内外对可视媒体智能处理理论与方法日益重视的背景下，研究结构分解与编辑处理等关键支撑技术显得十分必要而迫切，有望打破可视媒体领域内的技术瓶颈，进一步推进我国数字内容产业的快速发展。