尹芳 陈田田 付自如 于晓洋

摘 要：高光的检测与去除一直是计算机视觉领域的一个热点问题，现有的大多数方法主要都是针对彩色图像，但是灰度图像的应用又很广泛，对于只包含亮度信息的灰度图像的高光检测和去除是一个难点问题，针对这一问题，提出了一种简单的单幅灰度图像高光检测方法。该方法对二维亮度饱和度直方图方法进行改进，并利用漫反射分量和镜面反射分量的分布获取高光亮度值范围，对可能存在的高光区域进行检测，最后，利用基于BSCB模型的图像修复方法去除高光。实验结果表明本文算法细节处理的较好，能够有效地检测出灰度图像中镜面反射区域，提高了图像高光区域的修复率。

关键词：高光检测； 反射模型； 二维亮度饱和度直方图； BSCB模型

DOI：10.15938/j.jhust.2018.02.015

中图分类号： TP391

文献标志码： A

文章编号： 1007-2683（2018）02-0086-05

Abstract：Specular detection and removal has been a hot topic in the field of computer vision. Most of the existing methods are for color images， but grayscale images are widely used， for a single grayscale image with only intensity information， specular detection and removal becomes a difficult issue. In this paper， a simple specular detection method of single grayscale image is proposed. Intensity-Saturation （MS）diagram method is improved and the distribution of diffuse component and specular component is used to obtain high brightness range. Possible specular area is detected with proportion. Finally， BSCB model-based the image restoration method removal highlights. Experimental results show that specular detection algorithm can better deal with the details of specular areas， find specular reflection area effectively in the single grayscale image and improve the repair rate specular areas of the image.

Keywords：highlights detection； reflection model； Intensity-Saturation diagram； BSCB model

0 引 言

物體表面的高光反映的主要是光源的特征，在视觉效果上却可以看作是物体的表面特征，高光的存在往往会遮盖物体表面的纹理、损坏物体边缘的轮廓、改变物体表面的颜色，直接导致了物体表面局部区域的信息丢失。这对计算机视觉领域中的图像跟踪、景物分析、场景重建等会带来很大的干扰[1-2]。为了能够准确无误的提取出物体的特征信息，为了确保图片能够在图像跟踪、景物分析、场景重建等领域得到应用，高光的检测和去除技术是至关重要的。现有的大多数高光检测方法主要是针对彩色图片，但是现有的在计算机视觉领域当中灰度图像又是很常见的，对于拥有少量可用信息的灰度图像高光检测和去除是一个难点问题，针对此问题本文提出了一种简单的单幅灰度图像高光检测方法。该方法对二维亮度饱和度直方图方法进行改进，并利用漫反射分量和镜面反射分量的分布获取高光亮度值范围，对可能存在的高光区域进行检测，最后，利用基于BSCB模型的图像修复方法去除高光。

1 相关工作

现有的大多数高光检测方法主要针对的是彩色图片进行分析。文[3]根据高光通常随着光源的位置变化而变化，利用多闪光相机获得一系列不同的光源的带高光图片，然后利用泊松方程来解决高光检测问题。文[4]观测到物体上的高光的位置往往不固定，会随着光源的变化而改变，因此，提出利用光场相机从不同光源获得一组高光图片，通过对所得数据分析检测出高光区域。文[5]利用多基线立体视觉匹配方法和颜色分析法从多个视角所获得的输入图像中恢复出无高光图。文[6]基于双色反射模型运用独立成分分析方法从多幅图片中分离出镜面反射和漫反射成分。文[7]提出了一种基于多视角的高光移除新方法，该方法包含了三个模块分别是光照色度估计、关联像素查找和高光去除。尽管以上的方法都能够获得较好的高光检测和去除的效果，但是这些算法都需要用到图像序列，因而在很大程度上限制了它们的应用领域。

文[8]对RGB颜色空间的反射分量进行分析，使用非负矩阵分解法分离镜面反射分量。文[9]对RGB颜色空间的反射分量进行分析，并用主成分分析法去除高光，由于主成分分析法的对光源颜色向量和漫反射分量的估计往往是不准确的，从而在很大程度上降低了该方法的通用性。文[10]提出的高光去除方法是在RGB颜色空间的基础上利用颜色空间转换法扩展到YUV颜色空间。文[11]提出用光照约束补色（inpainting）的方法来进行高光的移除，结合光照约束条件，引入补色方法，该方法不同于一般的高光图像去除方法，充分利用了高光像素所包含的引导修补过程中的一些有用信息。2006年，文[12]在双色反射模型的基础上通过设置最大漫反射色度值可以得到“无高光图”（specular-free image），引入“镜面反射到漫反射方法”（specular-to-diffuse mechanism）和基于对数微分法进行镜面反射的分离，能够有效地去除纹理复杂图像中的高光区域。文[13]和Shen等[14-15]根据文[12]的“无高光图”这个概念，并对其定义进行了改进，Shen等人提出了“MSF图”（modified specular free image）同时通过使用最小二乘法求得漫反射和镜面反射成分的比例；Yoon等提出“无高光两带图”（specular-free two-band image），通过在每个像素计算局部反射分量的比率来分离高光。文[16-17]沿用了文[13]的算法思想，并通过不同的方法对最大漫反射分量的色度值的进行筛选来提高算法的实时性。文[18]通过对RGB颜色空间的旋转来达到去除镜面反射分量的效果。文[19]提出一中针对亮度空间的显著性检测指导的高光区域修复算法，在亮度空间应用显著性模型，利用图像的邻域和边缘信息实现高光区域的自动检测和标记，运用改进的Exemplar-Based算法去除高光。这些方法主要是对彩色图片进行分析，不能适用于灰度图像的高光检测和恢复。

为此，本文将二维亮度饱和度直方图方法改进为一种简单的灰度图像高光检测方法，有效地检测高光区域。最后，利用基于BSCB模型的图像修复方法去除高光。本文提出的高光检测和去除算法流程如图1所示。

2 镜面高光区域检测

2.1 二维亮度饱和度直方图方法

二维亮度饱和度（ intensity-saturation，MS）直方图方法[20]是一种简单的单幅彩色图像高光检测方法，对于一幅彩色图像假设r，g，b分别代表像素点的红、绿、蓝三个通道，m代表图像亮度，s代表图像的饱和度，分别有以下定义

3 基于BSCB模型的图像修复方法

高光区域的补色过程可以看作对原图像的修补过程。而大多数补色方法都是针对彩色图片进行分析，无法应用在单幅灰度图像中。BSCB修复方法是Bertalmio，Sapiro，Caselles 和 Ballester根据手工修补艺术家实际的图像修补过程，建立了一种基于偏微分方程的图像修补方法，它的主要思想是依据手工修复的经验，利用物理学中的热扩散方程将边缘信息沿着等照度线方向扩散到待修复区域内，以便得到较好的修复效果[21-22]。BSCB模型是各向异性扩散，充分考虑了等照度线延长时边界交角的情况，防止了一般的图像修复过程边缘结构失真的情况，修复效果更接近人的视觉感受，如图4所示。

假设u0（i，j）是大小为M×N的带修补高光图像，修补过程就是反复对高光区域进行迭代，将迭代过程中产生的一系列中间结果看作是一组图像序列un（i，j，t）（n是自然数），最终获得最佳高光修补图像。

BSCB模型修补过程的两个基本步骤如下：

重复交替进行步骤（1）和（2），直至输出序列图像基本不变，即达到稳定的状态，图像高光去除过程完成。

4 实 验

为了验证本文方法的有效性，将本文算法在真实图片上进行实验，其中图3为高光检测结果，明显可以看出本文算法在细节处理的较好，能够有效地检测出灰度图像中隐藏的细小的高光区域。图5为高光去除结果，该方法只对高光区域的图像进行修复处理，修复的效果较合理，防止了一般高光修复算法易造成原始图像中非高光区域的图像失真的情况，较好地去除了图像中的高光區域，基本恢复了待修复图像的原貌。为了进一步量化比较，验证本文方法的有效性，将原图像和去除高光图像的直方图进行对比，如图6所示。直方图的整体的亮度值分布变化不大，亮度值较高的像素减少了。

5 结 论

灰度图像高光的检测与去除一直是计算机视觉领域的一个难点问题，为此，本文提出了一种简单的单幅灰度图像高光检测方法。该方法对二维亮度饱和度直方图方法进行改进，并利用漫反射分量和镜面反射分量的分布获取高光亮度值范围，对可能存在的高光区域进行检测，最后，依据手工修复的经验，利用BSCB模型的图像修复方法将边缘信息沿着等照度线方向扩散到待修复区域内去除高光。实验结果表明，本文算法细能够有效地检测出灰度图像中高光区域，防止了一般高光修复算法易造成原始图像中非高光区域的图像失真的情况，提高了图像高光区域的修复率。

参 考 文 献：

[1]韩书娜， 幺宏伟， 范剑英， 等. 指纹图像分割与增强算法[J]. 哈尔滨理工大学学报， 2011， 16（1）： 98-101.

[2]杨玲， 甄志明， 刘国红， 等. 基于多尺度边缘提取的薄雾图像处理方法[J]. 哈尔滨理工大学学报， 2014， 19（5）： 94-98.

[3]FERIS R， RASKAR R， TAN K H， et al. Specular Reflection Reduction with Multi-flash Imaging[C]// Computer Graphics and Image Processing. Los Alamitos： IEEE Computer Society， 2004： 316-321.

[4]TAO M W， SU J C， WANG Tingchun， et al. Depth Estimation and Specular Removal for Glossy Surfaces Using Point and Line Consistency with Light-field Cameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（6）： 1155-1169.

[5]LIN S， LI Y， KANG S B， et al. Diffuse-specular Separation and Depth Recovery from Image Sequences[M]. Heidelberg， Springer Verlag， 2002： 210-224.

[6]UMEYAMA S， GODIN G. Separation of Diffuse and Specular Components of Surface Reflection by Use of Polarization and Statistical Analysis of Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（5）： 639-647.

[7]YANG Qingxiong， WANG Shengnan， AHUJA N， et al. A uniform Framework for Estimating Illumination Chromaticity， Correspondence， and Specular Reflection[J]. IEEE Transactions on Image Processing， 2011， 20（1）： 53-63.

[8]MADOOEI A， DREW M S.Detecting Specular Highlights in Dermatological Images[C]//IEEE International Conference on Image Processing （ICIP）. Los Alamitos： IEEE Computer Society， 2015： 4357-4360.

[9]KLINKER G J， SHAFER S A， KANADE T. The Measurement of Highlights in Color Images[J]. International Journal of Computer Vision， 1988， 2（1）： 7-32.

[10]SCHLUNS K， KOSCHAN A. Global and Local Highlight Analysis in Color Images[C]// Proc. 1st Int. Conf. Color Graphics Image Processing. Los Alamitos： IEEE Computer Society， 2000： 300-304.

[11]TAN R T， IKEUCHI K. Separating Reflection Components of Textured Surfaces Using a Single Image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[12]TAN Ping， LIN S， QUAN Long. Separation of Highlight Reflections on Textured Surfaces[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York， United states. Los Alamitos： IEEE Computer Society， 2006， 2： 1855-1860.

[13]YOON K J， CHOI Y， KWEON I S. Fast Separation of Reflection Components Using a Specularity-invariant Image Representation[C]// 2006 IEEE International Conference on Image Processing. Los Alamitos： IEEE Computer Society， 2006： 973-976.

[14]SHEN H L， ZHANG H G， SHAO S J， et al. Chromaticity-based Separation of Reflection Components in a Single Image[J]. Pattern Recognition， 2008， 41（8）： 2461-2469.

[15]SHEN H L， CAI Q Y. Simple and Efficient Method for Specularity Removal in an Image[J]. Applied Optics， 2009， 48（14）： 2711-2719.

[16]YANG Qingxiong， TANG Jinhui， AHUJA N. Efficient and Robust Specular Highlight Removal[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（6）：1304-1311.

[17]JUNG C， JIAO L， QI H. Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering[M]. Heidelberg， Springer Verlag， 2012： 513-521.

[18]HAN S， TAO W， WANG D， et al. Image Segmentation Based on GrabCut Framework Integrating Multiscale Nonlinear Structure Tensor[J]. IEEE Transactions on Image Processing， 2009， 18（10）： 2289-2302.

[19]王祎璠， 姜志國， 史骏， 等. 显著性检测指导的高光区域修复[J]. 中国图象图形学报， 2014， 19（3）： 393-400.

[20]ORTIZ F， TORRES F. Automatic Detection and Elimination of Specular Reflectance in Color Images by Means of MS Diagram and Vector Connected Filters[J]. Systems， Man， and Cybernetics， Part C： Applications and Reviews， 2006， 36（5）： 681-687.

（编辑：关 毅）