李建勋，童中翔，刘彦，李成，王超哲，张志波

(空军工程大学 航空航天工程学院，陕西 西安 710038)

阴影是图像的基本特征之一，是许多自然场景图像的组成部分.单幅图像阴影去除［1］依据一幅图像，将阴影区域中像素点的亮度、颜色和纹理等信息恢复到非阴影区域光照的效果，与图像增强、光照补偿等相互融合，使得阴影区域信息的可视化更加符合人类视觉，使整幅图像具有视觉上的一致性.实际处理时，由于场景和成像条件都具有相当的复杂性，很多传感器并不具有多通道/颜色信息，自然场景中包含的阴影形成复杂，所以开发兼顾单/多通道成像，能够处理实际场景的阴影去除方法非常具有挑战性.

目前单幅图像阴影去除方法可以分为两类:基于梯度域的方法和基于空间域的方法［2］.1)基于梯度域的方法能较好保持细节信息，但容易出现色偏和局部过渡光滑等效果［3］.2)基于空间域的方法包括基于颜色理论和算法的阴影去除［4］和基于图像分解的阴影去除.为扩大应用范围和算法处理能力，文中面向单幅图像阴影去除，首先从单通道灰度图像阴影去除出发，进而扩展到彩色图像进行处理，尽可能实现对较为复杂的自然场景进行阴影去除.

1 阴影的特性与数学模型

1.1 阴影的特性

阴影是由于光源被物体遮挡而产生的，根据阴影生成原因不同可分为两类:自影和投影.障碍物本身没有被光线照射的区域形成自影，照射光线被障碍物遮挡的背景区域形成投影，而投影根据光线遮挡程度又进一步分为本影和半影［5-6］，如图1所示.本影的产生是光源完全被遮挡，而半影则是在非点光源或光线闪射的情况下产生的，半影区域中光照强度缓慢变化.某些情况下，半影的宽度很小，可以认为是一个硬边缘，但是自然图像中通常半影存在一个可见宽度.作为从本影到非阴影区域的过渡，对于视觉效果，半影去除在阴影去除过程中非常重要.

1.2 阴影的数学模型

阴影形成的数学表示可以从图像成像模型出发［7］进行研究.忽略图像获取中传感器响应等影响，成像的物理过程为

式中:S(x，λ)、E(x，λ)、R(x，λ)依次表示在位置x、波长λ下获取的图像像素值、光源照度值和反射系数，“×”为逐像素乘，λ一般情况下即为三原色通道 R、G、B.

根据成像模型，在自然场景光照条件下，非阴影区域的光照强度由两部分光源获得，即直接光源Ed和环境散射光源Ea;在本影区中，由于物体遮挡直射光源，故其中只有Ea;半影区中则是部分Ed与Ea的组合.不同区域的光源不同，可以分析得到图像中任一点x处的像素值S(x，λ)为

式中:k(x)描述半影区 Ed贡献的比例系数，0≤k(x)≤1，等于0和1时分别对应在本影区和非阴影区.

基于以上模型，阴影去除的核心就是将本影和半影区域的光照强度恢复到非阴影区域的光照，而对各个波长分别处理，可以尽可能保证色调信息的一致性.文献［8］分析了基本的算法思路:对于本影区点x1和非阴影区点x2，阴影去除目标就是使得S(x1，λ)=S(x2，λ)，若两点属于同一表面，令反射系数相等，利用Von Kries色系数定律可以推导出对角矩阵.只需找到此对角矩阵，那么将阴影中像素点的颜色值变换为非阴影光照下同样表面的颜色值，从而实现阴影去除的目的.

2 基于区域颜色恒常性计算的阴影去除

基于颜色比例的阴影去除方法［9］是具有阴影建模基础的一种主流方法，其主要思想是寻找阴影区域和非阴影区域像素点一个比例系数，然后把阴影区域像素值通过对角阵变换到非阴影区域的光照效果.针对目前很多方法较少关注图像纹理等特性、非常依赖于阴影检测的准确性、对于一幅图像中含有多个阴影时不能分别对待等问题，文中算法设计时主要考虑3个方面:1)从能量角度出发对基于颜色比例的阴影去除方法重新定义;2)颜色比例必须对同一反射系数表面实施才能准确，否则从模型出发就会出现较大误差;3)基于区域颜色恒常性计算方法估计映射区域光照，进而得到恢复系数.

依照“从简单到复杂，从单阴影到多阴影”的思路，根据颜色比例进行阴影去除的基本方法，结合非局部均值［10］、纹理映射［11］等核心思想，在能量最小化框架下，文中提出了基于区域颜色恒常性计算的本影去除方法，并进一步设计复合模型进行半影去除，使输出结果更加符合视觉效果.

2.1 能量最小化框架

在得到阴影检测后的本影和半影掩模后就可以进行阴影去除.为了保证根据阴影模型和颜色比例方法去除阴影的准确性，文中设计了能量最小化框架:为图像中每一个本影区域在非阴影区域RL中寻找一个最合适的子区域RM(RM，RL)，使得表征的光源估计值所得到的比例值ci满足能量函数值最小，表示为

得到本影区域最优恢复比例系数，基于构造性方法来实现式(3)的最优化过程依赖于2个关键步骤:1)在本影区域与非阴影区域建立反射系数一致性表面的映射关系.纹理特性是反映场景表面的重要依据，文中根据纹理特性建立映射关系2)区域光源估计值的计算.颜色恒常性计算方法是估计光照的良好工具，文中基于区域颜色恒常性计算方法得到

这样的计算方法适合场景存在多阴影区域和多通道图像的阴影去除.面向含多阴影区域图像，实际操作中可适当减少复杂度;同时面向多通道彩色图像，根据以上单通道实现方法得到的映射关系，在第2)步光源估计时即可在每个通道中单独进行.

2.2 基于纹理特征的区域映射

纹理是图像中同质现象的视觉特征，是反映图像局部分布统计、结构信息的重要特征，其本质是刻画邻域像素亮度的分布规律，从局部二值模式算子的分析可知，鲁棒的纹理特征描绘对亮度变化不敏感.可见对于在阴影区域和非阴影区域中寻找反射系数一致性表面，纹理特征是一种有效的表征量.

2.2.1 阴影区域的标定及分割片的获取

首先进行独立阴影区域的标定.根据二值图像处理边缘表示及联通关系，可以获知独立的阴影区域，用代表性区域——质心邻域来表征标定出的独立阴影区域，如图2十字表示的2个独立阴影区域.

图2 阴影区域的标定Fig.2 Shadow regions demarcation

图3 图像Patch的获取Fig.3 Image Patch extraction

图4 Patch修订前后质心位置的比较Fig.4 Centroid position’s comparison before and after patch modification

2.2.2 分割片的纹理特性统计及映射规则

在获知分别属于阴影区域和非阴影区域的Patch后，即可以通过一定的规则建立映射关系.定义表示第i个本影区域的第 j个 Patch，j∈表示非阴影区域RL的第k个Patch.

在非阴影区域的Patch集合中，为处于阴影区域中的每一个Patch寻找最为相似Patch，寻求映射公式即等价描述为

DP描述了2个Patch之间差异性，文中根据Patch的纹理特征来确定，将差异最小的作为相应的最相似Patch.

1)计算每一个Patch的纹理特征分布

根据LBP计算方法，统计得到每一个Patch的纹理特征LBP直方图分布特性.对直方图归一化以消除统计值不同量级的影响.

2)纹理特性直方图分布的相似性度量

Patch之间的相似性可以通过比较直方图的相似性来确定.对于直方图相似性度量，2个之间的交集越大越好.任意2个Patch的直方图:

式中:j，k表示直方图中窗口的位置(标号)，r为窗口最大标号，Hp(j)表示直方图Hp在窗口j处的取值，Hq(k)表示直方图Hq在窗口k处的取值，Hp、Hq满足各窗口取值之和相等这一条件.为保证一定的鲁棒性，文中采用2个度量测度来综合评价:

式中:Ma为距离测度［13］，其可以衡量2个归一化直方图一阶分布的差异;Mb为对称卡方测度，是最近邻分类器使用的规则.Ma和Mb值越小表征2个直方图越相近，当测度值为0时表示绝对匹配.图5为典型测试图的阴影区域中分割片与非阴影区域中分割片之间建立的最优纹理映射关系，通过直线连接.

图5 阴影区域中分割片与非阴影区域中分割片之间的纹理映射关系Fig.5 Texture matching relation between segment patches in shadow regions and in non-shadow regions

2.3 基于区域颜色恒常性的比例系数计算

2.3.1 基于区域颜色恒常性计算的光照估计

文献［8］指出基于颜色恒常性的阴影去除方法的前提假设:阴影图像中阴影区域和非阴影区域分别满足相应Minkowski范式的颜色恒常算法所基于的假设;并通过颜色恒常性计算方法对1.2节中直接光源Ed与环境散射光源Ea进行估计.

无监督的颜色恒常性计算方法是利于图像底层特征估计得到成像时的光照值，不依赖于先验知识，各种假设的提出保证了这一病态问题的求解.Finlayson、Weijer等［14-15］引入 Minkowsik 范数，高斯卷积等，扩展提出了统一的颜色恒常性计算框架为

式中:n是偏导阶数，p是 Minkowski范数，fσ(x)表示高斯卷积结果，方差为σ，k0表示无色差常数，x表征位置信息.p作用主要体现是在Grey-World和White-Patch之间的权衡调整:p=∞时上式等价于White-Patch，而p=1时则等价于Grey-World;同时在Grey-Edge假设的基础上将颜色导数推广到更高的n阶.整个框架输出结果依赖于这3个参数的选取.但是对于一幅图像，并不是所有像素都含有颜色恒常性的信息，有偏的像素值(biased pixel values)甚至会降低颜色恒常性计算方法的有效性.对于含有部分高亮度天空场景的光照估计上，光源颜色会产生蓝色等趋向性，所以在进行光照估计时应该选用合适的部分图像作为鲁棒估计的有效值.

区域颜色恒常性计算为文中阴影去除提供了良好的思路和工具.阴影去除的目的就是将阴影区域的光照恢复到非阴影区域的光照，基于Von Kries对角模型的应用涉及到当前阴影区域和非阴影区域的光照估计，而根据区域颜色恒常性计算思路可知，在进行光照估计时利用全部非阴影区域信息来估计非阴影区域的光照必然也会存在不准确性，而文中区域纹理映射的过程则实现了区域颜色恒常性计算的一个分割先验的前提:对于阴影中的每一个在非阴影区域中选取纹理特征最相似的这样根据纹理特征信息得到了具有场景认知信息的分割片可以提供比全部非阴影区域更有效的颜色恒常信息，为阴影区域的光照恢复提供了保证.

2.3.2 比例系数的计算

诸多文献应用都是对于图像中只含有一个阴影区域进行的光照估计［16］，存在多个阴影时，如果将一个比例系数应用到所有区域，则不可能保证阴影模型的准确性.所以针对独立的阴影区域，根据区域颜色恒常性计算，都应该有一个相应的恢复比例系数.文中通过纹理映射实现的过程，进而将所有子区域合并即可以建立的关系，并通过二者光源估计值得到比例系数.但由于子区域的分离性，在计算SM时不能基于区域计算，而只能进行简单的统计量计算.所以文中采取“分而治之”的方法，根据颜色比例方法，首先获得映射关系产生的各个比例系数cij，然后对于整个产生统计平均值.这样的计算方法对于一个阴影明显跨越多个纹理特征表面时，可以均衡子区域产生的奇异性.

根据颜色比例计算思路，对于单通道图像，文中基于区域颜色恒常性的比例系数计算步骤重写为:

3)为了达到阴影去除目的，即将阴影区域光照变换到非阴影区域光照，得到比例系数:

根据颜色恒常性计算方法估计场景光照是十分有效的方法.而对于每个Patch，本节基于区域颜色恒常性计算进行光照估计的参数设置也非常关键，根据文献［17］的讨论，为了降低计算复杂度，文中默认采用(e0，2，1).

2.4 基于复合模型的半影恢复

由于半影在成像时具有的特殊性，作为本影到非阴影区域的过渡区域，在阴影去除时如果不进行处理，本影去除的效果会有一定的突兀性，一定程度上影响视觉效果，所以很多文献都专门对半影的处理进行探讨.Fredembach［18］发现如果采用在阴影边界区域内进行插值的方法来自适应计算半影中不同位置的比例系数，会产生一定的人工效应和错误结果，所以进一步采用图像修复技术［19］.图像修复技术主要包括各种偏微分扩散，特征匹配和压缩感知的方法［20］，但是基于图像修复的方法，尤其是面向图像篡改中目标移除的方法忽略了阴影区域的自身信息，完全通过图像中其他部分的信息进行匹配修复，虽然也可以得到较好的视觉效果，但容易引入各种附加信息.

文中首先假设半影区域RP光照变化光滑.根据阴影模型式(2)，半影区域任意位置光照为环境散射光源Ea与部分直接光源Ed加权，与位置信息紧密相关.但是半影光照由于位置的特殊性，根据邻域信息进行区域颜色恒常性计算时估计的准确性较低，直接按照比例系数方法不易得到较好的比例系数，所以不能只依靠单独的区域颜色恒常性计算.关于位置信息的衡量，文献［5，21］在阴影边界切线的垂直方向上进行采样，实际上都是建立了半影的剖面模型，其中一个重要的参量就是半影中点位置与相应本影的距离，但采样过程具有一定的复杂性，而其需要进行是否是最优采样的判断.

文中根据颜色比例方法，对于半影区域，将区域颜色恒常性计算和剖面模型相结合，得到半影中任意位置的比例系数为:

此比例系数由两项加权构成:

文中依据本影边缘的扩散形成半影，以本影区域为中心，形成单像素的边界环，可以得到每个像素距离本影的距离.假设垂直于阴影边缘切线方向的光照分量光滑性直接由比例系数来体现，即垂直于阴影边缘切线方向的比例系数下降具有光滑性，并假设剖面模型PF符合正半轴半高斯概率分布函数，服从(0，σP)，根据半影宽度DP及ci即得到每层半影的比例系数为

式中:dx表示位置信息x在剖面方向与本影的距离.图6(a)为半影的分层表示，不同灰度级表征与本影的距离，右上角局部图表示从本影到非阴影区域纵向方向灰度的变化，图6(b)即为光滑下降的高斯剖面模型.

在现有文献半影光滑等假设的基础上，文中从阴影模型和半影生成过程出发，提出基于模型的自适应半影恢复方法，其兼顾纹理特性，可以有效消除容易在边缘产生的马赫带效应，输出图像视觉效果良好.

图6 半影的分层表示和剖面的高斯模型Fig.6 Penumbral hierarchical representation and Gaussian model of luminance profile

3 阴影去除仿真实验及讨论

3.1 人工合成图像的仿真

首先对人工合成图像进行阴影去除仿真，并和文献［22］进行比较，结果见图7.

图7 人工合成图像的阴影去除结果Fig.7 Shadow removal results of the synthetic images

顾晓东等［22］提出了基于PCNN进行阴影去除的重要思路，其不用进行阴影检测和考虑边界问题，阴影去除视觉良好;但由于其基于“商图像”需要对整幅图像进行操作，所以非阴影区域也受到一定影响，同时处于阴影中的很多信息也没有完全恢复出来，图像的信息出现大幅变化，诸如目标坦克的履带等信息已经缺失，所以基于商图像的计算，如何保证信息不丢失是个难点.文中方法基于颜色恒常性计算和纹理映射，对于人工合成图像阴影区域信息恢复具有较高的准确性，能够将阴影区域的灰度基本恢复到原始光照下，使得对阴影区域的认知得以恢复，阴影去除效果明显优于文献［22］.但是也容易看出，由于图像组成为目标与背景，人工阴影使得区域纹理映射的准确性在一定程度上降低，估计得到的比例系数与阴影强度表征量SI的倒数有一定差异，而且合成图像含有的锐化边界(没有过渡区域)两侧平衡恢复也较为困难，尽管使用了半影的恢复方法但图像整体视觉效果仍有一定欠缺.

3.2 户外场景图像的仿真

经过人工合成图像的验证，进而对典型户外场景图像进行仿真，并与相关文献进行比较，见图8(a)～(d)为原始阴影图像，图8(e)～(g)为文献作者结果［5，23，21］，8(h)～ (k)为相应的文结果.本文算法可以实现与很多文献相当或更好的阴影去除效果，由于采取较为精细设计的比例系数方法，尤其在阴影内部的亮度及对比度恢复上有较大优势，采取的半影恢复方法在视觉上更使得原有阴影区域与非阴影区域的过渡自然.同时由于检测的准确性，非阴影区域的信息不会丢失.

户外自然场景多具有纹理特性，本文方法在纹理映射时更加准确，基于映射关系，相继得到阴影中Patch和阴影区域的颜色比例系数，优势即在于对不同的阴影区域，可以根据纹理特征最相似Patch的光照估计得到比例系数，这样对于每一个单独的阴影区域都有一个相应的恢复比例系数，从而避免了原有诸多算法单一系数的不足.本文基于区域颜色恒常性计算的优点，即有效避免计算非阴影区域光照时大幅偏离情况的发生，而基于纹理映射寻找最适合的阴影Patch和非阴影Patch，得到的比例系数更加准确.

但不容忽视的是，本文方法在单个阴影的处理上视觉效果较为一致，而由于实际光照场景的复杂性，对于非均匀阴影的去除算法仍有一定不足;同时对于颜色恢复问题，含阴影区域的颜色信息会有一定变化，多通道含阴影图像处理的视觉良好性仍有待进一步提升.

图8 自然场景图像阴影去除结果Fig.8 Shadow removal results of the natural scene images

4 结论

1)文中通过纹理映射建立本影中分割片与非阴影区域分割片之间的关系，分别进行区域颜色恒常性计算得到光照估计量，根据颜色比例方法，求得每一个阴影区域的恢复系数;

2)根据半影输出，提出基于复合模型的半影恢复方法，由区域颜色恒常性计算和剖面光滑模型得到比例系数的加权值作为最终半影恢复系数，更有利于从本影到非阴影区域的过渡;

3)大量仿真实验验证了文中算法可以将阴影区域中像素点的亮度、颜色和纹理等信息恢复到非阴影区域光照的效果.

对于自然场景图像的复杂性，文中的纹理映射方法在适用场景上还有局限，而基于颜色比例的方法，尽可能满足模型本身的需求也依赖于普适的颜色恒常性计算方法.阴影检测的客观衡量可以通过主动标注区域来进行正确率的大致计算，但阴影去除的客观评价还不易提出，目前可以通过特定目标检测和识别等任务效果的提升来侧面反映.

［1］陈继国，沈超敏.单幅图像的保纹理阴影去除［J］.计算机工程，2010，36(22):219-221.

CHEN Jiguo，SHEN Chaomin.Texture-preserving shadow removal from single image［J］.Computer Engineering，2010，36(22):219-221.

［2］ARBEL E，HEL-OR H.Texture-preserving shadow removal in color images containing curved surfaces［C］//Proceedings of IEEE CVPR 2007.Minneapolis，Minnesota，USA，2007:1-8.

［3］FREDEMBACH C，FINLAYSON G D.Hamiltonian path based shadow removal［C］//Proceedings of 16th British Machine Vision Conference(BMVC).Oxford，UK，2005:970-980.

［4］叶勤，徐秋红，谢惠洪.城市航空影像中基于颜色恒常性的阴影消除［J］.光电子·激光，2010，21(11):1706-1713.

YE Qin，XU Qiuhong，XIE Huihong.Removing shadows from urban aerial images based on color constancy ［J］.Journal of Optoelectronics·Laser，2010，21(11):1706-1713.

［5］ARBEL E.A novel approach for shadow removal based on intensity surface approximation［D］.Haifa:University of Haifa，2009:6-9.

［6］MAMASSIAN P，KNILL D C，KERSTEN D.The perception of cast shadows ［J］.Trends in Cognitive Sciences，1998，2(8):288-295.

［7］过洁，徐晓旸，潘金贵.基于阴影图的阴影生成算法研究现状［J］.计算机辅助设计与图形学学报，2010，22(4):579-591.

GUO Jie，XU Xiaoyang，PAN Jingui.Present status of shadow generation algorithms based on shadow maps［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2010，22(4):579-591.

［8］王宁.图像的阴影检测和去除算法研究［D］.北京:北京交通大学，2008:42-54.

WANG Ning.Study on shadow detection and removal［D］.Beijing:Beijing Jiaotong University，2008:42-54.

［9］LEVINE M D，BHATTACHARYYA J.Removing shadows［J］.Pattern Recognition Letters，2005，26(3):251-265.

［10］BUADES A，COLL B，MOREL J M.A review of image denoising algorithms with a new one［J］.Multiscale Modeling and Simulation，2005，4(2):490-530.

［11］林景亮，陈岳林.基于双目视觉的三维人脸重建方法［J］.计算机应用研究，2012，29(1):397-400.

LIN Jingliang，CHEN Yuelin.3D face reconstruction using binocular vision ［J］.Application Research of Computers，2012，29(1):397-400.

［12］LALONDE J F，EFROS A A，NARASIMHAN S G.Detecting ground shadows in outdoor consumer photographs［C］//Proceedings of ECCV.Crete，Greece，2010:322-335.

［13］YAO Zhijun，LIU Juntao，ZHOU Yu，et al.Similarity measure method using symmetric KL divergence［J］.Journal of Huazhong University of Science and Technology:Natural Science Edition，2011，39(11):1-4.

［14］WEIJER J，GEVERS T，GIJSENIJ A.Edge-based color constancy［J］.IEEE Trans on Image Processing，2007，16(9):2207-2214.

［15］FINLAYSON G D，TREZZI E.Shades of grey and color constancy［C］//Proceedings of the 12th Color Imaging Conference.Scottsdale，USA，2004:37-41.

［16］SHOR Y，LISCHINSKI D.The shadow meets the mask:pyramid-based shadow removal［J］.Computer Graphics Forum，2008，27(2):6-9.

［17］GIJSENIJ A，GEVERS T.Color constancy by local averaging［C］//Proceedings of 14th International Conference of Image Analysis and Processing-Workshops.Modena，Italy，2007:1-4.

［18］FREDEMBACH C，FINLAYSON G D.Simple shadow removal［C］//Proceedings of International Conference on Pattern Recognition.Hong Kong，China，2006:832-835.

［19］张巧焕，唐向宏，任澍.一种基于区域搜索的快速图像修复算法［J］.杭州电子科技大学学报，2011，31(5):139-142.

ZHANG Qiaohuan，TANG Xianghong，REN Shu.A fast image inpainting algorithm based on local search ［J］.Journal of Hangzhou Dianzi University，2011，31(5):139-142.

［20］FADILI M J，STARCK J L，MURTAGH F.Inpainting and zooming using sparse representations［J］.Computer Journal，2009，52(1):64-79.

［21］FENG Liu，GLEICHER M.Texture-consistent shadow removal［C］//Proceedings of ECCV 2008，Part IV.Marseille，France，2008:437-450.

［22］GU Xiaodong，YU Daoheng，ZHANG Liming.Image shadow removal using pulse coupled neural network ［J］.IEEE Trans Neural Network，2005，16(3):692-698.

［23］FINLAYSON G D，DREW M，LU C.Intrinsic images by entropy minimization［C］//Proceedings of the IEEE European Conference on Computer Vision(ECCV).Prague，Czech，2004:582-595.