方雪来, 冯象初

(西安电子科技大学 数学与统计学院, 西安 710071)

场景的动态范围由最大和最小光照强度比率的对数定义[1]. 近年来, 高动态范围(high dynamic range, HDR)摄影以及作为信息载体的高动态范围图像得到广泛关注. 低动态范围(low dynamic range, LDR)图像着重于在显示设备的亮度与颜色范围限制下正确显示图像, HDR图像的目标则是通过高精度数据尽可能地还原人眼对场景亮度和颜色等的感知[2-3]. 这一本质差异使得常规低动态范围的显示设备无法完整地再现HDR图像中的信息. 因此, 需要使用色调映射(tone mapping, TM)方法在保留图像主要信息的前提下将HDR图像转化为传统显示器可显示的图像.

传统色调映射算法大致可分为亮度域和梯度域算法[4]. 亮度域算法利用诸如图层分解、 直方图、 人类视觉系统(human visual system, HVS)等方法处理图像亮度. 该方法考虑如何将HDR图像亮度压缩到传统显示设备的显示区间, 并抑制伴有的光晕、 伪影等问题. 例如, Farbman等[5]提出了基于加权最小二乘(weighted least square, WLS)的保边滤波器, 对HDR图像进行了多尺度的分解与融合; Liang等[6]从优化角度出发, 结合多尺度与边缘保持滤波的思想, 针对分解后不同图层特性引入L0,L1正则约束, 在抑制光晕的同时保持了图像局部信息; Mantiuk等[7]使用HVS模型对比度扰动作为权值, 构建色调映射算子; Khan等[8]基于最小可见误差(just notice difference, JND)调节图像亮度直方图, 并使用查找表(look-up table, LUT)进行映射. 梯度域算法直接操作图像梯度, 图像将基于大梯度压缩与小梯度保持或增强的梯度域引导项进行重建. 例如, Fattal等[9]利用多尺度高斯金字塔构造压缩函数与梯度引导项, 基于梯度引导项进行图像重建, 具有细节保持与无光晕的优点, 但其缺乏对全局亮度的约束, 可能导致过饱和等问题; Shibata等[10]针对梯度域方法重建图像时亮度可能超出显示范围的问题, 添加亮度阈值约束, 并引入WLS权重减轻光晕效应, 取得了显著的动态范围压缩与局部对比度保持效果, 但可能存在低亮度区域过度增强、 自然性与视觉效果缺陷等问题. 因此, 如何提升色调映射效果并有效解决伪影、 过饱和等问题仍是一个挑战.

针对上述问题, 本文提出一种基于Retinex理论的亮度-梯度协同引导色调映射算法. 该算法提出作用域感知的自适应对数变换(domain-aware adaptive logarithmic transformation, AdaLogT)作为亮度与梯度引导项的归一化方法, 保障算法对不同亮度场景、 不同动态范围图像以及不同作用域处理方法的鲁棒性; 引入Retinex分解作为亮度引导估计图像全局亮度, 梯度引导项用于压缩图像动态范围; 给出亮度与梯度引导项的协同关系, 保证图像亮度梯度的一致性, 避免二者冲突使结果出现光晕等问题; 基于亮度与梯度引导项构建图像优化模型, 为进一步减轻光晕效应, 模型加入指数平均局部方差权重与亮度罚函数, 加强模型与HVS感知的一致性. 本文算法充分利用并融合了亮度域算法与梯度域算法的优点, 具有良好的结构保持特性, 改善了色调映射结果光晕、 伪影以及细节丢失等问题.

1 算法设计

本文给出作用域感知的自适应对数归一化方法, 同时设计协同的亮度和梯度引导项, 并将其通过优化模型进行组合以保证结果中场景信息的完整性和主观一致性, 如图1所示.

图1 亮度-梯度协同引导色调映射算法流程Fig.1 Flow chart of luminance-gradient co-guidance tone mapping algorithm

该算法主要由自适应对数归一化模块、 引导项生成模块和优化模型组成. 首先, 基于亮度域与梯度域算法不同的侧重方向, 分别在亮度域与梯度域上提出不同的自适应对数归一化方法, 并将输入HDR图像分别进行归一化处理; 其次, 由归一化结果生成对应的亮度与梯度引导项, 用于约束结果的亮度与梯度信息; 最后, 将亮度、 梯度引导项通过优化模型整合重建, 并经过色彩恢复得到输出图像.

1.1 亮度提取

HDR图像扩展了LDR图像场景的亮度动态范围, 将HDR图像的亮度信息与颜色信息分离处理可有效保持图像的颜色信息, 避免色偏问题. 本文色调映射算法将输入HDR图像转化至YUV颜色空间, 得到相应的亮度通道:

I=0.298 9R+0.587 0G+0.114 0B,

(1)

其中R,G,B分别为输入HDR图像的红、 绿、 蓝颜色通道.

1.2 作用域感知自适应归一化

Werber-Fechner定律[11]表明HVS对亮度变化的敏感性: HVS在绝大部分亮度范围内的响应具有对数特征, 即人眼感知亮度与场景物理亮度存在对数关系[12]. 多数色调映射算法选择在对数域中进行计算[6,9,13-14], 但由于未考虑场景多样性以及算法作用域的影响, 可能导致映射结果出现过饱和或曝光缺失等问题. 为解决该问题, 本文构造作用域感知自适应对数变换AdaLogT, 可由如下形式统一表示:

(2)

图2 不同参数下归一化映射曲线Fig.2 Normalized mapping curves under different parameters

本文分别给出亮度域算法与梯度域算法参数选取的目标函数, 用于自适应确定恰当的归一化映射.对于亮度域算法, 引入图像曝光改善结果曝光不均匀的问题, 并通过图像偏度引导图像分布的对称性.因此基于图像曝光等级与图像偏度作为目标函数, 得到如下优化问题:

梯度域算法在处理HDR时, 对大的梯度处理较好, 但对细节部分的保留仍有不足[15], 小梯度更值得被关注.考虑图像细节部分, 给出如下优化问题:

(4)

1.3 引导项生成

1.3.1 Retinex亮度引导项

图像背景亮度与图像结构不一致可能导致伪影与梯度反转[10]. Retinex理论从人眼视觉感知出发有效地估计了场景的亮度与反射, 本文利用Retinex分解进行全局亮度估计:

(5)

其中Γ(·)表示Retinex算子,L为输入图像经Retinex算子作用后的亮度层. 本文采用单尺度Retinex算法[16]作为全局亮度的估计, 其他如结构纹理感知Retinex算法[17]等也能得到较好的结果.

1.3.2 梯度引导项

梯度域算法的梯度引导项决定了图像动态范围的压缩程度, 因此构造梯度引导项时需对输入图像梯度进行一定程度的压缩:

(6)

其中Λ(·)表示梯度压缩算子,V为得到的引导梯度场.本文采用文献[9]中方法进行梯度压缩.

1.3.3 引导项协同参数

本文对两者梯度的差异进行度量:

(7)

(8)

其中:β∈[0.5,1]为亮度引导项的压缩参数;k为比例参数, 当k∈[4,5]时具有良好的视觉效果, 本文默认k=4.5.

1.4 图像重建模型

下面提出一个具有亮度-梯度协同引导的图像重建模型, 该模型通过亮度与梯度的共同引导增强色调映射结果的细节保持能力与主观自然性:

(9)

(10)

%表示逐元素除法,η>1感知引导梯度场大尺度梯度, 本文默认η=1.5,ε=1×10-4.K加快平坦区域的逼近速度, 并抑制梯度变化剧烈区域的亮度逼近.G(·)为罚函数保证重建时图像亮度不超过显示阈值, 用公式表示为

(11)

其中umax和umin分别为显示器显示亮度的上、 下阈值.

根据国内外农田水利现代化发展经验和建设实践的探索，参照国家颁布的相关技术规范与标准，结合郑州市实际，提出农田水利现代化建设内容，主要包括节水灌溉工程、除涝工程、雨水集蓄利用工程、农田园田化工程以及农田水利信息化工程五个方面。

由于式(9)是不可微的凸函数, 并注意到除罚函数外其余两项是可微且凸的, 因此可用最邻近梯度下降法[18]进行求解.

2 实验及结果分析

下面给出证明梯度-亮度协同引导色调映射方法性能的一些实验. 实验中用于对照的代表性色调映射算法包括Farbman[5],Liang[6],Fattal[9],Shibata[10], 其中Farbman,Liang和Shibata源代码从作者主页获得, Fattal由“HDR luminance”得到结果. 本文使用原文献的推荐参数或程序默认参数进行实验. 实验选取包含室内外亮景和暗景的20张HDR图像验证算法的主客观性能, 并在一些公开HDR图像集上进行实验, 分别为PFSTOOL HDR Gallery,Yeganeh等[19]和Xiao等[20]创建的图像集.

2.1 主观评价

本文算法充分考虑了图像梯度与背景亮度, 符合HVS对场景的感知. 图3为Memorial图像各算法色调映射结果. 图4为CS_WarWick图像各算法色调映射结果.

图3 Memorial图像各算法色调映射结果Fig.3 Memorial image tone mapping results of various algorithms

图4 CS_WarWick图像各算法色调映射结果Fig.4 CS_WarWick image tone mapping results of various algorithms

由图3和图4可见, 本文算法取得了细节保存与图像自然性的平衡, 图像结构与局部细节被更好地保留在结果中. 本文算法在图像动态范围压缩的基础上保持图像细节与背景亮度, 对动态范围进行合理压缩, 避免了图3窗户与天窗处的过饱和, 具有良好的主观视觉效果. 在图4中, Shibata算法[10]产生了强烈的光晕效应, 本文算法对光晕进行了有效抑制, 且其他方法均存在动态范围压缩不足导致的过饱和现象.

图5为各算法室内暗景的色调映射结果比较. 由图5可见, 相比于亮景对动态范围压缩的要求, 暗景更注重对图像细节的保留, 本文算法体现了良好的细节保持特性. 由于Retinex引导项的存在, 较好地估计了图像的亮度范围, 结果与人眼感知更接近. 其他方法存在细节丢失和图像整体亮度不足的问题, 且在放大区域存在不同程度的过饱和现象.

图5 DesignCenter图像各算法色调映射结果Fig.5 DesignCenter image tone mapping results of various algorithms

2.2 客观评价

本文利用色调映射图像质量指数(tone mapping quality index, TMQI)[19]对色调映射进行客观评价. TQMI从结构保真度与自然性对图像进行多角度评价, 并综合给出TMQI得分, 其结果位于0～1内, 值越大代表色调映射算法在相应评价中取得的结果越好.

TMQI结构保真度基于结构相似性指数进行构造, 是一种无参考的客观质量评价指标. 结构相似性指数考虑图像均值、 方差, 而色调映射改变了图像亮度与对比度, 因此TMQI结构保真度从图像局部区域的标准差和协方差进行研究, 其局部结构保真度如下:

(12)

其中x和y分别对应HDR图像和LDR图像的同一像素块,σx,σy表示HDR和LDR图像在该区域内的标准差,σxy表示该区域的协方差,C1,C2为非负的稳定常数.

(13)

其中:Pm,Pd分别表示高斯分布与Beta分布;W为归一化系数,W=max{Pm,Pd}.

综合结构保真度与图像自然性可得色调映射质量指标为

(14)

其中a∈[0,1],b,c决定其灵敏度.

表1列出了不同算法在20张HDR图像中TMQI的平均得分. 由表1可见, AdaLogT预处理方法利用图像统计特征增强了图像的结构与细节信息, Retinex亮度引导项为结果的全局亮度提供了有力保障, 梯度引导项有效压缩了图像的整体动态范围, 三者合力使本文算法取得了最高的TMQI质量得分与自然性得分, 并取得了次高的结构得分.

表1 不同算法的TMQI平均质量得分对比Table 1 Comparison of average quality scores of TMQI for different algorithms

此外, 本文在其他公开HDR图像集上验证所提算法的可行性. 表2列出了各算法在其他公开图像集上的对比结果. 由表2可见, 不同图像集含有更多变的场景条件, 本文在预处理中采用自适应的参数选取策略, 尽可能地考虑这些图像特征差异对结果的影响. 最终, 本文算法在多个公开数据集中仍取得较高的TMQI质量得分, 表明了算法的鲁棒性.

表2 不同算法在不同图像集上TMQI平均质量得分对比Table 2 Comparison of average quality scores of TMQI for different algorithms on different image sets

表3为各算法在不同图像集上的自然性得分. 由表3可见, 相比于其他算法, 本文算法具有较高的自然性得分. 事实上, 实验图像中包含了广泛的图像动态范围变化与亮度差异. 本文算法通过Retinex亮度引导项给出了背景亮度的合理估计, 采用梯度域对图像动态范围压缩尽可能地保持图像细节, 基于模型获得了完整统一的结果, 最终取得了较高的自然性与结构保真性得分.

表3 不同算法在不同图像集上自然性平均得分对比Table 3 Comparison of naturalness average scores for different algorithms on different image sets

2.3 消融实验

本文从两方面进行消融性分析, 以验证本文算法在色调映射中的有效性. 1) 所提出归一化算法的有效性; 2) Retinex亮度引导项的有效性.

为验证自适应归一化算法的有效性, 将自适应归一化算法移除, 改用固定参数的归一化方法:

(15)

其中ε=1×10-4.此时式(15)等价于式(2)中p=4的情形.

表4列出了不同图像集上、 消融性条件下TMQI得分均值. 由表4可见, 相对于固定参数的归一化方法, 作用域感知的自适应归一化算法在各图像集上均取得了最优结果. Retinex项的引入不仅提升了结果的客观评分, 同时也极大改善了图像的主观质量. 图6为使用与不使用Retinex引导项时实验结果的对比. 由图6可见, 相对于未经Retinex引导的结果, 在合理的亮度估计引导下, 使用Retinex结果获得了良好的背景亮度, 保留了更丰富的细节, 整体更接近视觉系统对真实场景的认知.

表4 消融性实验TMQI平均质量得分对比Table 4 Comparison of averag equality scores of TMQI in ablation experiments

图6 消融分析主观效果对比Fig.6 Comparison of subjective effects of ablation analysis

综上所述, 针对梯度域色调映射方法在图像主观显示性能方面存在的不足, 利用人类视觉系统的感知能力和梯度域方法, 本文提出了一种亮度-梯度协同引导色调映射方法. 首先将图像亮度的Retinex估计作为约束加入模型, 该方法依据图像直方图等统计信息构造自适应的归一化方法, 并构造对应满足协同关系的亮度、 梯度引导项; 然后将带指数平均局部方差权值的亮度引导项引入模型, 以保证图像亮度符合HVS对场景亮度的感知并抑制伪影, 用最邻近梯度下降法求解模型; 最后将不同的图像集用于检验该方法. 对比与消融实验结果表明, 该方法具有结构保持与光晕抑制特性, 获得了最优的色调映射性能.