白本督, 刘　军, 范九伦

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)

高动态范围成像研究进展

白本督, 刘军, 范九伦

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)

摘要:高动态范围成像技术是近年来图像处理、计算机图形学等领域的研究热点。基于高动态范围成像技术的主要流程，从高动态范围场景的捕获、高动态范围图像的合成、色调映射、当前高动态范围成像技术遇到的挑战以及高动态范围成像的发展趋势等5个方面，综述高动态范围成像技术的研究进展。

关键词:高动态范围成像；多曝光；辐射亮度；色调映射；去鬼影；单次曝光高动态范围成像

现实世界的场景有非常宽广的亮度范围，亮度变化从10-4cd/m2到106cd/m2，动态范围达10个数量级，而人类视觉系统(human visual system, HVS)在同一场景中可感知的动态范围也超过5个数量级[1]。但是，当前相机成像传感器单次曝光可捕获的动态范围却非常有限，最大动态范围不超过3个数量级，由于记录的像素值采用8 bit每颜色通道来存储，导致生成的标准图像(也称低动态范围图像，low dynamic range, LDR)中常常会出现过曝光或者欠曝光的现象，丢失了部分场景信息。

高动态范围(high dynamic range, HDR)成像技术弥补了成像传感器动态范围较低的不足，该技术可以精确捕获真实场景的相对辐射亮度，完整地保留场景信息，获得的HDR图像不仅有助于HVS对场景的辨识，而且在图像处理、计算机图形学等领域有重要的应用。

高动态范围成像技术是一组技术的综合，依据高动态范围成像技术的主要流程，以下内容将分7部分展开。第1节首先介绍动态范围的基本概念，然后第2节引入高动态范围成像的主要技术。第3至第5节逐项综述相关技术的研究进展，包括高动态范围成像技术的场景捕获，高动态范围图像的合成与色调映射。接着在第6节讨论了高动态范围成像面临的主要难题，最后基于高动态范围成像面临的主要障碍——鬼影问题，讨论分析了高动态范围成像技术未来的研究趋势。

1动态范围

动态范围(dynamic range)是一个无量纲量，表示某一个物理量变化的跨度，即其变化值的最小值到最大值之间的区域，通常以比值、数量级、分贝、“Ev”或者“f-stops”来度量。动态范围对于不同的对象有不同的表示方法，高动态范围成像中动态范围指光信号的变化跨度。

光的亮度(luminance)单位为坎德拉每平方米(cd/m2)，常见光源的近似亮度值如图1所示。

图1　常见光源的亮度范围

场景的动态范围一般取决于两个因素：最大亮度与最小亮度，场景的动态范围表示为

式中Lmax和Lmin分别表示最大和最小场景亮度，获得的动态范围以数量级表示。

数码相机的动态范围取决于其成像传感器感光单元所能接收的最大亮度(感光单元饱和)与最小可感应亮度(读出噪声和统计噪声)，相机的感光度(ISO)也会影响相机的动态范围，一般情况下感光度越低受噪声影响越小则动态范围越高。当然，相机的动态范围还与相机将光信号转换为数字信号的模数转换的位深度(bit depth)有关，位深度越大则记录的动态范围越大。数码相机的动态范围为

其中,Lsaturation为相机记录的最大饱和亮度，Lnoise为相机记录的最小可感知亮度，计算的结果表示为f-stops或者Ev。

在实际的应用中，数码相机的动态范围以输出的RAW格式图像位深度作为一个重要的衡量标准。当前，大部分中高端数码单反相机的图像文件可以记录10～14位深度，因此理论上的动态范围为10～14 f-stops，由于受噪声影响，实际上平均动态范围与理论动态范围还有2 f-stops左右的差距。当前数码相机的动态范围还比较有限，专业的相机评价机构DxOMark实验室对众多高端单反相机的动态范围测试结果表明，当前数码相机最大的动态范围能达到12 f-stops(即4096)左右已经算性能优异了[2]。常见图像的动态范围为图像中记录的最亮像素值与最暗像素的比，JPEG格式的图像文件记录8位深度，所有其可记录的最大动态范围为8 Ev(256)。显示器的动态范围是显示器发出的最大亮度至最小亮度的整个数量级跨度范围，当前普通显示器的最大动态范围不超过3个数量级。

2高动态范围成像技术

高动态范围成像技术源自于胶片时代的专业摄影技术，是广大专业摄影师和摄像师群体针对大场景高动态范围摄影/摄像成像的主要手段。19世纪50年代的Gustave Le Gray是当今主流多曝光合成高动态范围成像技术的先驱[3]。Le Gray在试图拍摄既有大海又有蓝天的场景时发现单次曝光难以捕获整个场景。于是，Le Gray使用一张胶片拍摄天空，另一张具有更长曝光时间的胶片拍摄大海，然后在暗室将两张胶片合成为一张既有大海又有天空的高动态范围照片。

随着数字成像技术的发展，尤其是近年来数字成像技术在分辨率方面的飞速发展，使得图像/视频的质量在分辨率方面日臻突破人类视觉可分辨极限。制约数字成像质量的另外一个主要因素——图像的动态范围——引起越来越多的研究者关注。在过去的20年，HDR成像技术获得了迅速的发展，静态场景的HDR成像技术已日臻成熟，现阶段面临的主要难题是动态场景的HDR成像，主要包括包围曝光图像的对齐和运动目标的去鬼影。2011年，美国苹果公司发布的iPhone4s搭载了高动态范围成像技术，使得高动态范围成像技术开始步入大众视野。

由于还没有成熟的HDR成像传感器，当前的HDR成像方法都基于一个原理：捕获目标场景的包围曝光图像，如图2所示。由于当前传感器单次曝光捕获的动态范围有限，不同的曝光量捕获的亮度范围不同，通过对同一场景以不同的曝光量多次曝光(即包围曝光)，实现覆盖整个场景的亮度范围，最终将这组覆盖场景亮度范围的图像合成为一张HDR图像。

图2　HDR成像原理

当前广泛使用的多曝光HDR成像流程如图3所示。采用单部成像设备多曝光或特殊设计的成像设备单次同时曝光捕获一组目标场景的包围曝光LDR图像；通过算法将包围曝光图像做对齐、去鬼影处理；将处理后的包围曝光图像以及图像对应的曝光参数作为输入参数求解方程解得相机响应函数(camera response function, CRF)；将处理后的图像依据CRF合成为一张HDR图像；将HDR图像直接显示在HDR显示设备上或者将HDR图像色调映射后显示在LDR显示设备上。

图3　多曝光HDR成像流程

3高动态范围场景的捕获

当前HDR场景的捕获策略主要有两种:一种是不同时的连续多次曝光捕获，另一种是基于硬件的单次曝光捕获。

3.1多曝光

多曝光是当前HDR成像中捕获场景主要采取的方式，使用单部成像设备对同一场景以不同的曝光时间连续拍摄多张LDR图像，然后利用成像设备的响应函数将这些图像合成为一张HDR图像[4-8]。对于静态场景，多曝光的方式可完整捕获场景动态范围且可合成高质量的HDR图像，当前数码单反相机以及移动终端中的HDR成像都是采用这种方式，但该方法只适用于静态场景的HDR成像，对于动态场景HDR成像会出现严重的鬼影问题。

为了解决多曝光HDR成像导致的鬼影问题，采用分光的模式并行多个成像单元同步曝光提高现有单个成像设备的动态范围是一种有效手段。专业设计的多传感器相机[9-11]利用分光器将进入相机镜头的光线分向每个传感器，实现同时包围曝光的目的。由于该方法将入射光分为多束，因此对于亮度高的场景可以实现高质量的HDR成像，但对于亮度低的场景则成像质量不能保证。

多部相机组合的装置[12-15]通过给每部相机设置不同的曝光时间、不同的光圈值或者不同的感光度实现每部相机的不同曝光，最后同时触发多部相机的快门实现同步单次包围曝光。该方案不局限于高光场景,相对于分光模式[9-11]成像可应用的自然场景更广。但是，由于不同相机之间的位移差，使得该方法需对获得的包围曝光图像做视差校正(disparity correction)处理。

3.2单次曝光

单次曝光高动态范围成像设备包括对成像传感器[16-20]、光圈[21]或者快门[22]进行特殊设计的相机。该类特殊设计的成像设备通过在成像传感器前放置一个光学掩膜，或者通过控制传感器中像素点的曝光时间、感光度，或者采用专门设计的光圈、快门的相机镜头实现相邻像素间以不同的曝光量曝光，最终达到单次包围曝光的目的。但是，由于是在单个成像传感器上实现同时包围曝光，该方法会牺牲图像的分辨率，捕获的动态范围也远达不到HVS可感知的动态范围。

3.3多曝光优化

迄今为止，HDR成像的研究主要致力于如何将多张连续曝光的低动态范围图像合成为一张受鬼影、噪声、重影、运动模糊干扰更小的高动态图像，而关于低动态范围图像的获取步骤中最优的图像曝光集合即多曝光优化问题的研究则比较少。

针对当前HDR成像中包围曝光图像集合冗余多的问题，2003年，文[23]构造了3类高动态范围相机响应函数，并给出了相应的最佳曝光集合，但其给出的组合能获得的最大动态范围有限，不能根据场景的动态范围灵活地调整曝光集合以达到最优，同时对于不同场景的捕获还需要用户预先选择动态范围。2008年，文[24]提出了3个不同的算法分别实现最小系统包围、最小图像包围和基于反馈包围曝光组合。其中最小图像包围曝光算法获得的曝光组合最小，但需要预捕获目标场景。2015年，文[25]提出了一种简单有效的最小包围曝光集合求解算法。该算法首先依据相机响应函数建立曝光集合与动态范围的映射，然后采用测光表或者相机内置测光器直接获取目标场景最亮和最暗亮度，最后通过遍历的方法寻找涵盖目标场景动态范围的最小包围曝光集合。

如图4所示，优化后的曝光序列与图2中味精优化的曝光序列相比明显变少。此类多曝光优化算法在保证合成的HDR图像质量的前提下，可有效减少当前广泛采用的包围曝光方式捕获图像的数量，从而降低多曝光方式捕获HDR场景的总捕获时间，降低了合成的高动态范围图像中可能出现的重影噪声，同时节省了存储空间，也间接提高了后期高动态范围图像的合成效率[25]。因此，多曝光优化算法对于HDR成像中包围曝光图像捕获有很高的实用价值。

图4　优化后的曝光序列

4高动态范围图像的合成

当前合成HDR图像的方式主要分为两种：辐射亮度域合成和图像域合成，如图5所示。

图5　HDR图像合成的两种方式

4.1辐射亮度域合成

合成HDR图像较早实现的方式是在辐射亮度域的合成，这种方式需要依据成像设备的响应函数来实现。成像设备的响应函数表示入射到成像传感器上的场景辐射亮度与成像设备记录的像素值之间的关系，是HDR图像合成的重要基础，响应函数的准确度直接影响合成的HDR图像的质量以及记录的亮度信息准确度。文[4-6]最早提出了3种不同的相机响应函数求解方法，为HDR成像奠定了基础。在这些基础上，文[26]充分考虑成像过程中各种噪声的影响来计算CRF，并从噪声概率统计角度设计权重图谱，文[27]根据所有相机响应共有的约束因子定义了相机响应的理论空间(theoretical space)，通过收集201部相机的CRF创建CRF数据库，结合相机响应的理论空间约束因子与CRF数据库建立了一个低维参数的相机响应实验模型，基于这个模型计算的CRF将更准确。文[28]从一致性、精确性、鲁棒性以及运算效率等4方面对一些CRF计算方法进行了评估[5-6,26-27]，评估结果表明：文[27]提出的算法精确度最高，文[6]提出的算法一致性最好，并且抗噪声干扰能力也很强，文[5]提出的算法抗噪声干扰能力最强。

获得CRF后，根据CRF计算一组包围曝光的LDR图像相应的亮度值，以像素点或像素块为单位，对相同位置的单位亮度加权平均[1]171-182获得最终的HDR图像。

4.2图像域合成

图像域合成[29-30]方法以保留包围曝光LDR图像组里每一张中曝光最优部分的方式，直接将多张图像合成为一张图像。合成的图像保留了场景的细节信息，但损失了场景的动态范围。算法不需要计算CRF，而是直接对相同位置的像素加权平均获得最终的HDR图像，每张图像对应的权重图谱决定了最终的感知特性。本质上合成的这张HDR图像相当于HDR图像色调映射后的LDR图像。

如果需要场景的亮度信息，合成HDR图像则只能采用辐射亮度域合成的方式，如果仅为了视觉上的辨识，两种方式都可行，但采用图像域合成的方式则计算效率更高。

5色调映射

HDR成像的最终目的是呈现真实世界的场景亮度感受给HVS，但当前的普通显示设备能呈现的动态范围不超过3个数量级，远不能完整显示HDR内容[31]。色调映射技术可以压缩HDR图像的动态范围同时保留最大可感知的细节信息，实现HDR内容在普通显示设备上的显示。根据映射目的，可将色调映射算法分为3类[32]：(1) 视觉系统模拟器算子[33-34]：该类算子模拟HVS在不同环境下对可见光的感知属性，实现感知上的真实性。(2) 场景重构算子[35]：保留原始场景的信息，比如对比度、锐度以及颜色等。(3) 主观质量最优[36]：依据艺术目的或主观偏好映射HDR图像。

根据采用的算法原理，色调映射算法可以分为4类[37]：(1) 全局映射算法[33,38]：采用同一个映射函数对HDR图像中所有的像素值映射。该类方法复杂度低、运算速度快且保持了全局对比度，但可处理的动态范围有限，可能会丢失高亮或者昏暗区域的细节信息。(2) 局部映射算法[39-40]：映射算法在像素空间上是变化的，算法中的参数根据HDR图像局部信息做调整。该类方法能够扩展局部较小的对比度、缩减局部较大的对比度，做到很好保存细节信息，但其运算复杂且耗时，且容易出现色偏，导致映射后的场景整体明暗不协调。(3) 分割算法[41-42]：HDR图像被分割为许多子区域，不同的区域采用不同的映射算法。这类算法可以较好保存细节信息和对比度，但复杂度比较高。(4) 频域/梯度域算子[43-44]：对HDR图像的亮度图(luminance)在梯度域进行多尺度压缩，再从压缩后的梯度分布中恢复出新的亮度图，从而实现了动态范围的压缩，同时很好地保留了细节及边缘信息，但可能会出现光晕效应。

色调映射算法调整了HDR图像中的对比度关系，映射后的LDR图像中较好地保留了场景的细节和局部对比度信息，但往往会出现色貌(color appearance)的改变。有大量关于色调映射压缩亮度动态范围的算法，但关于色彩信息的研究则较少。近些年来，研究人员希望能够实现压缩动态范围的同时保持彩色信息不失真，这类技术主要介绍了如何在LDR图像中重建HDR图像的色貌。文[45]基于图像色貌模型提出iCAM06算法，采用双边滤波器将HDR图像分解为基本层和细节层，从而准确预测图像的复杂色貌，实现了图像色貌的再现，在视觉感知上更加真实，但该算法校正参数多且运算复杂度高。文[46]提出了一个全自动色貌饱和校正算法，算法的输入为两张图像：色调映射后的LDR图像和原始的HDR图像，利用HDR图像中包含的原始饱和值和色度值来校正色调映射后的LDR图像。该方法可以自动校正色调映射后的图像色貌，使映射后的图像更加真实，且该方法可直接应用于已有的色调映射方法。

为了对比不同映射算法之间差异性，文[47-50]基于精神物理学对色调映射算法做了相关测试，测试结果显示，不同的色调映射算法在感知的不同方面有优越性，但没有一个算法能实现在感知的多个方面最优。基于这些评估，可以根据需要采用最合适的映射算法实现HDR内容在LDR显示媒介上的呈现。

6HDR成像的难点

HDR成像的难点分类如表1所示。当目标场景中不存在运动目标时，单部成像设备多曝光的方法获得的包围曝光图像可能会出现未对齐的问题，这种问题通常由相机抖动引起，在不同的LDR图像中出现全局运动，未对齐的包围曝光图像合成的HDR图像会出现运动模糊问题，使用三脚架固定相机拍摄可以缓解这种问题。然而，当场景中存在运动目标时，合成的HDR图像会发生同一个目标出现在不同位置的情况，也就是鬼影[7]，如图6所示。鬼影问题在这4种成像方法中都会遇到，是当前HDR成像中的最大难题。

表1　HDR成像的难点分类

图6　产生鬼影的原理

文[51]提出了一种包围曝光图像对齐的算法，其思想是首先计算相邻图像间的运动向量，基于向量对相邻的图像变形，两两实现对齐，但该算法对于全局运动大的情况会失效。文[52]提出的基于中值阈值位图(median threshold bitmap, MTB)的对齐方法能够准确地对齐有轻微全局运动的一组包围曝光图像，且运算效率高，许多HDR图像合成软件都采用此方法。

由于相机抖动以及场景中存在运动目标常常同时出现，因此许多算法的图像对齐与鬼影去除是同步进行的。近年来，研究者提出了不少的方法解决去鬼影问题[53-61]，大体上可分为两类：鬼影检测及去除[55,60]首先检测出会产生鬼影的区域，然后根据检测结果去除鬼影；直接去除鬼影[7,53]通过估算包围曝光之间的相关性，在合成HDR图像的同时去除鬼影。

6.1鬼影检测及去除

大多数去鬼影的方法都是先检测会产生鬼影的区域，然后对这些区域做去鬼影处理。通常，一组曝光图像在全局上都对齐的情况下，鬼影检测算法依据某些准则判断图像组中相同像素坐标或者块坐标位置上的色彩是否具有一致性，以此来确定会产生鬼影的区域。这些准则包括计算LDR图像对应辐射亮度图的方差图谱(variance image, VI)[55]，LDR图像对应的辐射亮度图两两之间的变化检测(change detection)[60]，局部邻域熵的差[55]，像素次序的关联[62]，灰度域像素值直方图的多级阈值[63]，属于背景像素的概率[58-59]，不同曝光图像相同坐标位置像素值的相关性[64-65]，梯度方向之间的差[66]，不同曝光间像素关联的中值位图[67]等。

检测到的鬼影将通过两类方法去除[56]：1)去除鬼影同时保留一个曝光中的运动目标[55,57]，这类方法参考图像的选取依据饱和像素最少或者鬼影区域曝光最佳的准则；2)彻底去除鬼影，不保留运动目标[59,62]，这类方法适合运动目标非常小的场景。

6.2直接去除鬼影

直接去除鬼影的方法首先将包围曝光图像对齐，然后应用算法合成HDR图像的同时去除鬼影。

文[51]基于梯度域的光流(optical flow)计算运动区域的运动向量，根据向量对相邻帧的图像做一致性的处理，达到去鬼影的目的，但该方法只适用于运动幅度非常小的场景。在文[51]的基础上，文[68]提出了基于块的运动估计方法来提高相邻曝光间的一致性，同时根据色彩相似度优化了饱和区域的运动向量，但得到的HDR图像可能会出现块效应。文[54]提出了基于能量的光流方法实现图像的对齐与鬼影去除，算法求得的密集位移域(dense displacement fields)可以表示任意复杂的运动，对于去鬼影有一定效果。但是，该方法对于运动幅度较大的目标以及运动目标遮挡过的背景HDR成像效果不好。文[7]提出一种基于块的优化算法合成HDR图像的同时对齐了图像也去除了鬼影。该方法将曝光等级处在中间的一张LDR图像作为参考图像，其他图像基于块与其对齐、合并，通过最小化一个基于块的能量公式获得局部最优相似性，同时实现了LDR图像对齐和HDR图像的合成处理。由于选定了一张参考图像，因此参考图像的噪声可能会传播给最终的HDR图像，该方法对被运动目标遮挡过的HDR区域不能实现HDR成像。文[53]提出了一种先进的自动去鬼影方法，通过计算空间一致性和最小化的一个MRF类型的全局能量函数，获得一组图像中相同像素位置上具有一致性的彩色像素子集。然后，加权平均这个彩色像素子集合成HDR图像。该算法不需要选择参考图像，也不需要对图像背景建模，但不能恢复HDR的运动目标的动态范围，还可能会发生运动目标出现不完整或者多次出现的情况。文[69]构造了一个求解最小秩的框架合成HDR图像，场景背景表示为一个低秩矩阵，运动目标表示为一个稀疏矩阵，在鬼影区域的相关物理约束条件下，鬼影检测就相当于低秩矩阵的填充问题。文[70]改进了文[69]的算法，图像未对齐、运动目标、噪声以及其他非线性的干扰因素都被当做稀疏矩阵中的异常值，提出了一个秩最小求解算法，对齐图像的同时去除了稀疏矩阵中的异常值。该方法可以在一个参考图像上手动标出可能出现异常的区域，避免了在合成的HDR图像中出现运动目标重叠。

文[56]和文[71]对HDR成像中的去鬼影算法进行了评估，结果显示：对于某些特定场景这些算法都可能会失效，尤其对于存在复杂的非刚体运动目标的场景、运动目标与背景交界处出现高亮区域或阴影区域的场景以及运动目标为HDR的场景，很难实现完全的无鬼影HDR成像。当前，专门设计的HDR成像装置可以减轻这些问题[11,13-14]，但也不能完全实现无鬼影的HDR成像。要实现无鬼影的HDR成像除了算法上的改进还需要成像传感器性能上的提高。

7研究趋势

鬼影是阻碍HDR成像发展的一大难点，当前提出的去鬼影算法主要是针对多曝光捕获动态场景的包围曝光图像而提出的，为了在源头去除鬼影的影响，近些年有一些单次曝光捕获包围曝光图像的方法被提出，该类方法可实现同步捕获包围曝光图像，有效地避免了HDR图像重建中鬼影的影响。单次曝光的方法主要分为单传感器曝光和多传感器单次同时曝光。

7.1单传感器

由于单个传感器空间上的多曝光是同步进行，因此该类方法可有效避免鬼影。2000年，文[16]提出了类似于拜耳模式的色彩滤波阵列方法，通过在单个传感器前放置光学掩膜实现空间域多曝光，从而实现HDR成像。图7为该方法采用的光学掩膜，此光学掩膜以图7右侧的多曝光子像素为一个像素单元，子像素中不同的空间位置透光率不同，e3>e2>e1>e0。该方法可同时曝光捕获一组包围曝光图像，对于动态场景的HDR成像受鬼影影响小，但该方法牺牲了图像分辨率，对于运动场景还会遇到运动模糊问题。

图7　光学掩膜滤波阵列

2003年，文[19]提出了在时间域和空间域上自适应调整曝光的HDR成像方法，如图8所示。通过调整空间光调制器的透光率来避免传感器像素出现饱和。空间域上不同空间位置的入射光亮度不同，根据入射光亮度调整空间光调制器不同空间位置的透光率实现成像传感器在空间域上的曝光自适应调整。在时间域上根据入射光的变化调整空间光调制器的透光率实现成像传感器在时间域上的曝光自适应调整，同时获得透射率函数。根据透射率函数和捕获的图像数据恢复出HDR图像。由于空间光调制器Tt+1时刻的透射率需要根据成像传感器的前一时刻的反馈It来作为调整依据，因此该方法对于运动场景的HDR成像质量不能保证。

图8　时间域和空间域调整曝光的原理

设置不同的曝光时间或者在传感器前放置透射率不同的滤镜，实现包围曝光，是当前基于硬件扩展方式实现HDR成像主要采取的策略。近些年来，研究者提出了其他基于硬件的策略实现HDR成像。2014年，文[22]通过编码的电子快门(coded electronic shutter)以行变换曝光的方式实现单次曝光捕获，如图9所示。EFCS(electronic front curtain shutters)表示电子前帘快门，对该电子快门编码，以不同行的电子快门开启曝光的时间起点不同曝光的终止时间相同的方式实现传感器每行不同曝光，然后从捕获的单张图像中恢复出包围曝光图像。MRCS(mechanical rear curtain shutter)表示机械后帘快门，该快门用于终止传感器曝光。由于传感器行之间的曝光量是通过曝光时间的长短来实现的，因此存在曝光不同步的问题，对于运动的目标可能会出现局部鬼影问题，该方法还会损失图像分辨率，难以保证图像的锐度，且该方法的运算效率还有待提高。

图9　以行变换的电子快门曝光

随着计算摄像学(computational photography)的发展，科研人员提出了一些有关HDR成像的理论框架。2014年，文[21]提出了一个基于编码的光圈(coded aperture)同时捕获多个不同曝光的HDR成像理论框架，如图10(a)所示。所谓光圈编码，是指将光圈设计成特殊的图案而不是现在普遍使用的圆形或者正六面形光圈，编码的光圈就是有特殊图案的一个光学遮罩。编码的光圈可分解为N个不同的子光圈，每个子光圈实现不同的曝光，从而实现场景包围曝光图像的捕获，如图10(b)所示。该框架根据编码的光圈对应的解码滤波算法将捕获的单张RAW格式图像分解为N张不同曝光的图像。但是，当捕获的RAW格式图像中出现饱和像素时，该方法则无法准确恢复出饱和像素所对应的包围曝光像素点。

(a) 成像系统示意

(b) 编码的光圈分解示意

2015年，文[72]提出了一种采用取模相机(Modulo Camera)实现无限制的高动态范围(Unbounded High Dynamic Range，UHDR)成像框架，其核心思想为：在整个曝光过程中，当传感器像素单元饱和时将饱和的像素单元清零(重置)，像素单元可继续接收入射光，如果入射光亮度很高，则可能会进行多次清零。曝光结束后，最终获得的图像记录的是取模后的像素值，由于取模相机对光的响应是线性的，因此不需要计算相机响应函数，直接根据能量优化算法和自然图像的属性就能恢复HDR图像。图11(a)是该相机捕获的取模图像，可以看出在高亮的区域有条纹纹理，这些条纹纹理都是由于像素单元饱和后取模的结果；图11(b)是由取模图像恢复的HDR图像色调映射后的结果。由于不知道传感器清零的次数，提出的算法对于亮度平滑变化的场景能够很好的恢复场景的HDR图像，但对于存在局部对比度变化剧烈的场景则不能准确恢复场景的HDR图像，针对该问题又提出了多曝光的UDHR成像方法，此方法能以最少的曝光次数捕获场景的HDR图像。总的来说，文[72]提出了一个新颖的HDR成像思路，为HDR成像发展提供了更多选择。

图11　取模图像与恢复图像

与上述通过硬件方式单次曝光扩展动态范围的方法不同，2015年，文[73]提出了基于软件控制的方法单次曝光扩展动态范围。该方法以空间上两行交替变化成像传感器增益(感光度ISO)的方式捕获了一张混合的RAW格式图像，如图12所示。通过对捕获的RAW格式图像进行自适应调节滤波实现HDR图像的重构。与硬件扩展动态范围的方法相比，该方法不需要昂贵的专用硬件，也不需要复杂的设计以及传感器之间精准的几何校正，只需要在Cannon单反相机中安装Magic Lantern固件，就能以空间上两行交替变化成像传感器增益的方式捕获一张混合的RAW格式图像，再通过文[73]提出的HDR图像重构算法即可获得HDR图像。

图12　变换感光度的成像模式

7.2多传感器

利用光学元件(如分光器或分光棱镜)将入射光分向多个同步的成像传感器实现动态范围扩展。成像传感器曝光量的调整可通过在传感器前放置不同透光率的光学滤镜(中性灰度滤镜，Neutral density filter，NDF)或者设置不同的传感器感光度实现。此类多传感器或多相机单次曝光指多传感器或者相机以相同曝光时间或快门速度同时曝光。曝光时间或快门速度相同的传感器或相机捕获的包围曝光图像在后期处理时可有效避免鬼影。

2011年，文[10]在相机镜头与传感器之间的不同空间位置上放置了两个分光器，通过多次反射实现光路再利用，提高光的使用效率，如图13所示。对成像设备而言，入射光的利用效率至关重要。理论上，该方法对进入光圈后的光利用率可达99.96%，远高于其他类似的多传感器HDR成像方法。不过，一旦分光器的透光率确定，该系统的曝光组合将随之确定，系统灵活性不够。

图13　3传感器成像结构

2014年，文[74]采用两部Arri ALEXA相机以图14的构造方式实现HDR视频捕获。将带抗反射涂层的玻璃板作为分光器，分光器的透射率为94%、反射率为6%，从而实现扩展4 f-stops的动态范围。与文[10]方法不同，文[74]将分光器的放置位置由相机镜头与传感器之间变为相机镜头前，该方法最明显的优势就是不需要复杂的硬件设计，同时可灵活改变分光器的透光率，实现灵活调整曝光。但是，该成像系统也有以下几点不足：整个成像系统比较笨重；分光器面积较大导致该系统受杂散光和镜头光晕干扰；分光器还会导致最后捕获的高亮场景图像中出现双轮廓(double contours)；分光器还会导致光的偏振等；由于只采用了两部相机，该系统可捕获的最大动态范围约18 f-stops(约2.6×105)，还无法捕获高度逆光场景的整个动态范围。

图14　双相机成像的垂直结构

文[9，11]设计了多传感器的HDR成像系统，原理如图15所示。采用分光器将入射光四等分，分别入射到每个传感器上，传感器之间曝光的调整可通过在传感器前放置不同透光率的中性灰度滤镜，该方法捕获的动态范围很广，可达24 f-stops(约1.68×107)。但是，该方法的不足主要有：光的利用率比较低，利用率仅为33.2%，由于光的利用率低也导致对场景的昏暗区域成像质量难易保证。

图15　4传感器成像结构

利用分光器将入射光分向不同相机的方式对光的利用率较低[74]，2014年，文[13]提出一种双部相机空间域包围曝光方法，以求充分利用入射光，如图16所示。在相机镜头前安置NDF，实现两部相机的曝光量调整，保证场景曝光同步，可缓解合成HDR图像时的鬼影问题。该方法的难点在于对两部相机拍摄图像的精确配准，亦即视差估计(disparity estimation)，或称视差校正。

图16 双部相机平行结构

文[14]针对双部相机可能会遇到的遮挡(Occlusion)问题,提出了类似于文[13]的三部相机HDR成像方案，该方案可有效解决遮挡问题，如图17所示，同时可提高图像的视差估计的准确度，合成的图像质量也优于两部相机的结果。

图17　3部相机平行结构

8结语

详细论述了目前HDR成像技术的发展状况，对HDR成像技术取得的成果以及HDR成像技术的发展趋势做了讨论总结。静态场景的HDR成像以及色调映射技术已逐渐成熟，但动态场景的HDR成像到目前为止还有许多挑战。随着近些年HDR成像技术的发展，HDR成像已经逐渐走进大众视野，可以预知，HDR成像将会在成像领域给人类带来更震撼的视觉体验。就像在视觉感受上人类经历了从灰度图像到彩色图像的跨越，从低分辨率图像到高分辨率图像的跨越以及2D到3D的跨越，从LDR图像到HDR图像也会给人类在视觉感受上带来同样的跨越，但要实现大众普及，研究人员仍有大量的难点需要突破。

参考文献

[1]REINHARD E, HEIDRICH W, DEBEVEC P, et al. High dynamic range imaging: acquisition, display, and image-based lighting[M/OL]. 2nd ed. San Mateo: Morgan Kaufmann, 2010:1-594[2015-11-22]. http://www.doc88.com/p-0019918551381.html.

[2]DXOMARK. DxOMark Sensor scores[EB/OL].[2015-11-22].http://www.dxomark.com/About/Sensor-scores/Use-Case-Scores.

[3]Photographer: Gustave Le Gray[EB/OL].[2015-11-22].http://www.getty.edu/art/exhibitions/le_gray/index.html.

[4]MANN S, PICARD R W. On being “undigital” with digital cameras: Extending Dynamic Range by Combining Differently Exposed Pictures[C/OL]// Proceedings of IS&T 48th Annual Conference. Washington:Society for Imaging Science and Technology, 1995:442-448[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.21.3141.

[5]DEBEVEC P E, MALIK J. Recovering High Dynamic Range Radiance Maps from Photographs[C/OL]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles: ACM, 1997:369-378[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1401132.1401174.DOI:10.1145/1401132.1401174.

[6]MITSUNAGA T, NAYAR S K. Radiometric self calibration[C/OL]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins: IEEE, 1999,1:374-380[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=786966&tag=1.DOI:10.1109/CVPR.1999.786966.

[7]SEN P, KALANTARI N K, YAESOUBI M, et al. Robust patch-based HDR reconstruction of dynamic scenes[J/OL]. ACM Transactions on Graphics, 2012, 31(6):203[2015-11-22]. http://dl.acm.org/citation.cfm?id=2366222.DOI:10.1145/2366145.2366222.

[8]KALANTARI N K, SHECHTMAN E, BARNES C, et al. Patch-based high dynamic range video[J/OL]. ACM Transactions on Graphics, 2013, 32(6):202[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508402.DOI:10.1145/2508363.2508402.

[9]KRONANDER J, GUSTAVSON S, BONNET G, et al. A unified framework for multi-sensor HDR video reconstruction[J/OL]. Signal Processing: Image Communication, 2014, 29(2):203-215[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001355.DOI:10.1016/j.image.2013.08.018.

[10] TOCCI M D, KISER C, TOCCI N, et al. A versatile HDR video production system[J/OL]ACM Transactions on Graphics, 2011,30(4):41[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2010324.1964936.DOI:10.1145/2010324.1964936.

[11] KRONANDER J, GUSTAVSON S, BONNET G, et al. Unified HDR reconstruction from raw CFA data[C/OL]//IEEE International Conference on Computational Photography. Cambridge :IEEE, 2013:1-9[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[12] SUN N, MANSOUR H, WARD R. HDR image construction from multi-exposed stereo LDR images[C/OL]//IEEE International Conference on Image Processing. Hong Kong:2010:2973-2976[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5653371.DOI:10.1109/ICIP.2010.5653371.

[13] BATZ M, RICHTER T, GARBAS J-U, et al. High dynamic range video reconstruction from a stereo camera setup[J/OL]. Signal Processing: Image Communication, 2014, 29(2):191-202[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001331.DOI:10.1016/j.image.2013.08.016.

[14] KEINERT J, WETZEL M, SCHOBERT M, et al. Cost-Effective Multi-Camera Array for High Quality Video with Very High Dynamic Range[J/OL]. Digital Photography X, 2014, 9023(1):1-15[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844626.DOI:10.1117/12.2039563

[15] LEE B, SONG B C. Multi-image high dynamic range algorithm using a hybrid camera[J/OL]. Signal Processing: Image Communication, 2015, 30:37-56[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S092359651400160X.DOI:10.1016/j.image.2014.11.002.

[16] NAYAR S K, MITSUNAGA T. High dynamic range imaging: spatially varying pixel exposures[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island: IEEE, 2000:472-479[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=855857.DOI:10.1109/CVPR.2000.855857

[17] CHENG H-Y, CHOUBEY B, COLLINS S. A high-dynamic-range integrating pixel with an adaptive logarithmic response[J/OL]. Photonics Technology Letters, 2007, 19(15):1169-1171[2015-11-22]. http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4268351.DOI:10.1109/LPT.2007.901466.

[18] AGUERREBERE C, ALMANSA A, GOUSSEAU Y, et al. Single shot high dynamic range imaging using piecewise linear estimators[C/OL]//IEEE International Conference on Computational Photography. Santa Clara: IEEE, 2014:1-10[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6831807.DOI:10.1109/ICCPHOT.2014.6831807.

[19] BNAYAR S K, BRANZOI V. Adaptive dynamic range imaging: Optical control of pixel exposures over space and time[C/OL]//IEEE International Conference on Computer Vision. Nice: IEEE, 2003:1168-1175[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1238624.DOI:10.1109/ICCV.2003.1238624.

[20] HAJSHARIF S, KRONANDER J, UNGER J. HDR reconstruction for alternating gain (ISO) sensor readout[C/OL]// Eurographics 2014-Short Papers. Strasbourg: The Eurographics Association ,2014[2015-11-22]. http://www.diva-portal.org/smash/record.jsf?pid=diva2%3A700103&dswid=-7045.

[21] TEIXEIRA R, AIZAWA K. Simultaneous acquisition of multiple images with higher dynamic range[C/OL]//IEEE International Conference on Acoustics, Speech and Signal Processing. Florence :IEEE, 2014:1355-1359[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[22] CHO H, KIM S J, LEE S. Single-shot High Dynamic Range Imaging Using Coded Electronic Shutter[J/OL]. Computer Graphics Forum, 2014, 33(7):329-338[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12501/full.DOI:10.1111/cgf.12501.

[23] GGOSSBERG M D, NAYAR S K. High dynamic range from multiple images: Which exposures to combine[C/OL]// Proceedings of the ICCV Workshop on Color and Photometric Methods in Computer Vision (CPMCV). Nice: IEEE Computer Society, 2003, 3(3) [2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.123.3522.

[24] BARAKAT N, HONE A N, DARCIE T E. Minimal-bracketing sets for high-dynamic-range image capture[J/OL]. IEEE Transactions on Image Processing, 2008, 17(10):1864-1875[2015-11-22]. http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=4623179. DOI: 10.1109/TIP.2008.2001414.

[25] 白本督, 范九伦. 高动态范围成像最小包围曝光方法[J/OL]. 西安邮电大学学报, 2015, 20(5): 43-47[2015-11-22].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2015.05.008.

[26] ROBERTSON M A, BORMAN S, STEVENSON R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J/OL]. Journal of Electronic Imaging, 2003, 12(2):219-228[2015-11-22]. http://electronicimaging.spiedigitallibrary.org/article.aspx?articleid=1097956.DOI:10.1117/1.1557695.

[27] GROSSBERG M D, NAYAR S K. Modeling the space of camera response functions[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004, 26(10):1272-1282[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1323796.DOI:10.1109/TPAMI.2004.88.

[28] AKYUZ A O, GENCTAV A. A reality check for radiometric camera response recovery algorithms[J/OL]. Computers & Graphics, 2013, 37(7):935-943[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849313001015.DOI:10.1016/j.cag.2013.06.003.

[29] MERTENS T, KAUTZ J, VAN REETH F. Exposure fusion:A simple and practical alternative to high dynamic range photography[J/OL]. Computer Graphics Forum, 2009, 28(1):161-171[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2008.01171.x/full.DOI:10.1111/j.1467-8659.2008.01171.x.

[30] ZHANG W, CHAM W-K. Gradient-directed composition of multi-exposure images[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:530-536[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5540168.DOI:10.1109/CVPR.2010.5540168.

[31] SEETZEN H, WARD G, WHITEHEAD L, et al. High Dynamic Range Display Systems[J/OL]. ACM Transactions on Graphics, 2004, 23(3):757-765[2015-11-22]. http://dl.acm.org/citation.cfm?id=1015797.DOI:10.1145/1015706.1015797.

[32] EILERTSEN G, WANAT R, MANTIUK R K, et al. Evaluation of Tone Mapping Operators for HDR-Video[J/OL]. Computer Graphics Forum, 2013, 32(7):275-284[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12235/full.DOI:10.1111/cgf.12235.

[33] PATTANAIK S N, TUMBLIN J, YEE H, et al. Time-dependent visual adaptation for fast realistic image display[C/OL]// SIGGRAPH’00 Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New Orleans: ACM, 2000:47-54[2015-11-22]. http://dl.acm.org/citation.cfm?id=344810. 10.1145/344779.344810.

[34] CYRIAC P, BERTALMIO M, KANE D, et al. A tone mapping operator based on neural and psychophysical models of visual perception[C/OL]//Proceedings of SPIE 9394, Human Vision and Electronic Imaging XX. San Francisco :SPIE, 2015: 93941I-93941I-10[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=2209754.DOI:10.1117/12.2081212.

[35] DALY S, MANTIUK R, KEROFSKY L. Display adaptive tone mapping[J/OL]. ACM Transactions on Graphics, 2008, 27(3):68[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1360612.1360667.DOI:10.1145/1360612.1360667.

[36] AKYUZ A O, HADIMLI K, AYDINLILAR M, et al. Style-based tone mapping for HDR images[C/OL]//Proceedings of SIGGRAPH Asia 2013 Technical Briefs. Hong Kong :ACM, 2013: Article 23[2015-11-22]. http://dl.acm.org/citation.cfm?id=2542384.DOI: 10.1145/2542355.2542384.

[37] BANTERLE F, ARTUSI A, Debattista K, et al. Advanced high dynamic range imaging :theory and practice[M/OL]. Natick:CRC Press, 2011: 33-113[2015-11-22].http://dl.acm.org/citation.cfm?id=1996408.

[38] DRAGO F, MYSZKOWSKI K, ANNEN T, et al. Adaptive logarithmic mapping for displaying high contrast scenes[J/OL].Computer Graphics Forum, 2003, 22(3):419-426[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/1467-8659.00689/pdf.

[39] REINHARD E, STARK M, SHIRLEY P, et al. Photographic tone reproduction for digital images[J/OL]. ACM Transactions on Graphics, 2002, 21(3):267-276[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566575.DOI:10.1145/566654.566575.

[40] ASHIKHMIN M. A tone mapping algorithm for high contrast images[C/OL]//Proceedings of the 13th Eurographics workshop on Rendering. Pisa: Eurographics Association, 2002:145-156[2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.7977.DOI:10.2312/EGWR/EGWR02/145-156.

[41] YEE Y H, PATTANAIK S. Segmentation and adaptive assimilation for detail-preserving display of high-dynamic range images[J/OL]. The Visual Computer, 2003, 19(7):457-466[2015-11-22]. http://link.springer.com/article/10.1007/s00371-003-0211-5.

[42] LISCHINSKI D, FARBMAN Z, UYTTENDAELE M, et al. Interactive local adjustment of tonal values[J/OL]. ACM Transactions on Graphics, 2006, 25(3):646-653[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1141911.1141936.DOI:10.1145/1141911.1141936.

[43] FATTAI R, LISCHINSKI D, WERMAN M. Gradient domain high dynamic range compression[J/OL]. ACM Transactions on Graphics, 2002, 21(3):249-256[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566573.DOI:10.1145/566654.566573.

[44] CHOUDHURY P, TUMBLIN J. The trilateral filter for high contrast images and meshes[C/OL]//Proceedings of the 14th Eurographics Workshop on Rendering Techniques. Leuven :The Eurographics Association, 2003:1-11[2015-11-22]. http://dl.acm.org/citation.cfm?id=1198565.DOI:10.1145/1198555.1198565.

[45] KUANG J, JOHNSON G M, FAIRCHILD M D. iCAM06: A refined image appearance model for HDR image rendering[J/OL]. Journal of Visual Communication & Image Representation, 2007, 18(5): 406-414[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S1047320307000533.DOI:10.1016/j.jvcir.2007.06.003.

[46] POULI T, ARTUSI A, BANTERLE F, et al. Color correction for tone reproduction[C/OL]//21st Color and Imaging Conference. Albuquerque : Society for Imaging Science and Technology , 2013, 2013(1): 215-220. [2015-11-22]. https://www.researchgate.net/publication/257929785_Color_Correction_for_Tone_Reproduction.

[47] AKYUZ A O, FLEMING R, RIECKE B E, et al. Do HDR displays support LDR content?:a psychophysical evaluation[J/OL]. ACM Transactions on Graphics, 2007,26(3):38[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1276377.1276425.DOI:10.1145/1276377.1276425.

[48] LEDDA P, CHALMERS A, TROSCIANKO T, et al. Evaluation of tone mapping operators using a high dynamic range display[J/OL]. ACM Transactions on Graphics, 2005, 24(3):640-648[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1073204.1073242.DOI:10.1145/1073204.1073242.

[49] CAKIK M, WIMMER M, NEUMANN L, et al. Evaluation of HDR tone mapping methods using essential perceptual attributes[J/OL]. Computers & Graphics, 2008, 32(3):330-349[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849308000460.DOI:10.1016/j.cag.2008.04.003.

[50] YOSHIDA A, BLANZ V, MYSZKOWSKI K, et al. Perceptual evaluation of tone mapping operators with real-world scenes[C/OL]//Proceedings of SPIE 5666, Human Vision and Electronic Imaging X. San Jose :SPIE, 2005:192-203[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=857715.DOI:10.1117/12.587782.

[51] KANG S B, UYTTENDAELE M, WINDER S, et al. High dynamic range video[J/OL]. ACM Transactions on Graphics, 2003, 22(3):319-325[2015-11-22]. http://dl.acm.org/citation.cfm?doid=882262.882270.DOI:10.1109/MCG.2008.23.

[52] WARD G. Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures[J/OL]. Journal of Graphics Tools, 2003, 8(2):17-30[2015-11-22]. http://www.tandfonline.com/doi/abs/10.1080/10867651.2003.10487583.

[53] GRANADOS M, KIM K I, TOMPKIN J, et al. Automatic noise modeling for ghost-free HDR reconstruction[J/OL]. ACM Transactions on Graphics, 2013, 32(6):201[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508410.DOI:10.1145/2508363.2508410.

[54] ZIMMER H, BRUHN A, WEICKERT J. Freehand HDR imaging of moving scenes with simultaneous resolution enhancement[J/OL].Computer Graphics Forum, 2011, 30(2):405-414[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2011.01870.x/full.

[55] JACOBS K, LOSCOS C, WARD G. Automatic high-dynamic range image generation for dynamic scenes[J/OL]. IEEE Computer Graphics and Applications, 2008, 28(2):84-93[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4459868.DOI:10.1109/MCG.2008.23.

[56] SRIKANTHA A, SIDIBE D. Ghost detection and removal for high dynamic range images: Recent advances[J/OL]. Signal Processing: Image Communication, 2012, 27(6):650-662[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596512000306.DOI:10.1016/j.image.2012.02.001.

[57] GROSCH T. Fast and robust high dynamic range image generation with camera and object movement[C/OL]//Proceedings of Vision, Modeling and Visualization. Aachen :IOS Press, 2006:277-284[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.546.8488.

[58] KHAN E A, AKYIIZ A, REINHARD E. Ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Image Processing. Atlanta: IEEE, 2006:2005-2008[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4106952.DOI:10.1109/ICIP.2006.312892.

[59] PEDONE M, HEIKKILA J. Constrain propagation for ghost removal in high dynamic range images[C/OL]//International Conference on Computer Vision Theory and Applications. Funchal: INSTICC, 2008:36-41[2015-11-22]. http://www.ee.oulu.fi/research/imag/mvg/files/pdf/cpgr_paper-1.pdf.

[60] SILK S, LANG J. Fast high dynamic range image deghosting for arbitrary scene motion[C/OL]//Graphics Interface. Toronto: ACM, 2012:85-92[2015-11-22]. http://dl.acm.org/citation.cfm?id=2305291.

[61] LEE D K, PARK R H, CHANG S. Ghost and noise removal in exposure fusion for high dynamic range imaging[J/OL]. International Journal of Computer Graphics & Animation, 2014, 4(4):1-18[2015-11-22]. http://www.airccse.org/journal/ijcga/papers/4414ijcga01.pdf.DOI:10.5121/ijcga.2014.4401.

[62] SIDIBE D, PUECH W, STRAUSS O. Ghost detection and removal in high dynamic range images[C/OL]//2009 17th European Signal Processing Conference. Glasgow: IEEE, 2009:2240-2244[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7077430&tag=1.

[63] MIN T H, PARK R H, CHANG S. Histogram based ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Multimedia and Expo. New York: IEEE, 2009:530-533[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5202550.DOI:10.1109/ICME.2009.5202550.

[64] GALLO O, GELFAND N, CHEN W-C, et al. Artifact-free high dynamic range imaging[C/OL]//IEEE International Conference on Computational Photography. San Francisco: IEEE, 2009:1-7[2015-11-22][2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5559003.

[65] RAMAN S, CHAUDHURI S. Bottom-up segmentation for ghost-free reconstruction of a dynamic scene from multi-exposure images[C/OL]//Proceedings of the Seventh Indian Conference on Computer Vision, Graphics and Image Processing. Chennai: ACM, 2010:56-63[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1924559.1924567.DOI:10.1145/1924559.1924567.

[66] ZHANG W, CHAM W-K. Gradient-directed multiexposure composition[J/OL]. IEEE Transactions on Image Processing, 2012, 21(4):2318-2323[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6030938.DOI:10.1109/TIP.2011.2170079.

[67] PECE F, KAUTZ J. Bitmap movement detection: HDR for dynamic scenes[C/OL]//Proceedings of Conference on Visual Media Production. London: IEEE, 2010:1-8[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5693088.DOI:10.1109/CVMP.2010.8.

[68] MANGIAT S, GIBSON J. High dynamic range video with ghost removal[C/OL]//Proceedings of SPIE 7798, Applications of Digital Image Processing XXXII. San Diego: SPIE, 2010,7798:1-8[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=754702.DOI:10.1117/12.862492.

[69] LEE C, LI Y, MONGA V. Ghost-Free High Dynamic Range Imaging via Rank Minimization[J/OL]. IEEE Signal Processing Letters, 2014, 21:1045-1049[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6814772.DOI:10.1109/LSP.2014.2323404.

[70] OH T, LEE J, TAI Y, et al. Robust High Dynamic Range Imaging by Rank Minimization[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014，37(6):1219-1232[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6915885.DOI:10.1109/TPAMI.2014.2361338.

[71] HADZIABDIC K K, TELALOVIC J H, MANTIUK R. Comparison of Deghosting Algorithms for Multi-exposure High Dynamic Range Imaging[C/OL]//Proceedings of the 29th Spring Conference on Computer Graphics. Smolenice: ACM, 2013:21-28[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508244.2508247. DOI:10.1145/2508244.2508247.

[72] ZHAO H, SHI B, FERNANDEZ-CULL C, et al. Unbounded High Dynamic Range Photography Using a Modulo Camera[C/OL]//2015 IEEE International Conference on Computational Photography. Houston: IEEE, 2015: 1-10[2016-03-02].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7168378&tag=1.DOI:10.1109/ICCPHOT.2015.7168378.

[73] HAJISHARIF S, KRONANDER J, UNGER J. Adaptive dualISO HDR reconstruction[J/OL]. Eurasip Journal on Image & Video Processing, 2015, 2015(41): 1-13[2016-03-02].http://link.springer.com/article/10.1186/s13640-015-0095-0.DOI: 10.1186/s13640-015-0095-0.

[74] FROEHLICH J, GRANDINETTI S, EBERHARDT B, et al. Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays[C/OL]//Proc. of SPIE9023, Digital Photography X. San Francisco: SPIE, 2014: 1-10[2015-11-12].http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844625.DOI:10.1117/12.2040003.

[责任编辑:陈文学]

Recent research in high dynamic range imaging

BAI Bendu,LIU Jun,FAN Jiulun

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

Abstract:High dynamic range (HDR) imaging can precisely capture the scene irradiance, which has been a hot research topic in image processing and computer graphics for two decades. Based on the main flow of HDR imaging, the recent research and advances in HDR imaging are reviewed in detail, including the methods of capturing HDR scenes, the ways to combine exposure-bracketed images into an HDR image, tone mapping, the challenges and the development trend in HDR imaging.

Keywords:high dynamic range imaging, multiple exposure, radiance, tone mapping, deghosting, single-shot high dynamic range imaging

doi:10.13682/j.issn.2095-6533.2016.03.001

收稿日期：2015-11-30

基金项目：公安部技术研究计划重点资助项目(2014JSYJA018)

作者简介：白本督(1972-)，男，博士，副教授，从事图形图像处理研究。E-mail：baibendu@xupt.edu.cn 刘 军(1989-)，男，硕士研究生，研究方向为刑侦图形处理。E-mail：liujun0422@163.com

中图分类号：TN911.74

文献标识码：A

文章编号：2095-6533(2016)03-0001-14