(杭州电子科技大学计算机应用技术研究所，浙江 杭州310018)

0 引 言

变光照采集通过捕获对象在不同光照方向的表面反射属性、运动轨迹等信息，来建立全方位的准确表述模型。早期变光照采集系统主要用于小范围，并且通常只用于静态对象[1]。为了实现对动态对象的采集，初期采用了昂贵的高速摄像机[2]，后期采用摄像机阵列代替高速摄像机[3]。之后，为了对动态目标进行变光照采集，文献[4]提出了一种动态变光照采集方法，但工作光源数较少，且只能完成单一目标的变光照采集。本文设计并实现了一个变光照采集系统，与目前已有系统相比较，系统光源分布更密集，变光照采集范围更大，可实现多个运动目标的密集光照采集。针对采集范围扩大会导致单一光源成像时曝光不足、图像噪声增大等问题，采用一种基于哈达玛编码的光照复用模式，实现对光照复用的采集，并通过解复用(Multiplexed Illumination De-multiplexed)得到采集对象的光照估计结果。实验表明通过解复用的方法可以获得更好的图像质量。

1 变光照采集系统硬件设计

本文设计并实现了一个穹窿式钢结构支架的变光照采集系统，整个结构高7 m，直径10 m。变光照采集系统结构图如图1所示，整个球体外围由便于抠像操作的蓝色幕布围成，内部由20个200万像素的环形像机阵列与2 000个均匀分布的LED 动态光场(Dynamic light field)组成。2 000个LED 中每10个作为一组光源，共200组光源。如图1(b)所示，每个颜色代表一组光源。

图1 变光照采集系统结构图

2 基于光照复用的变光照采集

由于单光源下成像存在曝光不足、图像噪声增大等问题，本文采用了一种基于光照复用的采集方法。光照复用时采用哈达玛矩阵进行复用控制[5]。

2.1 哈达玛矩阵

哈达玛矩阵为(2n-1)×(2n-1)矩阵，每个元素只能取-1 或1。在光照复用中所定义的哈达玛矩阵中使用0 代替元素-1。这样，哈达玛矩阵每行代表一个时刻的光照模式，每个时刻有 (n+1)/2个取1，(n-1)/2个取0，1表示控制光源亮，0表示控制光源灭。对哈达玛矩阵光照复用的图像解码得到单光源的图像。光照复用图像的解码可通过哈达玛矩阵的逆矩阵T =S-1对图像中各像素值进行解码而得到。哈达玛矩阵的逆T为:

2.2 信噪比分析

为了消除光照对信噪比结果的影响，对信噪比求解采用零均值化处理。设i (x，y)为单光源下采集得到图像序列在 (x，y) 处的向量，复用时解复用的估计值为i^ (x，y) 。

对于图像信号，由于单光源和复用光源的全局亮度不一样，采用零均值化处理时，需减去全局亮度(即均值)，所以得到:

对于噪声，求解采用均方根(Root Mean Square，RMS)[6]，又零均值化处理时MSE表现为RMS2，所以对噪声的求解转化为对MSE的求解。假设独立加性噪声η的均值为零，实验的方差为σ2。输出噪声向量是W-1η，对于每个像素 (x，y)，的协方差矩阵每个像素点的均方差

在单一光源采集时，W=Ⅰ，这里I为单位矩阵，有MSEsingle=σ2。

综上所述，可得信噪比的变形如下:

3 实 验

3.1 模拟场景实验

为了验证光照复用解复用的可行性，利用3DMAX 对物体和光照进行模拟，如图2所示。模拟实验绘制了3种具有代表性形状的物体，并选取了3个光源。在光源1和2 亮，3 灭的情况下，渲染得到图像a;在光源1和3 亮，2 灭的情况下，渲染得到图像b;在光源2和3 亮，1 灭的情况下，渲染得到图像c。

图2 模拟环境光照复用图

图3为模拟场景下单一光源和解复用图像得到的单一光源的对比图。图3中，第1 行为单一光源图像，第2 行为解图2中复用图像得到的单一光源图像。

图3 单一光源和解复用结果对比图

模拟环境中，由于不存在像机引入噪声的影响[7]，解复用和单一光源图像的每个像素点差值理论应该为零，即两种图像是完全相同的。为了验证光源复用解复用的可行性，本文对比了各个光源图像的像素差值，3种光源对应图像像素点差值的均值如表1所示。设i (x，y)为单光源下采集得到图像组在(x，y)处的向量为解光照复用条件下得到图像序列在 (x，y)处的向量，则均值μ(像素点平均差异)为:

式中，N为图像像素点总数。

图像像素对比表如表1所示。从表1中可以看出，每个像素点的差异几乎可以忽略，说明模拟实验中解复用出来的图像和单光源的图像相同，即可以用解复用方法得到想要的单光源图像。

表1 图像像素对比表

3.2 真实场景实验

基于以上原理和实验，选取15组光源进行实际场景的光照复用解复用实验。首先，采集得到15 张光照复用图像。采集完成后，对采集到的15 张光照复用图像解复用，并与实际单光源采集得到的图像进行对比。实验结果如图4所示。

图4 光照解复用实验结果图

图4中(a)为光照复用所拍摄的图像，(b)为解复用得到的单光源图像，(c)为实际单一光源下采集的图像。由上述实验结果可以看出，传统单光源采集得到的图像灰度值很低，而针对这种情况下，利用光照复用采集并解复用得到的单光源图像具有更好的亮度。

根据零均值图像信噪比计算公式(3)，分别计算解复用得到的单光源图像和单一光源下采集的图像的信噪比，结果如表2所示。

表2 噪声的期望和方差对比表

综上所述，光照复用解复用得到的单光源图像比实际单一光源图像的信噪比高。

4 结束语

本文设计和实现了一个变光照动态多视角采集系统，实验结果表明光照复用和解复用可以获得更好的采集图像质量。然而有些地方还有待改进。首先，控制像机和LED 灯需要进行更精确的同步控制。其次，在数据采集过程中，产生的数据量比较大，处理时间比较长，所以在实时性方面还有待提高。

[1]Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques.ACM Press/Addison-Wesley Publishing Co.，2000:145-156.

[2]Wenger A，Gardner A，Tchou C，et al.Performance relighting and reflectance transformation with time-multiplexed illumination[C]//ACM Transactions on Graphics (TOG).ACM，2005，24(3):756-764.

[3]Einarsson P，Chabert C F，Jones A，et al.Relighting Human Locomotion with Flowed Reflectance Fields[C]//Rendering techniques，2006:183-194.

[4]曲震.变光照动态多视角采集系统的设计[D].北京:清华大学，2008:28-28.

[5]Schechner Y Y，Nayar S K，Belhumeur P N.Multiplexing for optimal lighting[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2007，29(8):1 339-1 354.

[6]Schechner Y Y，Nayar S K，Belhumeur P N.A theory of multiplexed illumination[C]//Computer Vision，2003.Proceedings.Ninth IEEE International Conference on.IEEE，2003:808-815.

[7]Ratner N，Schechner Y Y.Illumination multiplexing within fundamental limits[C]//Computer Vision and Pattern Recognition，2007.CVPR'07.IEEE Conference on.IEEE，2007:1-8.