程鸿 宫炎焱 章权兵 张伟

(1.安徽大学计算智能与信号处理教育部重点实验室，安徽合肥230039;2.香港中文大学电子工程系，香港999077)

最后，检测深度在椭圆窗口内的变化，如果深度在短轴方向上的变化仍然大于阈值，在主轴上深度变化不显著，那么迭代焦点

散焦恢复深度(DFD)是一种从散焦图像中推断场景3维几何信息的方法［1-5］.Pentland率先提出了在频率域使用解卷积方法来恢复深度［6］.文献［7］中扩展了这项工作，消除了其中一幅图像需要用小孔成像的约束.文献［8］中利用线性扩散理论构造了散焦空间，并通过确定散焦空间中的两幅散焦图像的关系重构场景深度.但这些方法要么需要重构聚焦图像，要么简化了成像模型，都有一定的局限性.文献［9］中引入了信息散度理论，通过迭代估计深度和纹理获得了良好的实验结果.但这种方法是基于等焦面假设的，即假设场景平行于聚焦面，使得算法在深度不连续的物体边界处所获得的结果有误.另外，同一些先前的DFD算法一样，信息散度算法忽略了在不同相机参数下图像大小的变化.

为此，文中提出了一种改进的信息散度算法.首先，计算两幅散焦图像间的单应矩阵，并以此为依据矫正图像，获得具有相同大小的散焦图像.然后，利用空间变化窗口来克服等焦面假设的局限，提高非连续区域深度估计的精度.最后，通过模拟和真实实验对所提算法进行了验证.

1 传统的信息散度算法

文献［9］中将场景重建分为形状重建和纹理重建两部分，利用最小化信息散度算法迭代估计深度和纹理，从而恢复场景的3维几何信息.

首先，将模拟图像J(由K(K≥2)幅散焦图像组成)和理想图像I之间的信息散度Φ表示为

式中:p和s分别为场景的辐射率(半径)和深度函数;当J和I不相等时，函数Φ为正值，图像J和图像I越相似，则信息散度Φ的值越小.现在的目标是寻找与s和p最接近的^s和^p，

式中E(·)为能量函数，满足

其中λ为权参数.

一般情况下，式(2)是非线性和有限维的，因此，可通过迭代方法来估计s和p.给定初始值p0，问题(2)可转化成迭代求解如下优化问题:

从k=0开始迭代，直到终止条件(例如 Euler-Lagrange方程)满足为止.

信息散度算法虽然取得了较好的实验结果，但其等焦面假设和忽略不同相机参数下图像大小的变化使得该算法具有一些局限性.

信息散度算法假设场景平行于聚集面(即等焦面假设).一般情况下，等焦面假设只是局部处理每个点，所以有必要在点的周围选择一个区域进行求解.在文献［9］中，选取的区域是一个以目标点为中心的圆形窗口.等焦面假设允许将成像过程描述成线性卷积的形式，因此平衡鲁棒性和精确度的关系是一个难点［10］.图1所示是与相机距离不同的两块平板的图像.当测量图中A点附近的深度时，测量窗口会覆盖两个具有不同深度的平面.在这种情况下，使用等焦面假设意味着在窗口中需要平滑深度值.因此，深度估计值必然在两个平面的深度之间.

图1 与相机距离不同的两块平板的图像Fig.1 An image of two plates with different distances to camera

2 改进的信息散度算法

为克服文献［9］中算法的局限，文中进行了如下改进:(1)在估计深度之前，先矫正图像以确保不同平面的物体有相同的大小;(2)采用一种变化的窗口结构来处理深度不连续区域上的估计问题.改进的信息散度算法步骤如下:

1)设置图像大小、镜头半径、焦距、光圈数、透镜半径和像平面;

2)利用单应矩阵进行图像矫正;

3)设置场景半径pk和深度sk(k=0)的初始值;

4)确定每个像素点的变化窗口;

5)在每个窗口中模拟散焦图像J;

6)利用纹理迭代算法获得pk;

7)利用快速下降法获得sk;

8)如果满足终止条件，则迭代结束，否则将pk和sk作为初值，返回步骤4).

2.1 基于单应矩阵的图像矫正

将图2(a)和2(b)所示的同一场景的两幅散焦图像叠加在一起，并对图像右边有3行字的地方进行了局部放大处理(见图2(c)).从图2(c)中可以看到明显的重影，说明两幅图像的大小不一致，这会影响对应点的匹配，从而影响散焦估计程度的精确性.

图2 基于单应矩阵的图像矫正Fig.2 Image rectification based on homography

对于实际拍摄的两幅图像，点对应关系是单应变换关系.图3给出了3维空间场景通过摄像机C在I'和I″像平面上的成像示意图.当摄像机的像平面位置不同时，场景所成像的大小是不同的，并且像平面间不同位置图形的面积放大率(文中平面I'中的矩形 α 和 β 分别对应 I″中的 α'和 β')也是不同的，摄像机在不同像平面位置拍摄得到同一场景的图像，图像之间存在单应变换关系［11］.因此，文中通过计算单应矩阵来解决图像大小不一致问题.首先利用8点算法计算出基本矩阵F［11］，然后在两幅散焦图像中选取一组对应点x1和x2以及一组对应直线l1和l2，并计算单应矩阵:

图3 三维场景在不同像平面上的成像示意图Fig.3 Imaging diagram of a three-dimension scene in different planes

2.2 空间变化的窗口结构

文中通过引入空间变化的窗口结构来改进信息散度算法，以克服等焦面假设的局限.如图4所示，如果原本选择的圆形窗口完全在一个平面内(如区域B)，窗口中像素的深度差异很小，那么在计算过程中不改变窗口的形状.如果圆形窗口在两个平面(如区域D)内，原来选定的窗口则通过算法自动变成椭圆形(如区域E).椭圆的长轴方向指向测量区域中深度差异最小的方向.保持整个窗口的面积不变，测量区域慢慢演变形状(如区域F).

图4 空间窗口变化示意图Fig.4 Schematic diagram of space window change

假设测量域是一个半径为rc的圆形窗口(在整个演化过程中，窗口的面积S保持不变).估测圆形测量域内的深度图，深度图中深度的变化方向用θ(θ∈［0，μ))表示，在沿θ方向的直径上对深度做插值Insert(θ).然后，寻找深度变化最大的直径方向θv，该方向的深度为 Insert(θv).将 Insert(θv)与设定的阈值进行比较，如果小于阈值，则窗口形状不发生变化;否则，窗口形状由圆形演变成椭圆，椭圆的短轴指向θv方向，椭圆的焦点fp满足

利用fp和S可以得到短轴的半径长度:

最后，检测深度在椭圆窗口内的变化，如果深度在短轴方向上的变化仍然大于阈值，在主轴上深度变化不显著，那么迭代焦点

式中m为迭代速率.把fp(n+1)代入式(8)，再次演变椭圆的形状，当测量域的深度变化为0或开始增大时，演变停止.

3 实验及结果分析

3.1 模拟实验

首先利用文献［7］中的模拟图像(大小为101×101，焦距为0.012 m，光圈数为2，标定参数为2×104，像距分别为12.30和12.20 mm)来测试文中改进算法.用均方根误差 εRMS来表示深度估计值d'(x)与真实深度d(x)之间的误差［12］:

图5 模拟实验的结果Fig.5 Simulated results

图5给出了文中算法对带有随机产生的高斯误差(标准差σ=0.2)的模拟散焦图像的实验结果.图6给出了不同噪声水平下3种算法的均方根误差.显然，在高斯噪声标准差增大的情况下文中改进算法具有更好的估计结果.

图6 3种算法的标准误差曲线Fig.6 Standard deviation curves of three algorithms

3.2 真实实验

对文献［9］中的2幅真实散焦图像(大小为286×313，焦距为12 mm，光圈数为5，镜头半径为3mm，像距分别为12.30和12.20mm)进行矫正，结果如图7(a)和7(b)所示，然后利用原始信息散度算法［9］和文中改进算法进行深度估计实验，结果分别如图7(c)和7(d)所示.从图7(c)、7(d)可知，在场景不连续区域，文中算法获得的深度图的边缘更加清晰(图中颜色越深的区域为距离摄像机越远的点，即深度值越大的点).

图7 真实实验1的结果Fig.7 Results of the first real experiment

如图8所示，输入图像用EOS 450D获得，其透镜参数为 EF-S18-55 mm f/3.5 －5.6，大小为 625 ×707，焦距为42mm，光圈数为5，透镜半径为4.2mm，像距分别为44.60和44.10 mm.使用原始信息散度算法［9］估计的深度结果如图8(c)所示，使用文中改进算法估计的深度结果如图8(d)所示(图中颜色越深的区域为距离摄像机越远的点，即深度值越大的点).从图8(c)、8(d)可知，文中改进算法比原始信息散度算法能获得更精确的深度图.

图8 真实实验2的结果Fig.8 Results of the second real experiment

4 结语

传统的信息散度算法没有考虑到不同参数下图像大小的变化，而且其等焦面假设会使得不连续面上的深度恢复结果发生错误.为此，文中提出了基于空间变化窗口的改进算法.模拟实验和真实实验验证了文中算法的正确性.下一步拟将该算法推广到视频图像的处理中，并重点研究其实时性.

［1］Aslantas V，Pham D T.Depth from automatic defocusing［J］.Optics Express，2007，15(3):1011-1023.

［2］Liang C K，Lin T H，Wong B Y，et al.Programmable aperture photography:multiplexed light field acquisition ［J］.ACM Transactions on Graphics，2008，27(3):1-10.

［3］Zhou C Y，Nayar S K.What are good apertures for defocus deblurring?［C］∥Proceeding of IEEE International Conference on Computational Photography.San Francisco:IEEE，2009:1-8.

［4］章权兵，张爱明.基于相对模糊和边缘强化的散焦深度恢复研究［J］.华南理工大学学报:自然科学版，2010，38(4):136-140.Zhang Quan-bing，Zhang Ai-ming.Depth recovery from defocus based on relative blur and edge enhancement［J］.Journal of South China University of Technology:Natural Science Edition，2010，38(4):136-140.

［5］吴俊芳，刘桂雄，韦宁.散焦含噪图像的点扩散函数估计与边缘检测［J］.华南理工大学学报:自然科学版，2010，38(6):118-133.Wu Jun-fang，Liu Gui-xiong，Wei Ning.PSF estimation and edge detection of defocused noisy image［J］.Journal of South China University of Technology:Natural Science Edition，2010，38(6):118-133.

［6］Pentland A P.A new sense for depth of field ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9(4):523-531.

［7］Surya G.Three-dimensional scene recovery from image defocus［D］.Stony Brook:Department of Electrical Engineering，State University of New York at Stony Brook，1994.

［8］Namboodiri V P，Chaudhuri S.On defocus，diffusion and depth estimation ［J］.Pattern Recognition Letters，2007，28(3):311-319.

［9］Favaro P，Soatto S.3-D shape estimation and image restoration［M］.London:Springer-Verlag London Ltd.，2007:70-85.

［10］Jin H，Favaro P.A variational approach to shape from defocus［C］∥Proceeding of the 7th European Conference on Computer Vision—Part II.Berlin/Heidelberg:Springer-Verlag，2002:18-30.

［11］Hartley R，Zisserman A.计算机视觉中的多视图几何［M］.韦穗，杨尚骏，章权兵，等，译.合肥:安徽大学出版社，2002:191-235.

［12］Dorrer C，Zuege J D.Optical testing using the transportof-intensity equation［J］.Optics Express，2007，15(12):7165-7175.