高民芳，季晓勇

（南京大学 电子科学与工程系，江苏 南京 210093）

1 引言

目前研究立体图像的方法很多，如有关对象的搜索匹配方法、资源最小化方法、参照物方法、图像移动旋转等方法从单目图像获取三维信息。随着算法复杂化，不少人致力于从单目图像获取三维信息，其优点在于传输图像时仅需传输一路图像，而可以从解码端进行立体解码，这方面的例子很多，如Fang-Hsuan Cheng分析了普通单目视频序列的深度信息[1]，无需额外信息从背景中鉴别出前景，并通过移动前景的像素点来得到双目的图像。文献[2]提出一种加强型算法，它是将图像重建算法与图像匹配算法相结合，通过改进的SFS算法[3]重构3D形状,在所有改进的SFS算法中，Yaohui Hu等选择了最简单快速的线性估计方法[4]、模拟人眼视觉模型、互相关信息算法MI[5]、及lika的算法[6]来实现，也可利用PV插值等来提高算法的速度和准确度。文献[7]则指出，Horn和他的工作伙伴在20世纪70年代就开始致力于从2D图形中阴影的形状构造出3D图像表面形状的深度信息的工作，他们将实现的方法划分为直接和间接两种情况，前者通过测量或者光照结构来恢复深度信息，后者则通过观察灰度图中可视物体所显示出来的线索来判断其相对深度信息。W.M.Sheta等人也提出了一种基于基因遗传算法的优化方法[8]，打破了只通过改进算法来提高计算效率的瓶颈问题，从有效开发整个搜索空间的效率着手，实现在准确性以及高效性上的优化。但只通过不同块之间的对比或者清晰度来判断不同块的相对远近,不可能从二维图像获得精确的深度信息。现在双目摄像头普遍存在，利用双目摄像头获取的双路视频图像编码，可以更精确地恢复立体图像原有的信息，播放时给人一种更为真实的立体场景，也可以简化解码器的复杂度。

2 算法分析及其流程控制

笔者提出一种全新的研究方向，在对立体视频图像进行编码[9]过程中，将运动矢量或者视差矢量嵌入到参考图像中，实现立体视频图像的单路传输。

根据视差矢量的特性，视差矢量的搜索范围可以限制在以右图像块在左图像中相同位置为起点的带状区域内，如图1所示。匹配后得到的视差矢量只有一个水平方向的位移，每个块中所要嵌入的像素值仅为一个，此处引入视差矢量的线形变换。通过式（1）求出对应不同图像的变换系数n，从而使变换后得到的视差矢量在嵌入后，对图像质量的影响降低，也大大提高信噪比。

图1 视差矢量搜索示意图

编码流程图如图2所示。

图2 系统编码流程图

为便于统计实验结果及查看嵌入数据对图像质量影响的大小，将对左路图像分块模式进行固定，分为H.264编码器使用的 7 种模式：16×16，16×8，8×16，8×8，8×4，4×8，4×4。

方案一：直接嵌入视差数据。

将运动或视差矢量直接嵌入到对应块的某一固定处，然后对该块进行H.264编码，包括DCT变换，量化，编码等。解码时将该矢量提取出来与对应参考图像一起恢复图像信息。

方案二：嵌入到DCT系数中，直接解码。

由于直接嵌入数据对图像质量影响较大，笔者将数据嵌入放置于DCT变换后，根据宏块DCT变换后系数的变化规律，将矢量数据嵌入到最后两位，不仅实现了数据嵌入，而且将对原图像的质量影响减小到最小，恢复时直接对块进行IDCT变换，其余步骤均不变。

方案三：嵌入到DCT系数中，变换解码。

相对于方案二，仅在解码时将嵌入数据位恢复为0后再进行IDCT变换，其余步骤均不变。

注：由于左图像嵌入运动矢量与右图像嵌入运动矢量或者视差矢量类似，这里没有对左路图像进行讨论。

3 实验结果

下面就以Soccer，Puppy，IU这3个序列进行测试，测试原始图像如图3所示，其中Soccer和Puppy为720×480，IU 图像为 320×240。

图3 原始测试图像

1）恢复的图像对比见图 4～6（以 16×16，8×8，4×4 这3种模式恢复的图像为例）。

图4 Soccer图像的3种模式采用不同方案恢复的图像

图5 Puppy图像的3种模式采用不同方案恢复的图像

图6 IU图像的3种模式采用不同方案恢复的图像

2）信噪比的对比见表1～3。

表1 Soccer图像进行测试所的信噪比dB

表2 Puppy图像进行测试所的信噪比dB

表3 IU图像进行测试所的信噪比dB

从测试结果可以看出，方案一恢复图像的信噪比明显低于方案二、三恢复图像的信噪比，而且在模块划分比较小时，比如 8×4，4×8，4×4，方案一恢复图像上有明显的噪声点存在，故此方案不可取，而方案二、方案三则看不出与原图像的区别。在图像质量相对要求不高的情况下，可以使用方案二，以降低解码器的复杂度和解码的效率。解码端为立体视频解码器则选用方案三，以获取质量较高的解码，或者实现立体解码。

4 小结

这种方法简单，运行速度快，在实时性要求比较高的领域，如视频会议、可视电话等具有很强的实用性。另外，该方法不仅可以在通用的H.264解码器上实现（方案二），实现单路视频图像解码，如果接收端为立体图像解码器，还可以根据方案三实现立体视频图像的解码。

[1]CHENG F-H，CHEN C-C.3D stereo imaging technology from 2D image sequence[C]//Proc.IEEE 3rd International Conference on Innovative Computing Information and Control.[S.l.]：IEEE Press，2008：436.

[2]HU Yaohui，LV Guoqiang，SHI Jun.A stereoscopic enhancement algorithm based on monocular image[C]//Proc.IEEE International Conference on Audio,Language and Image Processing.[S.l.]：IEEE Press，2008：1569-1572.

[3]HORN B K P.Height and gradient from shading[J].International Journal of Computer Vision，1990，5（1）：37-75.

[4]TSAI P S，SHAH M.Shape from shading using linear approximation[J].Image and Vision Computing J.， 1994，12（8）：487-498.

[5]俞亚青，田学隆，闫春红.医学图像配准方法分类及现状[J].重庆大学学报：自然科学版，2003，26（8）：114-118.

[6]LIKAR B，PERMUS F.A hierarchical approach to elastic registration based on mutual information[J].Image and Vision Computing，2001，19（1）：33-44.

[7]IKEUCHI K，HORN B K P.Numerical shape from shading and occluding boundaries[J].Artif.Intell.，1981，17（3）：141-184.

[8]SHETA W M，MAHMOUD M F，ATTA E，H.Evolutionary computation approach for shape from shading[J].IJICIS，2005，5（1）：59-67.

[9]李劼伟，季晓勇.基于联合预测的立体视频压缩编解码系统[J].电视技术，2009，33（4）：19-21.