谢晓伟 苗新刚 汪苏

摘 要： 主要研究在计算机上已经建好的三维模型场景中简单便捷地获取图像对，根据在场景中设置的摄像机对，模拟人眼成像原理，提出获取立体图像对的KFR方法。首先根据针孔模型将图像坐标系中的一点逐步转换到像平面坐标系、摄像机坐标系和世界坐标系，并由坐标轴的二维旋转推导出三维旋转公式，得出影响立体图像显示效果的关键因素的关系式；然后设置摄像机对的排列实现场景的立体显示；最后由显示结果分析得出决定立体效果的关键因素之间的关系。

关键词： 双目视觉； 坐标转换； 立体图像对； KFR方法； 三维模型场景； 针孔模型

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）14?0055?03

Research on KFR method for obtaining stereo image pairs of 3D model

XIE Xiaowei1， MIAO Xingang1，2， WANG Su1，2

（1. Beijing Key Laboratory of Robot Bionics and Function Research， Beijing University of Civil Engineering and Architecture， Beijing 100044， China；

2. Advanced Innovation Center for Future Visual Entertainment， Beijing Film Academy， Beijing 100088， China）

Abstract： How to simply and conveniently obtain image pairs from the 3D model scene which has been built in computer is mainly studied. By simulating the human eyes imaging principle according to the camera pairs set in the scene， a KFR method for obtaining the stereo image pairs is proposed. According to the pinhole model， a point in the image coordinate system is gradually transformed to the image plane coordinate system， camera coordinate system and world coordinate system. The 3D rotation formula is derived from the 2D rotation of the coordinate axes， so as to obtain the relational formula of key factors that affect the display effect of stereo images. The arrangement of camera pairs is set to realize the stereo display of the scene. The display results are analyzed to obtain the relationship between key factors that determine the stereo effect.

Keywords： binocular vision； coordinate transformation； stereo image pair； KFR method； 3D model scene； pinhole model0 引 言

雙目视觉主要是模拟人类视觉原理，通过对同一场景在不同角度获取的二维图像对进行匹配，恢复该场景的三维信息[1]。要实现双目立体成像，首先要获得左眼视图和右眼视图一起构成的立体图像对[2]。目前获得立体图像对的方式主要有两类：第一类方式是使用立体相机拍摄场景得到立体图像对[3]；第二类方式是通过计算机绘制得到立体图像对[4]。还有一些学者讨论在已建好的三维模型的情况下立体图像对的生成[5?6]。重庆大学的刘然在其博士学位论文《基于计算机立体视觉的双目立体成像研究》中提到了对该方法的研究[7]，作者在文中得到了两摄像机的最佳基线长度和基线长度与物体到两摄像机终点距离的最佳比值，并重点对成像形变进行了分析，但是没有确定呈现较好的立体显示结果的摄像机位移范围和坐标旋转角度范围。本文在此基础上提出了获取三维模型立体图像对的KFR方法，根据针孔模型原理推导出坐标系转换关系，找出影响立体图像显示效果的关键因素，研究各个因素在何种关系下能够达到较好的立体成像效果。

1 图像坐标系到世界坐标系的转换

理想的摄像机成像模型是针孔模型[8]，如图1所示。此模型中包含4个坐标系：图像平面坐标系O?XY，图像坐标系O1?UV，摄像机坐标系OC?XCYCZC和世界坐标系[9]OW?XWYWZW。

1.1 坐标系的转换

图像坐标系O1?UV原点O1在图像左上角。O在O1?UV中的坐标为（u0，v0），空间任意一点P在像面坐标系中的投影坐标为（x，y），在图像坐标系中的投影坐标为（u，v），坐标系O1?UV和坐标系O?XY的转换关系可表示为：

[uv1=1dx0u001dyv0001xy1] （1）

式中，dx，dy表示单位像素在X轴与Y轴上所对应的实际物理长度。点P在摄像机坐标系中表示为（XC，YC，ZC），根据中心投影/透视投影的比例关系可得：

[ZCuv1=fdx0u000fdyv000010XCYCZC1] （2）

空间点P在世界坐标系中表示为（XW，YW，ZW），摄像机坐标系与世界坐标系之间的关系为：

[XCYCZC1=Rt0T1XWYWZW1] （3）

式中：R为旋转矩阵；t为平移向量[tx ty tz]T，表示在三个方向上相对原始位置的平移量。

1.2 坐标系的旋转

在三维空间中，旋转可以分解为各自坐标轴的二维旋转[10]，如图2所示。由图2可计算出坐标轴旋转角度θ后的矩阵变换为：

[x′y′=cos θsin θ-sin θcos θxy] （4）

在三维坐标系中，设X轴、Y轴和Z轴的旋转角度分别为α，β和γ，旋转矩阵R是三个旋转分量的乘积：

2 KFR方法的实现

由式（6）可知图像坐标系和世界坐标系的关系与f，dx，dy，（u0，v0），X轴，Y轴和α，β和γ及 [tx ty tz]T有关。在本实验中，选取的摄像机焦距f为48 mm，显示屏的分辨率为1 920×1 080，显示区域为37.2 cm×21.6 cm，因而dx=0.19 mm，dy=0.2 mm，（u0，v0）=（186，108），即u0=186 mm，v0=108 mm。在以上数据确定下，实验的目的就是探寻最佳立体显示的旋转角度α，β和γ及平移向量[tx ty tz]T。为方便描述，设两摄像机间的平行距离为L。

KFR（Key Factor Relationship Analysis）方法是在推导出影响立体显示的关键因素后，改变单一因素，经过多次效果比较，得出各个因素间的关系或者变化范围，从而简便获取立体图像对的一种方法。首先在已经建立好的三维模型场景中选取目标点，实验模型是在3 ds MAX中建好的双亭模型，目标点坐标为亭内一点（750，-450，400），并特殊标记，以便测量。为了避免垂直误差，两个摄像机和目标点需在同一平面内，且相对于目标点对称，即使目标点在两摄像机的中垂线上。然后以5对摄像机为一组，如图3所示。

按照上述步骤，保持tx和tz不变，继续增加L的长度，设置第二组摄像机。依次改变tx，使tx的变化范围在850～1 750间每间隔100对一个实验组进行实验， ty和tz保持与第一实验组相同。然后，保持第一实验组中的tx和ty不变，改变tz的大小，使得tz以200递增递减。以上实验步骤多次重复，以保证实验的科学性。

将上述实验的摄像机所拍摄的图像对按照左右眼成像原理并排处理，在暴风影音播放器上选择3D播放模式，如图4所示。

总结立体显示效果的结果，分析得出：影响立体显示的平移向量[tx ty tz]T中3个变量之间的关系为：

[0.02≤t2yt2x+t2z≤0.036] （7）

X轴、Y轴和Z轴的旋转角度α，β和γ与立体显示效果的观看角度和物体远近大小有关，角度变化范围为：

[1.15°≤α≤2.06°1.15°≤β≤2.06°0≤γ≤36.87°] （8）

利用KFR方法获取立体图像对时，只要满足式（7）、式（8），就可以得到立体效果明显且舒适度好的立体图像。

3 结 语

本文根据针孔模型推导出影响立体图像显示效果的关键因素，提出获取立体图像对的KFR方法，总结出影响立体显示的关键因素的关系和变化范围。获取立体图像对的KFR方法可以避免由真实摄像机内参数引起的图像畸变，同时为获取立体图像对提供了一种简单、易于操作的新方法，为再进一步对在已建好的三维模型的情况下立体图像对的生成提供了重要依據。

注：本文通讯作者为苗新刚。

参考文献

[1] 李艳云.基于双目视觉的彩色三维场景再现与3D显示[D].西安：中国科学院，2015.

LI Yanyun. Color 3D scene reconstruction and display based on binocular stereo vision [D]. Xian： Chinese Academy of Sciences， 2015.

[2] YANG Qinyou， YU Xiaoyan. The Research on the rectification system of stereo image pairs [M]// ZHU MIN. Business， economics， financial sciences， and management. Berlin： Springer， 2011： 187?193.

[3] 刘少强.基于立体视觉的三维重建方法研究[D].天津：天津理工大学，2015.

LIU Shaoqiang. Research on algorithm of 3D reconstruction based on stereo vision [D]. Tianjin： Tianjin University of Technology， 2015.

[4] 谢若冰.双目立体成像和显示的FPGA视频处理技术研究[D].北京：北京理工大学，2016.

XIE Ruobing. The research of FPGA video processing technology on binocular stereo imaging and display [D]. Beijing： Beijing Institute of Technology， 2016.

[5] FORSYTH D A， PONCE J. Computer vision： a modern approach [M]. 2nd ed. London： Pearson Education Inc， 2011.

[6] 李畅，左正兴，黄心渊.实用虚拟现实中体视动画的实现[J].计算机仿真，2002，19（6）：84?86.

LI Chang， ZUO Zhengxing， HUANG Xinyuan. Stereoscopy animation actualizing under practical virtual reality [J]. Computer simulation， 2002， 19（6）： 84?86.

[7] 刘然.基于计算机立体视觉的双目立体成像研究[D].重庆：重庆大学，2007.

LIU Ran. Study on binocular stereo imaging based on computer stereo vision [D]. Chongqing： Chongqing University， 2007.

[8] 高亮.双目视觉中的立体匹配算法研究[D].沈阳：东北大学，2014.

GAO Liang. Research on stereo matching algorithm of binocular vision [D]. Shenyang： Northeastern University， 2014.

[9] LU Xionghui. Localization and motion coordination among multiple collaborating mobile robots [D]. New York： Stony Brook University， 2011.

[10] 陳军.基于双目视觉及数据手套的虚拟手势交互平台的研究与设计[D].北京：北京邮电大学，2011.

CHEN Jun. Research and design of the virtual gesture interaction platform based on binocular vision and data gloves [D]. Beijing： Beijing University of Posts and Telecommunications， 2011.