王长元　王　莉　田宝杰　薛鹏翔

(1.西安工业大学计算机科学与工程学院　西安　710021)

(2.总参陆航部驻西安地区军事代表室　西安　710065)(3.西安工业大学理学院　西安　710021)



一种视线方向的三维估计方法*

王长元1王莉1田宝杰2薛鹏翔3

(1.西安工业大学计算机科学与工程学院西安710021)

(2.总参陆航部驻西安地区军事代表室西安710065)(3.西安工业大学理学院西安710021)

摘要为了得到高性能的视线方向,论文提出了一种基于双摄像机和双光源的三维视线估计方法,以克服自然头动较大情况下视线的估计准确性。论文提出了一种完全依靠空间几何计算实现用户视线落点运算的方法。首先对摄像机进行标定,然后利用已标定的摄像机再对显示器屏幕和光源的三维位置进行标定;由于角膜曲率中心和瞳孔中心在同光轴上,所以通过计算得到角膜曲率中心和虚瞳孔中心来确定光轴的空间方向;其次确定视轴,论文没有直接估计光轴和视轴偏差角Kappa,而是通过标定一个3*3的旋转矩阵M间接求得光轴和视轴的关系,以此确定视轴方向;最后通过计算得到视轴与屏幕的交点,即注视点。

关键词视线估计; 立体视觉; 系统标定; 视线落点

A Line of Sight Direction Three-dimensional Estimation Method

WANG Changyuan1WANG Li1TIAN Baojie2XUE Pengxiang3

(1. College of Computer Science and Engineering, Xi’an Technology University, Xi’an710021)

(2. Military Agent’s Room ZongCan the Aviation Department in Xi’an Area, Xi’an710065)

(3. Faculty of Science, Xi’an University of Technology, Xi’an710021)

AbstractIn order to get high-performance gaze direction, a kind of 3D view estimating method is put forward based on double cameras and double light source, the purpose is to overcome the natural head moving large cases eye estimation accuracy. a method completely depended on the space geometry calculation is proposed to realize the user view point operation. Firstly, the camera is calibrated, and then the calibration of the camera is used to the three-dimensional position of display screen and a light source for calibration. Because of the corneal curvature center and the pupil center on the same axis, so the space of the optical axis direction is calculated by the corneal curvature center and the virtual pupil center to get. Secondly the visual axis is determined, the article does not directly estimation deviation angle of optical axis and visual axisof Kappa, But by rotation matrix of a 3*3Mindirectly obtained the relationship between the optical axis andvisual axis, to determine the visual axis direction. Finally through calculation the intersection of the visual axis and screen, the fixation point is gotten.

Key Wordsthe line of sight estimation, stereo vision, system calibration, the line of sight point

Class NumberTN911.23

1引言

视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前注视方向的技术。按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。

在人机交互和疾病诊断[1]两个领域有着广泛的应用,如助残、虚拟现实、认知障碍诊断、车辆辅助驾驶、人因分析等。随着数字化技术、计算机视觉、人工智能技术的迅速发展,基于数字视频分析(VideoOculographic,VOG)的非侵入式视线追踪技术[2]成为当前热点研究方向。VOG系统普遍使用瞳孔角膜反射方法(The Pupil Center Cornea Reflection Technique,PCCR),采用红外光源产生角膜反射,通过计算瞳孔中心与角膜反射之间的向量来估计视线方向。视线估计模型可以采用映射模型(通常为非线性多项式模型),也可以采用几何模型。即基于二维映射模型的视线估计方法和直接的三维视线估计方法。

基于二维映射模型的视线估计方法[3~4],通过一个经过校准的视线映射函数来估计视线方向,映射函数的输入是从眼睛图像提取的一系列二维眼动特征,输出是视线方向或注视点。二维视线估计方法有以下几个缺点: 1) 二维视线估计依赖于标定位置,视线估计的精度随着使用者头部远离标定位置而迅速下降,所以使用者需要保持头部静止; 2) 需要依靠标定确定眼睛特征参数与视线的映射函数,所以标定点数较多。对于直接的三维视线估计方法[5~6],首先要估计三维的视线方向,然后通过视线方向和屏幕的交点即可得到盯视点。目前基本上使用一个或两个摄像机配合多个光源来估计三维视线。首先重建眼睛的光轴。随后通过一个校准过程用已知的光轴得到视轴。通过比较分析了多个系统的不同,理论上得出了三维视线估计的系统最少配置,一个摄像机和两个光源配以及一些使用者眼睛的独立参数,或是不用参数情况下使用两个摄像机和两个光源。用一个摄像机和两个光源实现了一个视线估计系统[7],并实验验证了准确性。与双摄像机直接估计视线的系统相比,单摄像机代表了一种重要的简化,但是这种方法不能适应头动较大的情况。

综上所述,现存的三维视线估计方法中,要么需要关于用户眼球参数的独立信息,要么需要至少两摄像机和两个光源的硬件配置。否则就不能解决头动问题[8]。

但是使用者眼球的独立信息,如角膜半径和瞳孔与角膜中心的距离,是非常小的(一般小于10mm)。在不借助其它仪器的情况下,准确的间接估计眼球独立参数很难实现。即使采用一个摄像机和两个光源配以使用者眼睛独立参数的方案,在系统标定过程中也要使用至少两个摄像机。另外,因为需要估计角膜曲率中心的空间位置,而角膜曲率中心不可见,需要至少两个光源的像去估计角膜曲率中心的空间位置。所以,两个摄像机和两个光源是高性能视线估计的基本硬件配置。

2系统设计方法

2.1视线估计

本文提出一种基于三维视觉的视线估计方法[9],包括系统标定,眼球光轴与视线估计,用户标定。

2.1.1系统标定

系统标定首先进行摄像机标定[10],本文采用的方法,将事先制作好的棋盘表格标定板置于利用两部相机构造的双目摄像系统前,转动棋盘表格标定板,拍摄得到多组棋盘标定板图像,并且对图像的角点进行提取,如果所有角点提取成功,将其按照一定的顺序连接起来,通过计算像点与模板特征点间的关系来得到摄像机的内外参数。然后,利用已标定的摄像机对显示器屏幕和光源的三维位置进行标定。由于屏幕和光源在摄像机的后方,不在摄像机视场范围内,本文采用辅助平面镜的方式进行屏幕和光源标定。通过拍摄带有棋盘格的平面镜,可以得到重建后的平面镜三维位置。另一方面,通过平面镜中反射的带棋盘格的屏幕的像和光源的像,可以得到重建后的屏幕和光源的像的三维位置。最后,根据平面镜的三维位置和像的三维位置,可以求出真实的屏幕和光源在空间中的三维位置。

2.1.2眼球光轴的确立

1) 角膜曲率中心

针对凸透镜的特性显示,当入射光线延凸透镜的曲率中心垂直入射时,光线会沿入射路线反射回去。因此,光源K1,虚图像P1和角膜曲率中心O在同一直线K1P1O上。同理,另一个光源K2和它的虚图像P2及角膜曲率中心O就是在另一直线K2P2O上。直线K1P1和直线K2P2会交于O,那么交点O就是角膜曲率中心。如果两条直线异面(由于误差不完全相交),那么求出公垂线,公垂线的中心O就是角膜曲率中心。具体方法是先将K1P1和K2P2写成两点式,即

(1)

(2)

为了使式子简化,设

则带入式(1)、式(2)中得:

(3)

(4)

设公垂线与两直线的交点M1和M2分别是

因为M1M2⊥K1P1和M1M2⊥K2P2,则有(x,y,z)·(A1,B1,C1)=0和(x,y,z)·(A2,B2,C2)=0,即

解得t1,t2;则M1,M2可求。中点为

z中=(z1+z2)/2

2) 虚瞳孔中心

由于虚瞳孔的位置独立于摄像机的位置,所以在给定的两幅图像中有同样的虚瞳孔。相机获取到的眼睛图像中的瞳孔是真实瞳孔经过角膜折射后形成的虚像。使用者注视屏幕,由CCD摄像机获取人脸图像,通过图像采集卡传送到主机,主机通过特征参数提取和视线映射函数来得到视线落点,显示在屏幕上。本文通过立体视觉空间三角测量可以估计得到虚瞳孔的空间位置。

图1　瞳孔与光轴光路图

令m1与m2为虚瞳孔中心P0在立体摄像机中的像,则P0可以通过直线m1o1与m2o2求交获得,(O1和O2是摄像机中心)公式为

最后连接角膜球面中心O和瞳孔中心虚像P0,直线P0O就是眼球光轴;根据用户标定结果,利用光轴P0O和补偿角,得到视线方向PO(计算视轴与屏幕交点即视线注视点)。

2.1.3根据用户标定,确立视轴

当用户注视屏幕的已知点S时,这个点的空间坐标可以通过屏幕标定和标系转换得到。视轴和光轴的关系可表示为

(5)

(6)

由于旋转矩阵M是标准正交的矩阵,所以式(5)可变为

(7)

2.1.4视线注视点的确立

视线注视点就是计算视轴与屏幕交点。本文具体方法如下:已知视线方向直线OP和平面方程A1x+B1y+C1z+D1=0。将OP写成两点式:

设p·x-o·x=L1,p·y-o·y=L2,p·z-o·z=L3,则

设直线与屏幕得交点Q为

因为交点Q在平面上,所以符合平面方程,带入平面方程,则有:

A1(o·x+L1t)+B1(o·y+L2t)

+C1(o·z+L3t)+D1=0

解得

那么交点Q可求。

3结语

本文通过建立双摄像机双光源视线方向估计方法,很好地克服了自然头动下视线落点精度计算问题。首先对摄像机进行标定,然后利用已标定的摄像机再对显示器屏幕和光源的三维位置进行标定;所以通过计算得到角膜曲率中心和虚瞳孔中心来确定光轴的空间方向;其次确定视轴,本文是通过标定一个3*3的旋转矩阵M间接求得光轴和视轴的关系,以此确定视轴方向;最后通过计算得到视轴与屏幕的交点,即注视点。在双目摄像机的共同视野范围内,头部可以自由移动。视线估计精度较其它三维视线跟踪方法较高。

参 考 文 献

[1] T Duchowski. Eye Tracking Methodology: Theory and Practice[M]. New York: Springer-Verlag,2003.

[2] Ruian Liu, Xin Zhou, Nailin Wang. Adaptive regulation of CCDcamera in eye gaze tracking system[C]//Proceedings of the 2009 2nd International Congress on Image and Signal Processing(S978-1-4244-4129-7), Tianjin, China. USA: IEEE,2009:1-4.

[3] Zhu Z, JiQ. Eye and gaze tracking for interactivegraphicdisplay[J]. Machine Vision and Applications,2004,15(3):139-148.

[4] Morimoto H, Mimica M. Eye gaze tracking techniques forinteractive applications[J]. Computer Vision and Image Understanding, Special Issueon Eye Detection and Tracking,2005,98(1):4-24.

[5] Beymer D, Flickner M. Eyegaze tracking usinganactivestereo head[C]//Proceedings of the IEEE Computer Society Conference on Com puter Vision and Pattern Recognition. Madison, Wiscons in, USA,2003:451-458.

[6] Shih S W, Liu J. A novel approach to 3D gaze trackingusing stereo cameras[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics,2004,34(1):234-245.

[7] H Morimoto, A Amir, M Flickner. Detecting eye position andgaze froma single camera and light sources[C]//Proc ICPR. Washington, DC, USA: IEEE Press,2002:314-317.

[8] D. Guestrin, M Eizenman. General theory of remote gaze est-imation using the pupil center and corneal reflections[J]. IEEE Trans Biomed Eng,2006,53(6):1124-1133.

[9] 张闯,迟健男,张朝晖,等.一种基于立体视觉的视线估计方法[J].电子学报,2010,38(5):1008-1013.

ZHANG Chuang, CHI Jiannan, ZHANG Zhaohui, et al. A line of sight to estimate method based on stereo vision[J]. Electronic Journals,2010,38(5):1008-1013.

[10] 全厚德,闫守成,张洪才.计算机视觉中摄像机标定精度评估方法[J].测绘科学技术学报,2006,23(3):222-224.

QUAN Houde, YAN Shouchen, ZHANG Hongcai. Camera calibration precision evaluation method in computer vision[J]. Journal of Surveying and Mapping Science and Technology,2006,23(3):222-224.

[11] Chen J, Tong Y, Gray W, et al. A robust 3D eye gaze tracking system using noise reduction[C]//Proc. of Eye Tracking Research & Applications Symp,2008:189-196.

中图分类号TN911.23

DOI:10.3969/j.issn.1672-9722.2016.03.031

作者简介:王长元,男,博士,教授,研究方向:模式识别与图像处理。王莉,女,硕士研究生,研究方向:模式识别与图像处理。田宝杰,男,硕士,高级工程师,研究方向:光电测试技术。薛鹏翔,男,硕士,讲师,研究方向:模式识别与图像处理。

收稿日期:2015年9月11日,修回日期:2015年10月25日