APP下载

基于膨胀卷积的多模态融合视线估计

2021-08-10罗元,陈顺,张毅

关键词:特征模型

罗 元,陈 顺,张 毅

(1.重庆邮电大学 光电工程学院,重庆 400065;2.重庆邮电大学 先进制造学院,重庆 400065)

0 引 言

近年来,随着计算机视觉技术的飞速发展,视线估计技术引起了广泛的研究,并且在很多应用中都有很大的潜力,比如人机交互、心理分析、虚拟显示、人类行为研究等。目前视线估计方法主要有基于模型的视线估计和基于表观的视线估计[1]。

基于模型的视线估计通常需要利用红外线光源照射人眼,基于人眼角膜反射产生高亮光斑,根据光斑的位置和瞳孔中心的位置,结合3D眼球先验知识,估计视线方向。此类方法[2-6]实现了高精度,但为了获得稳定、准确的特征检测,通常要求接近于正面的头部姿态从而提取高分辨率眼睛图像,这限制了用户的移动性,且通常需要专用的硬件,例如多个红外摄像机,多个设备之间的位置关系需要精确地匹配,设备标定带来的误差累计也会影响视线的估计精度,所以难以被广泛应用。

另一方面,基于表观的视线估计是通过提取眼睛的视觉特征,然后训练回归模型学习从眼睛特征到视线方向的映射,从而进行视线估计。如,LU等[7]和MARTINEZ等[8]都是利用支持向量回归训练视线估计的回归模型,其中,文献[7]使用局部二值模式(local-binary-pattern texture feature, LBP)提取眼睛的纹理特征,并结合眼睛的空间坐标作为组合特征,文献[8]提取眼睛的mHOG特征。LU等[9]提出的方法是基于自适应线性回归方法建立的,该方法可以自动选择用于映射的训练样本。随着深度神经网络在图像识别领域的发展和成功,基于表观的视线估计开始直接使用整幅眼睛图像作为高维输入向量,利用卷积神经网络[10]学习其与视线方向之间的映射。……

登录APP查看全文

猜你喜欢

特征模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
如何表达“特征”
不忠诚的四个特征
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
线性代数的应用特征
一个相似模型的应用