熊 杰，彭 军，杨文姬，黄丽芳

1.江西农业大学 计算机与信息工程学院，南昌330045

2.江西农业大学 软件学院，南昌330045

3.浙江大学CAD&CG国家重点实验室，杭州310058

4.江铃控股有限公司，南昌330052

基于视觉的手姿态估计在人机交互、AR（增强现实）、VR（虚拟现实）和机器人操作等方面有着重要的作用。然而在手姿态的估计过程中会因为手的固有特性而存在自遮挡、自相似和高自由度等难题。为解决这些问题，有些研究者从深度图像[1-6]或多视角相机系统[7]中估计3D 手姿态，但由于其便捷性不足以及普适性不高等种种原因，不能被广泛推广到实际应用场景中。因此直接从单张彩色图像中估计手姿态显得尤为重要[8-12]。

从单张彩色图像估计3D 手姿态的流程主要有三种，第一种是直接从图像中估计出3D姿态[11]，第二种是先估计2D 热图（亦可当作估计2D 手姿态），然后利用CNN 学习2D 热图到3D 姿态的映射[8，13-14]，最后一种是联合估计2D姿态和3D姿态[9-10]，其中第二种流程如图1所示，本文也采取该流程进行2D和3D手姿态估计。在该流程中，很多研究者专注于3D姿态估计的创新[8，13]而缺少了对2D姿态估计的重视，然而3D姿态估计的结果依赖于2D姿态，因此提高2D姿态估计的精度对于估计3D姿态是有帮助的。

图1 手姿态估计流程图

目前2D 手姿态估计主要是通过估计2D 关键点热图的方式来实现。现有2D关键点热图估计大多数采用卷积姿势机（Convolutional Pose Machine，CPM）[8，13]或沙漏网络（Hourglass Network，HNet）[10，14]进行。如文献[10，14]使用了HNet，该网络由一个串联的对称的高到低和低到高分辨率子网络的结构……