张 磊

(淮北职业技术学院 机电工程系 安徽淮北 235000)

手势识别有着广泛的应用，包括人机交互、机器人和手语识别等。大多数手势识别方法都是基于识别孤立的手势[1-3]，其中输入视频被手动分割成片段，每个片段包含一个孤立的手势。在连续执行手势的真实世界场景中，基于孤立手势的方法不直接适用。因此，最近的方法[4-6]旨在识别到连续输入视频中的手势，其中包括多个手势类别，包括手势和非手势动作。这些连续手势识别方法有两种形式：两阶段[5-7]和单阶段[8]方法。两阶段方法是围绕使用两个模型构建的：一个模型用于执行手势检测，另一个用于手势分类。在[6]中，笔者提出了一种两阶段方法，其中手势首先由浅层3D卷积神经网络进行检测，当检测到手势时，它激活深层3D卷积神经网络分类模型。与两阶段方法相比，单阶段方法仅使用直接执行手势分类的单个模型。图1展示出了单阶段方法的典型结构，其中通过将所有姿势类与非姿势类一起考虑来执行识别。除比两阶段方法简单外，单阶段方法还避免了错误在阶段之间传播的潜在问题。文章提出了一种新的单阶段连续手势识别方法。通过使用单阶段方法，期望分类模型学习手势和非手势之间的自然转换。然而，直接从连续的未分段视频中学习手势十分困难，因为它需要模型来检测手势类别之间的转换并同时识别手势/非手势。为了提高性能，考虑了多模态输入，并引入了一种新的融合模块，该模块从多模态输入流中提取多个特征子序列，并考虑它们的时间顺序。……