基于颜色识别的手指多点跟踪人机交互系统

2012-11-27王鹏程官洪运许文杰邬晓琳

网络安全与数据管理 2012年1期

王鹏程，官洪运，许文杰，邬晓琳

（东华大学信息学院，上海 201620）

随着计算机视觉技术的发展以及人们对新的交互手段的需求，基于计算机视觉的交互系统也逐渐发展起来。传统的交互方式如鼠标、键盘、手柄等在某些特殊领域己经无法发挥便利的作用。本系统将计算机视觉技术做新的应用，带来了人机交互的便利，实现如画图、图片浏览等功能，将电视棒连接到处理器后还可实现对网络电视的频道切换和音量控制。本系统是基于颜色识别的多点跟踪识别系统，可以通过识别手部的动作（如拉伸、靠近等动作）实现对计算机及与其连接设备的控制功能，让用户完全摆脱对遥控器和鼠标的依赖，实现更加便捷、人性化的人机交互。

传统的人机交互方式在使用过程中确定性比较强，比如按下键盘的按钮或者点击鼠标的左右键，计算机都己将此关联到一定的系统事件中。

而基于颜色识别的手指多点跟踪交互方式表达的意义丰富。如带上颜色标记的指套后，通过不同手势、位置、方向等可以组合出多种信息，更能符合人的操作习惯。整个交互的流程为：先通过摄像头拍摄手势图像视频流，然后从图像中根据特定算法提取出手指的颜色和识别点以及位置信息，之后把这些信息点进行相应分类取舍，接着基于Windows API将这些提取出的信息点根据需求驱动相应的系统动作。