广东省机械高级技工学校 黄诚壬



基于视觉识别的视频跟拍系统

广东省机械高级技工学校 黄诚壬

【摘要】在互联网时代，随着多媒体的推广应用，利用实时视频进行展示的场合越来越多。本文针对利用实时视频进行展示过程中拍摄技术要求高，费时费力，拍摄和展示效果差等问题，研制出基于视觉识别的视频跟拍系统。该系统可以智能跟随拍摄对象移动实现稳定视频拍摄，根据手势进行拉近和推远拍摄视频，根据手势拍摄特写图，还可以根据现场光线自动调节拍摄灯光亮度。借助该跟拍系统，展示者可以专心于展示而不用分心分力于拍摄，哪怕完全不懂拍摄技术，也可以呈现出满意的展示视频。

【关键词】视觉识别；自动跟拍；视频拍摄

1　前言

在互联网和多媒体成为主要展示载体的当下，利用实时视频进行展示的场合越来越多。尤为突出的是企业的产品展示，学校的一体化教学的操作展示。以往的做法就是事先录制展示的视频，展示的时候再通过多媒体播放出来。这样可以事先对视频进行处理，可以达到较好的展示效果。但是必须花费大量的时间提前录制和视频处理，更加无法做到实时与互动。

在“互联网+”的互联网新思维与“工业4.0”工业发展新思潮推动下，学校购进了大批多媒体设备：每个实训室配置两台大电视，一台投影仪，一台演示展台。还把实训室与理论课室接通了互联网，实现了课室可以实时通过电视观看实训车间的操作。实训操作通过视频展示可以大大提高课堂效率，但主流做法只是用于播放动画或相关视频。主要原因是视频实时拍摄技术要求高，还需要专人拍摄及调整，所以往往拍摄展示效果差，达不到实训操作展示目的。

结合一体化教学实训内容展示要求，最大化实现所有多媒体设备功能，学校决定要对现有设备进行升级改造，要求轻松实现实时视频展示功能，把一体化实训视频展示提升到一定高度，以弥补大班教学实训操作展示不足的通病。

2　制定设计方案

根据改造要求制定设计方案。设计一款实时视频跟拍系统，解决拍摄技术要求高，需要专人跟拍的难题。

方案一：采用机械导轨实现人工视频跟拍。这个方案实现较简单，无需任何电气线路辅助，只需要铺设运动导轨就可以实现。由于拍摄设备是在固定轨道上平行移动，大大降低了拍摄技术要求，只需要安排一个人配合讲解员进行拍摄就可以实现实时视频跟拍。

方案二：采用导轨加遥控器实现半自动视频跟拍。采用遥控器控制电机带动摄像头移动实现实时视频跟拍。采用这个方案，实现技术较简单，实现成本较低。只需要红外发送接收器、导轨、舵机以及单片机控制系统等常用电路就可以实现半自动视频跟拍功能。

方案三：采用导轨加智能控制实现全自动视频跟拍。采用智能控制技术实现全程视频自动智能跟拍。更省时省心省力，无需专人跟拍，无需要专业拍摄技术，就可以实现实时视频跟拍、定焦、拍摄图片以及放大或缩小拍摄等功能。

方案一成本较低，实现较简便，克服了定机位，颤抖等因素带来的不良拍摄效果。但仍需要专人来负责拍摄，负责配合讲解者的动作及意图。这无疑会增加展示工作量以及影响到拍摄效果。方案二在方案一的基础上增加了遥控装置，初步实现了半自动化。讲解员只需要根据展示的内容一边讲解一边使用遥控器操纵机器跟拍，无需要增加专门拍摄的人员，大大减少了工作量，也能达到一定的跟拍效果。但也存在很大的不便性，讲解员不得不兼顾讲解及调节拍摄效果。这无疑会让讲解员分神或不得不停下讲解把拍摄设备遥控到位。另外随着拍摄位置的变动，又不得不时时人为调焦。即使使用了自动变焦模式，如果移动幅度过大，超过了机器拍摄范围，还得人为调整拍摄效果。方案三智能化程度最高，完全实现全自动智能拍摄，包括跟踪拍摄，自动缩放，自动定焦，超越拍摄范围自动调节，自动灯光以及拍照特写图片等功能。完全无需讲解者进行任何管理及操作，就可以拍摄出比较专业的实时视频。由于增加了智能化控制系统，增加了相关硬件及软件开发成本，方案三无疑是智能化最高，但成本也是三者中最高的。根据学校的要求以及成本预算，决定采用方案三，采用智能控制实现全自动视频跟拍。

3　系统原理和设计过程

智能实时视频跟拍系统主要包括如下几部分：运动导轨部分，运动控制部分，拍摄控制部分，智能控制部分。核心是智能控制部分。

运动导轨，分为实际轨道和虚拟轨道。实际轨道是有形轨道，拍摄设备只能沿着铺设好的轨道行走。铺设轨道前需要根据常用展示对象来设定轨道方位以及大小。虚拟轨道是无形轨道，主要通过无线传感技术通过算法来约束拍摄设备行走路径。根据引导源不同，可以分为光循迹，磁循迹，GPS导航等方式。这里考虑到安装环境和保修的便捷性，采用有形轨道。结合一体化教学展示的场地和实际使用要求，采用悬挂机位铺设方式。即在展示工作区上方铺设椭圆运动轨道，轨道大小根据专业及展示物体大小而定。

运动控制，是指通过电机和传动机构让拍摄设备在运动轨道上运行的控制机构。虽然拍摄设备位置无需高精度定位，但是要克服跟拍过程中惯性的影响，这里采用直流电机和齿轮齿条来实现运动控制。运动控制主要包括：控制拍摄设备沿着椭圆轨道运行，控制拍摄设备升降。

拍摄控制,是拍摄设备位置的微调控制。主要包括：摄影机左右旋转，摄影机上下旋转，摄影机前后伸缩。这些调控都属于小范围动作，所以驱动电机选择舵机。

智能控制，是整个跟拍系统的核心部分。它包括两方面功能：一方面通过传感和运算实现识别拍摄对象的移动，从而控制拍摄设备移动实现跟随；另一方面通过控制拍摄功能实现自动缩放，自动定焦，超越拍摄范围自动调节，自动灯光以及拍照特写图片等相关动作。

采用什么设备，采用何种算法，如何识别拍摄对象移动？解决这一问题成为实现跟拍系统功能的关键所在。常用的方法是采用超声波测距实现跟拍。通过精密角度安装超声波发送和接收头，不断扫描测量距离，通过保持测量距离值一定范围内不变的方法实现跟拍功能。这种方法实现起来比较容易，算法容易实现。但是超声波发送接收器的角度要求严格，声波又容易受人体或其他障碍物干扰，对使用环境和使用者要求较严格。换句话说，采用超声波测距的方法实现视频跟拍功能，很难保拍摄效果。

视觉识别，是最近才兴起的新技术。它在智能时代可以称得上机器的眼睛，可以代替传统传感器的应用，实现类似人脑及眼睛的功能。它被科学家称为智能化时代以及工业4.0时代最具备时代标志的创新技术。虽然由于种种原因高精度的视觉识别系统价格比较高，使用率和普及率不高，但是类似的识别技术图片识别早已普遍运用在各行各业。这些年形状和颜色等方面的视觉识别在精度要求不高的场所也得到了推广和应用。实时视频跟拍系统采用视觉识别作为控制依据是否可以实现？无需要高精度小尺度的识别效果，只需要识别展示过程中的指定形状、颜色或固定姿态。采用视觉识别无需要安装任何传感器，只需要一个摄像头就可以实现，安装和调试要求大大降低。

视觉识别对系统的要求包括两方面：一是拥有强大的运算能力，二是具备较大的数据存储空间。基于这两点，视觉识别常常依靠计算机和软件来实现。这里选用Raspberry Pi，在中国音译为树莓派。树莓派是英国慈善组织为学生计算机编程教育而设计，只有信用卡大小的卡片式电脑，其系统基于Linux。树莓派虽然外表“娇小”，内“心”却很强大，它集成强大视频、音频功能，还配置HDMI高清视频输出接口。开放式的开发系统让越来越多的其它应用不断被开发出来。采用树莓派作控制器，硬件方面：一个树莓派主板，一个8G内存卡，一个摄像头，一条视频连接线，一个7英寸的显示屏。系统和软件方面运用到Linux嵌入式系统，需要编写实现这几方面的功能：第一，手环的形状和颜色视觉识别；第二，手势的视觉识别；第三，摄影功能的控制；第四，直流电机和舵机的控制。和舵机实现位置跟随，控制拍摄功能实现实时变焦和定焦。当手环在一定活动空间内移动或被阻碍消失的时候，摄影机不进行位置调整和变焦动作，有效保证了视频的拍摄效果。这就是实时视频智能跟拍功能，但是任何的机器智能程度都是有限的，为了解决智能跟拍过程中不尽人意的问题，系统设计了手势视觉识别功能。展示者可以通过几组手势来调整体拍摄设备的位置以及拉近和推远拍摄视频，根据手势拍摄特写图（见图1）等。

图1　基于视觉识别的视频跟拍系统结构图与控制框图

4　系统安装和调试

安装方面主要是导轨的安装需要根据展示对象来定，比如汽车专业展示汽车整车的拆装，导轨安装必须考虑到拍摄设备可以跟拍到各个位置。如果是机电专业进行机床拆装与维修展示，则需要根据机床的大小以及高度来选择导轨。系统调试方面主要考虑到软件编写与硬件运动位置的误差，还要注意是否可以跟拍，手势是否可以识别等方面。

参考文献

[1]Sam Nazarko.树莓派应用速成：Raspbmc媒体中心[M].符鹏飞,译.科学出版社,2014.5.

[2]王江伟,刘青.玩转树莓派Raspberry Pi[M].北京航天航空大学出版社,2013.9.