APP下载

机器视觉技术在康复领域的应用

2021-12-02杨荣宋亮魏鹏绪潘国新

北京生物医学工程 2021年4期
关键词:图像处理辅助机器

杨荣 宋亮 魏鹏绪 潘国新

0 引言

近年来,由于人口老龄化、工业、交通事故、自然灾害、工作压力、疾病等的原因,有康复需求的人群数量以惊人的速度逐年增加,据统计,截至2019年底,我国已有9 775家残疾人康复机构,但专业技术人员仅有19万,8 500万残疾人中仅有1 043万人得到康复服务[1]。康复需求端的扩大导致康复领域出现护理人员紧缺、康复效率低下的问题。机器视觉技术的发展为康复领域提供了新的发展思路。将机器视觉技术与康复技术相结合可以辅助康复人员自主完成训练任务,提高康复人员的主动训练参与度与自信度,同时可以利用网络对居家患者进行实时康复效果评估与训练方案调整,提高康复效率的同时有效地减轻医护人员和家属的负担。

1 机器视觉

机器视觉是一门结合了光学、机电控制、图像处理、人工智能等技术的综合性学科[2],在康复领域应用时的基本技术构成一般包括图像采集部分、图像处理部分和外部控制部分。

1.1 图像采集

图像采集部分由照明系统和视觉传感器两部分组成[3],完成外部图像的采集和处理。

照明系统即采用发光光源照亮目标物体,保障图像处理成像效果的同时避免外部环境光线的干扰。光源的效果对机器视觉的成像质量至关重要,不同形状、颜色、照射角度的光源会产生不同的图像效果。机器视觉中的光源类型包括发光二极管、热辐射光源、气体放电光源等[4],实际应用中需要根据不同的应用场景,选择能最大程度分离图像中目标信息与背景信息的光源,以降低图像处理过程的难度,提高算法分割与特征识别的准确度与可靠度。

视觉传感器包括单目视觉传感器、双目视觉传感器及深度相机3种。单目视觉传感器使用单一摄像头进行目标定位,每次处理单帧图像数据,具有信息容量小和运算速度快的优点[5],但是由于单目视觉传感器在目标成像过程中会将场景的三维信息降维为二维信息进行处理,造成目标深度信息的丢失,不适用于需要精准定位和跟踪目标的场合。双目视觉传感器通过左右2个摄像头获取场景同一时刻不同角度的两幅图像,可以真实还原场景的三维信息,具有能够表达目标远近差异程度的优势[6],在康复领域应用较为广泛。深度相机的核心部件是COMS摄像机和红外发射器[7],利用光编码技术获取目标的深度信息,具有数据读取快、应用简单的优势。由于深度相机能同时采集目标的颜色信息和深度信息[8],被广泛用于移动机器人、手术机器人等需要完成自主跟随任务的应用中。

1.2 图像处理

图像处理部分的功能为对采集到的图像进行处理分析,提取特定目标的特征进行识别,转换为外部控制命令,过程包括图像增强、图像去噪、图像定位与分割、特征提取与模式分类等步骤[9]。图像处理部分涉及到的各类算法非常多,如目标标定中使用的张正友标定法[10]、自标定法[11]等,图像增强中使用的图像锐化、运动模糊去除等方法,图像分割中使用的阈值分割方法[12]、基于神经网络的语义分割法[13]等方法以及特征提取与模式分类中使用的小波变化[14]、支持向量机[15]、卷积神经网络[16]等方法。图像处理部分是多算法集成模块,实际应用中需综合考虑图像的类型、算法的处理速度、算法复杂度、模型泛化能力等多种因素。随着人工智能技术的发展,如卷积神经网络、循环神经网络、自编码器等深度学习算法[17]由于可以将特征提取与模式分类过程集成在一起,在机器视觉领域得到越来越多的应用。

1.3 外部控制

外部控制部分根据图像处理部分得到的目标位置信息数据输出相应的控制波至电机驱动电路,从而控制电机的运动状态,完成目标跟随、避障、辅助等任务。实际应用中需要根据实际情况选择相应的控制模式(如点位控制、连续轨迹控制等)、驱动方式(如液压、气压、电气驱动等)、通信类型(如串口、以太网、各种工业控制总线等)等参数[18]。

2 机器视觉在康复领域的应用

2.1 机器视觉在辅助类康复辅具中的应用

辅助类康复辅具的范围非常广泛,目前使用到机器视觉技术的包括智能轮椅车、辅助起立装置、机器臂等。辅助类康复辅具能够辅助患者完成起立、饮食、移动等动作,减轻了护理人员的负担的同时可以为患者提供更加科学、安全的服务。Hartman等[19]研发了搭载摄像机、激光传感器、陀螺仪等的智能轮椅,将图像信息与距离信息融合,进行轮椅车路径规划与避障,实现轮椅车自动驾驶功能。周莹亮[7]运用视觉目标跟踪技术设计的轮椅跟随系统,实现了轮椅对使用者的实时跟随与障碍躲避,系统具有良好的通用性和可移植性。李杰[20]利用机器视觉技术,研究患者不同身高和坐姿情况下对辅助起立运动的要求,建立人体运动数学模型,控制辅助起立机器人按照预测的轨迹精准辅助患者完成起立动作。

2.2 机器视觉在肢体类康复中的应用

肢体康复类系统主要用于手臂、腿部、各类关节等的运动功能康复训练,集成机器视觉技术后可以通过摄像头实时采集的图像提取患者肢体的轮廓,生成骨架系统后进行轨迹分析,判断肢体运动轨迹是否正确并进行实时调整与反馈。基于机器视觉的肢体康复系统不受时间、空间的约束,能够最大程度地提高患者训练参与度与康复自信心。Ustinova等[21]开发了虚拟栽花系统用于患者手部功能的康复。祝敏航[22]设计了基于Kinect的下肢外骨骼康复训练系统,实时解析下肢运动角度参数,实现对人体下肢的行走驱动,满足家庭化康复训练的需求。闫航[23]针对脑卒中居家康复患者的需求,综合机器视觉、姿态估计、深度学习等技术,设计了康复训练场景下的在线康复动作识别系统,帮助患者实现居家康复锻炼。

2.3 机器视觉在心理类康复中的应用

随着许多新疾病的重新定义与研究,有康复需求的人群大量增加,机器视觉技术被用于辅助患者进行记忆、抽象思维、计算、理解力等有关认知功能的康复训练中。Adriella等[24]开发了用于阿尔茨海默病与轻度认知障碍患者康复训练的互动式康复系统,通过机器视觉系统辅助患者完成各项日常活动,并实现了患者与医护人员之间的实时互动交流。陈浩东[25]设计了基于机器视觉的认知康复机器人系统,利用六自由度机器臂和摄像头系统进行认知康复任务中的积木任务示教与辅助。

2.4 机器视觉在临床医疗辅助中的应用

自2000年第一代达芬奇手术机器人批准应用于临床后,基于机器视觉技术的手术机器人在临床上应用越来越广泛,并取得了良好的效果,其中包括可以进行细胞层面康复的胶囊机器人。手术机器人一般包括机械臂、传感器、控制器和动力源4部分[26],通过三维重建技术选择最优手术方案,精准定位操作点并进行实时导航,帮助医生完成传统手术难以完成的复杂手术,提高手术效率和成功率。目前,尚没有国内研制的应用于临床的手术机器人。郑红杰[27]设计了一种方便利用视觉进行检测的标记物,并改进跟踪算法,提高了手术检测的精准性和快速性。机器视觉在临床医疗系统中的应用还包括通过图像增强、标记、渲染处理、测量比较等手段辅助医生进行医学影像解析,通过大数据训练模型网络来估算患病的概率,包括X 射线、B超、CT、MRI等,规避由于人眼疲劳、误差等引发的医疗事故。目前基于深度学习算法的医学图像分割是该领域研究的重点和难点[28]。

2.5 机器视觉在个体化康复医疗中的应用

近年来,机器视觉技术结合生物医学工程、3D打印技术成为了个体化康复医疗的研究热点,即通过三维模型重构技术实现肢体、器官、骨骼、皮肤等的三维建模,再结合3D打印技术进行康复辅具产品的个性化定制。由于机器视觉技术可以检测到人体表面的微小变化,不依赖于人工经验,相比于人工取型技术更适用于人体复杂度高、曲面不规则的取型情况,具有取型准确、佩戴舒适性高、康复效果好的优点。目前,机器视觉技术结合3D打印技术在康复领域的主要研究热点包括矫形鞋垫[29]、假肢[30]、脊柱侧弯矫形器[31]等多种智能矫形器[32-33],膝关节[34]、髋关节[35]、骨修复[36]、肿瘤治疗[37]等人工器官植入与置换等方面。

3 小结

本文归纳了机器视觉的主要技术构成与工作原理,总结了机器视觉技术在辅助类康复、肢体类康复、心理类康复、临床医疗辅助及个体化康复医疗等5种康复领域的主要应用进展。从现有的研究来看,机器视觉研究,尤其是国内的机器视觉研究还处于起步阶段,距离成熟的大规模实际应用差距还很大。目前应用于康复领域的机器视觉技术测试对象主要是健康人群,数据分析和效果分析时使用的数据缺乏来自患者人群的数据,模型泛化能力低,导致研发成果基本处于实验室阶段,成果实用性和通用性不高。同时由于机器视觉的多学科融合性,在整体系统设计时需要充分考虑到各部分技术构成的协同性。因此,如何加大在患者人群的实际应用测试,并有针对性地进行系统集成设计与优化,提高安全性和实用性,同时降低其制造和应用的成本,是机器视觉技术真正服务于康复领域的研究重点与难点。

猜你喜欢

图像处理辅助机器
老年人行动辅助车
机器狗
人工智能辅助冠状动脉CTA图像处理和诊断的研究进展
基于图像处理与卷积神经网络的零件识别
机器狗
基于ARM嵌入式的关于图像处理的交通信号灯识别
基于图像处理的废有色金属自动分选算法研究
未来机器城
例谈何时构造辅助圆解题