APP下载

医院服务机器人运用计算机视觉定位系统的探讨

2023-11-23

今日自动化 2023年7期
关键词:畸变摄像机坐标系

周 俊

(上海市儿童医院,上海 200062)

一般医院巡查公共诊疗区域、重点区域(实验室、水电气设备机房等),会通过监控室监控员对监控电视墙上的多个画面进行人工巡查,监控室普遍配置2名监控员,每天视频巡查范围、精细度有限。安保巡逻以2 h 为周期,存在巡逻空间的局限性。从视频画面中发现可疑物品(如被故意放在公共区域的背包)、突发性污染物(如容易导致滑倒摔跤的呕吐物)、实验室化学物品引起化学反应的燃爆风险、公共区域打架斗殴、初期火灾等事件,较难第一时间由人工发现并传送信息进行处置。

医院根据公安技防要求安装的大量监控,只有监视作用,没有自动识别功能,不符合现代医疗机构大型化、人员出入复杂、医疗设施与支持设备大规模化的新形势要求,须引入计算机视觉定位系统与服务机器人,利用数字化自动分析各类图像中的事件,并分类处理,提高巡查处置效率的同时降低人力成本。

文章重点讨论监控摄像机捕捉识别的目标,将摄像机图像坐标转换为室内坐标,通过物联网系统发送至服务机器人并自动导航到目标点处置的实现过程,即基于计算机视觉的室内定位技术,对相机标定原理、坐标系转换计算公式、实现方式及难点详细叙述。

1 相关技术介绍

1.1 AI技术

人工智能AI(全称Artificial Intelligence)技术从无到有,从单一功能到深入融合各类行业,为科技发展提供了新的思路和途径。网络信息时代的爆炸式发展使得人工智能产业丰富。AI 包括虚拟现实VR(全称Virtual Reality)、增强现实AR(全称Augmented Reality)技术,被应用在工业、农业、制造业、家用电器、出行、穿戴等生产生活各领域。

医疗领域中利用AI 对医学图像处理、分析及诊断提供了新思路,例如,儿童骨龄评估使用深度卷积神经网络对放射影像的分析,病理学方面基于深度学习算法对病理标本的辅助诊断系统等。此外,人工智能技术的更新,逐步实现了机器人领域真正的应用价值,产生了极大服务价值及生产力。纵观机器人领域的分支中,自导航服务机器人的发展速度非常突出。

1.2 计算机视觉

计算机视觉为人工智能的一个应用分支,指计算机系统从单幅图像、连续帧和其他影像输入中分析获取关注的信息,系统据此作出反应或提供建议。人工智能赋予了计算机分析与决策能力,而计算机视觉是被赋予了感知、探索的能力。

计算机视觉的工作原理为生物仿生技术的设计思路,参照人类视觉,不断训练分辨物体、距离、动态与否及视觉真实性等能力。计算机视觉训练机器人模仿人类的视觉方式,区别在于机器人依靠摄像机、数据和算法在极短时间内完成更精细和复杂的工作。例如,经过训练用于检验产品或监控生产的系统,每分钟能分析数千个产品或流程,能发现极其细微的缺陷或问题,其能力远超人类。计算机视觉被广泛用于许多行业,例如,能源、公用事业、制造、医疗和汽车行业等,并且市场仍在不断拓展。

1.3 医院服务机器人

医院服务机器人实际上从属于通常意义的服务机器人,应用仅限于医院和医疗环境,细分产品包括导医咨询、医疗宣教、医用AGV 物流(送药、送餐、送器械、回收被服和医疗垃圾等)、药品分拣、静脉输液药配制、消毒杀菌、移送病人、保洁及安防机器人等。

但医院环境与其他很多应用环境存在较大区别,如对于物流配送,医院部分环境的复杂程度和动态程度更高、可预测性更低,因而具有更大的技术挑战性。文章主要讨论利用监控摄像机做室内定位,联动保洁机器人、安防机器人的应用模式。

2 基于监控相机的室内定位

医院监控摄像机几乎覆盖所有公共诊疗区域,利用监控画面进行目标事件的室内立体坐标定位,是文章讨论的重点。理论上需要应用相机标定原理及坐标系转换,将摄像机获得的二维平面图像,推算出三维空间中物体的几何坐标值,并重建和识别物体。

2.1 概述

二维图像能提供丰富的环境信息或空间信息,包括:①图像像素点的亮度与真实物体表面点反射光强度的关系;②摄像机内部结构、图像像素点在图像平面位置、物体空间的相对方位映射关系。利用这些信息,可实现如测距、测量、识别、地图构建、定位、摄像机运动和姿态估计等工作。

2.2 相机标定原理

求解参数的过程称为相机标定。相机成像的几何模型决定了空间物体表面一点的三维几何位置与其在图像中对应点间的关系,这些几何模型参数就是相机参数。通过试验与计算,求解参数(内参、外参、畸变参数)的过程就是相机标定。

图像畸变是镜头生产过程中,制造精度及组装工艺的偏差导致的原始图像失真。镜头的畸变分为径向畸变和切向畸变两类。

畸变参数、内参是相机本身的固有特性,一次标定即可,外参根据不同标定图像而不同。成像过程包括:图像坐标系、成像平面坐标系、摄像机坐标系及世界坐标系。

2.3 4个坐标系

(1)图像坐标系:表示三维空间物体在图像平面上的投影,像素是离散化的,文章使用的是摄像机模型中的针孔模型。该模型在数学上是三维空间到二维平面的中心投影。其坐标原点在CCD 图像平面的左上角,u轴平行于CCD。平面水平向右,v轴垂直于u轴向下,坐标用(u,v)来表示。

(2)成像平面坐标系:坐标原点在CCD 图像平面的中心,x,y轴分别平行于图像坐标系的(u,v)轴,坐标用(x,y)表示。

(3)摄像机坐标系:以摄像机的光心为坐标系原点,Xc,Yc轴平行于图像坐标系的x,y轴,摄像机的光轴为Zc轴,坐标系满足右手法则。摄像机的光心可理解为摄像机透镜的几何中心。

(4)世界坐标系:用于表示空间物体的绝对坐标,使用(xw,yw,zw)表示,世界坐标系可通过旋转和平移得到摄像机坐标系。

2.4 CCD平面(感光元件)

CCD(Charge-coupled Device)即电荷耦合元件。CCD 上植入的微小光敏物质称作像素,画面分辨率与单位面积内像素数量成正比。CCD 分布排列的感光电容,将影像转化为数字信号。例如光学遥测、频谱望远镜、高速摄影等。

2.5 坐标系位置关系

坐标系位置关系见图1。

图1 坐标系位置关系

将摄像机非线性模型表示为:

式中,(xu,yu)为模型图像点的坐标,(xd,yd)为实际图像点坐标,δx(x,y)与δy(x,y)为成像畸变值。

2.6 畸变

一般分为径向畸变、切向畸变。径向畸变(桶形畸变和枕形畸变),即光线在远离透镜中心部位比接近中心的地方出现明显弯曲。切向畸变(薄透镜畸变和离心畸变),来源于制造过程中,透镜与CCD 平面不平行而产生的畸变。

3 利用物联网联动医院服务机器人

服务机器人作为高集成度的新型技术,具备高感知信息的能力及智能控制。目前,其智能水平随着相关研究的投入及多学科互动,利用物联网融合到整个医院智能化系统网络中,应用范围愈加广阔。

3.1 物联网的概念

物联网技术主要是借助信息传感设备来实现物品和网络的连接,并根据预先设定的通信协议来完成通信,实现信息识别、跟踪与管理的功能。

从技术角度分析物联网技术,其特点主要包括:①系统化的感知能力。利用各类射频识别技术、激光传感器和红外感应器等技术来获得物体信息资料,实现感知和应用提取。②稳定的传输能力。基于互联网、局域网等网络能实现数据的稳定传输。③先进的智能化处理技术。合理筛选与应用不同类型的智能化技术,实现大量数据的分析、计算及医院管理工作的智能化发展。

3.2 物联网的构架

物联网系统由感知层、网络层及应用层组成基础架构,本质是事件驱动型的体系构建,服务机器人是基于物联网架构及底层分析技术、终端执行输出的智能化设备。不同层级进行交互通信和控制,互相传递多样的信息,应用系统识别动静态信息。物联网技术与传统互联网相比更加先进,实用性更强,直接控制物理设备,实现服务效果最大化。

3.3 物联网下视觉定位的应用

(1)机器人定位方法。该方法一般分为拓扑地图直推法、几何地图直推法与概推法、马尔可夫定位算法等,定位技术包括视觉导航定位技术(机载摄像机采集分析环境信息)、GPS 全球定位系统(定位精度受限制,不适用室内及多楼层场景)、光反射导航定位技术(利用激光或红外传感器测距,易受背景信噪影响)等。服务机器人为实现无人控制作业,配置自动导航系统,具备自主任务分配、自控电梯门禁、避开障碍物、自主返回充电的智能化功能。

(2)响应流程。医院物联网系统主要是通过智能终端、云端控制平台及服务机器人3个部分共同构成。具体应用流程为:监控相机分析得出事件和定位信息通过物联网完成信息发送;触发应对处置程序,自动转发到对应的服务机器人响应;事件处置结果回馈到系统,形成事件处置闭环。

(3)引导与定位修正。机器人收到监控摄像机发出的事件定位信息,自动导航到达目标位置附近,因摄像机、环境变化、机器人行走均存在参数误差并叠加放大,为消除上述定位精度的偏差,通过监控摄像机识别机器人真实位置信息,利用物联网的桥接作用、PID 控制,辅助机器人不断修正行进路径与位姿,最终抵达目标位置完成事件处置。

3.4 视觉定位技术的改进

考虑到目标事件包括遗落物、呕吐物、肢体冲突的人员、初期小火灾、待消毒物品等,存在物品对象大小形状多样、位置动态变化、发展趋势不可预期等,须将定位公式的算法从一个二维平面坐标点拓展为三维立体坐标值,提升监控摄像机对目标描述的真实性,以尽量多的立体坐标点来描述目标的空间边界。初期算法可简化为方形6面体,随着研究的推进,视觉识别处理硬件性能的提升,描述为更接近真实物体空间边界的多边形数值,进一步协助系统准确识别事件并移交服务机器人处置。

3.5 技术难点及解决方案

室内定位精度要求一般需要控制在厘米级,如±10 cm 的精度,精度偏差来自监控摄像机自身性能参数的限制、真实复杂环境的视线遮挡、环境光影明暗变化,同时需要医院管理部门投入大量前期工作,如摄像机参数标定、环境基准面数值创建、基础路线设定、机器人特征预录入等。一般要求摄像机硬件参数为分辨率1080P、像素200万、帧率25帧、星光级夜视功能、低照度自切换红外夜视、内置图像处理GPU、三主码流一辅码流等。机器人定位导航系统可借助其他室内定位技术如WiFi、定位信标等,增强修正定位结果。

4 结束语

计算机视觉定位是基础的图像识别通过AI 算法进行更新优化后的技术,提供了一种高效可行且能不断改良的室内定位解决方案。广泛应用于医院场景的各类服务机器人,通过物联网体系极大提高了反应速度,填补了人工巡视的空间不连续性,因此在当前医院环境下,应用前景广阔,发展空间巨大。

猜你喜欢

畸变摄像机坐标系
解密坐标系中的平移变换
坐标系背后的故事
在Lightroom中校正镜头与透视畸变
基于重心坐标系的平面几何证明的探讨
摄像机低照成像的前世今生
新安讯士Q6155-E PTZ摄像机
如何消除和缓解“摄像机恐惧症”
辐射诱导染色体畸变的快速FISH方法的建立
极坐标系下移动机器人的点镇定
《癌变·畸变·突变》2014年第26卷索引