王树新，郭立瑶，李旭莹，王成龙，张国凯



一种丝传动柔性手术器械的运动精度检测方法

王树新1, 2，郭立瑶1, 2，李旭莹1, 2，王成龙1, 2，张国凯1, 2

(1.天津大学机械工程学院，天津 300350；2. 天津大学机构理论与装备设计教育部重点实验室，天津 300350)

自然腔道手术是经过自然体腔进入人体进行诊断的一种新型手术模式，手术过程中使用的柔性微创手术器械的运动精度检测对术中操作质量具有重要意义．在复杂的自然体腔环境下，针对丝传动柔性手术器械存在末端控制不稳、腔内操作受限的问题，提出了一种非接触式运动精度检测方法．该方法以自然腔道手术器械为研究对象，基于光学成像原理及图像处理方法检测手术器械的位置信息，具有通用性和易操作性．在此基础上进行固定角度摆动的单目运动精度检测实验，发现获取目标的位置坐标具有分布趋势，因此在单目检测的基础上，增加光轴垂直布置的相机，改进了获取目标位置坐标的计算方法，搭建采用双摄像机的优化测量实验平台．与单目视觉检测相比，优化实验水平方向的平均精度从±1.19mm提升到±0.85mm，方差从0.04减小为0.02；竖直方向的平均精度从 ±1.28mm提升到±0.90mm，方差从0.07减小为0.04，说明测量结果彼此波动的程度减小，可以直观地对器械运动精度进行评价．最后，通过提出精度影响指标验证了图像处理过程的稳定性；通过全局误差点分布箱图说明了改进后的算法对相对误差点的集中化，进一步说明此方法优化提取数据，对运动精度检测具有可行性．

柔性手术器械；图像处理；非接触；精度检测

微创外科手术每年给数以万计的病人带来福利，逐渐成为一种新兴的外科手术趋势[1-2]．相比传统微创外科手术，经自然腔道微创外科手术在入路方式和操作器械等方面发生许多改变．经自然腔道外科手术允许柔性内窥镜“无瘢痕”进入腹腔或胸腔访问，是减少侵入性操作的一种外科手术[3]．新型手术技术的发展必然伴随着新型手术器械的诞生，由于自然体腔环境复杂，传统手术器械并不适用于自然腔道外科手术．

应用柔性微创手术器械可扩大手术操作空间，增加手术三角，更具灵巧性，但存在运动准确度差的问题．2007年美国普渡大学Abbott等[4]开发了一种腔内手术操作系统ViaCath System，其包括一个长90cm、直径4.75mm的长轴尼龙制柔性手术器械，此器械提供操作力不足并且进入胃肠等屈曲结构的腔道灵活性不够．2009年，美国Astudillo等[5]设计出两自由度微创手术装置R-Scope，其具有可更换功能器械的工作通道，但控制复杂、力传递不足；同时经过10余例动物实验有9例出现胆囊穿孔，说明其精准性有待提高．2012年日本的Olympus公司提出一种集成内窥镜的多功能手术平台Endo-SAMURAITM，其具有2个可弯曲空心臂及腹腔镜接口，但需要至少2个操作人员和手臂，限制了在管腔内和翻转动作的操纵性[6]．美国的Boston Scientific公司设计了一种多功能自然腔道手术平台Direct Drive Endoscopic System(DDES)，包括具有三通道的可控柔性关节式导向外鞘和移动平台，但其存在丝传动运动不准确、操作三角受限、力传递不足的缺点[7]．德国Karl Storz公司设计了多通道自然腔道手术器械Anubis平台，在腔内空间可操作性受限及控制复杂使柔性器械末端的运动精度检测尤为重要[8]．

柔性手术器械在复杂的自然体腔环境中，运动精度难以保证[9-10]，丝传动的驱动方式及细长的结构也是导致准确度差的因素，在一些构型复杂的控制难度大的柔性手术器械中，运动精度的检测更加重要．

目前针对柔性手术器械的运动精度的测定鲜见相关研究报道．在工业机器人领域存在重复定位精度这一指标[11-12]，其表明机器人在重复某一运动时，衡量所能达到的实际位置与标准位置的偏差程度，测量方法可分为接触式测量和非接触式测量[13]．本文测量对象为丝传动柔性手术器械，显然接触式测量方法会使柔性端变形，影响测量结果，故排除这类方法．在非接触式测量方法中，激光、超声、机器视觉等都有所应用[14-15]，考虑方法的实施性和适用性，本文针对柔性器械提出一种基于图像处理的非接触测量方法进行运动精度测定．

本文在课题组前期设计基础上开展研究，以自然腔道柔性手术器械为测量载体，如图1所示．前端功能部分进行手术操作时，由驱动关节-柔性传动单元-从动关节进行前端的弯曲偏转．本文开展了视觉测量研究并进行优化改进，减小由图像引入的测量误差，提出了评估精度准确性方法，实现并评价手术器械的运动精度，对提高柔性手术机器人动作精度、实现微创手术器械精准化具有重要的意义．

图1 柔性手术器械

1 检测原理

通过运动精度检测可以得到器械重复运动产生的位置误差值，不仅能更直观地对其精度进行评价，还可以从整体上检验器械运动精度是否满足使用要求．注意，此处不考虑由驱动引起的扭转问题，假设检测过程中手术器械始终保持平行转动状态．

将器械功能末端更换成黑色圆球，即为需要测量的目标对象，驱动柔性手术器械末端发生定向定量摆动时，利用相机所摄二维图像点的坐标和识别目标尺寸转化的距离信息，基于相机成像模型可以求出检测目标在相机坐标系下的位置信息．

由图2所示的透镜成像原理可知，物距、像距和焦距之间存在如下关系：

(1)

其中，图像坐标系定义为Oxy，相机坐标系定义为cccc．

图2 相机成像模型

Fig.2 Camera imaging model

根据光学成像中的比例关系，可知物高和像高之间有

(2)

将式(2)代入式(1)中，可得

(3)

由式(3)可知，在已知焦距的情况下，若能得到物高和像高的比值，则可以求得物距．

(4)

当通过反复采集图像后，可以得到任意两点之间的c方向运动误差，即

(5)

对式(3)进行变形，可得

(6)

要获得两点之间的物距差，需要对式(6)做减法，即得到两点之间的误差表达式为

(7)

(8)

式中：x－1、x分别为第－1次、第次实验目标物在图像坐标系下的方向坐标(换算为物理坐标)；y－1、y分别为第－1次、第次实验目标物在图像坐标系下的方向坐标(换算为物理坐标)；u－1、u分别为第－1次、第次实验目标物在相机坐标系下的方向坐标．

2 测量系统及实验过程

搭建的实验平台如图3所示．自然腔道丝传动柔性手术器械的运动精度检测方法的实现需要以下装置：一种自然腔道手术操作工具(包括驱动端与从动端)，圆球状标志物，2台相机．驱动端采用旋转平台进行控制，其等效最小圆周刻度为0.6′，根据实际采用器械的结构参数，通过运动学模型转化到器械末端，等效控制精度为0.012mm．从动端末尾放置半径为＝2.5mm的黑色目标小球．

2.1 单目运动精度检测

依据上述的实验平台，设计单目视觉手术器械的重复定位精度检测实验，实验原理如图4所示．采用1台相机进行图像采集，选用Canon EOS 70D(分辨率5472×3648，CCD尺寸22.5mm×15.0mm，镜头焦距1＝35mm)．通过手柄驱动手术器械末端进行摆动，利用相机进行图像捕捉．由于手术器械末端有两个正交布置的摆动关节，分别控制器械在水平和竖直方向进行摆动，因此需要对两个方向进行检测．在器械的工作区间内(0°～90°)，每间隔10°选取一个测定样本位置，参考文献[16]及国标GB/T 17421.2—2016[17]对数控轴线重复定位精度的检测次数约定，本文在每个角度同条件重复做8次定位．

图3 实验平台

由于重复定位精度是反复运动产生的距离，取决于相对距离，与坐标系无关，所以后续处理将计算得到的一系列三维坐标值在相机坐标系下描述．

单目测量通过单一摄像机，能实现识别、简单定位丢失距离信息的二维目标，具有图像处理简单、算法易实现的特点．在实际应用中，单目视觉技术只能对目标位置进行大致的估计，通过相机成像模型推导测距算法即三维位置信息获取时，会得到测量误差较大的距离信息，因此设计了单目优化的精度检测实验.

图4 单目检测实验示意和实物照片

2.2 基于单目原理的优化检测

采用2台相机对器械末端从不同位置成像，实验布局如图5所示，相机2选取的型号为Canon EOS 6D，分辨率5472×3684，CCD尺寸35.8mm×23.9mm，镜头焦距2＝50mm．

由于不能保证两台相机之间的位置关系，所以在实验前对两台相机进行双目标定，用来获得每个相机的内参数矩阵和畸变系数矩阵、相机2相对于相机1的旋转矩阵．在双目标定之后利用相机依次捕捉竖直及水平0°～90°每间隔10°的测定位置的图像，在像平面上获得同一被测目标不同方向上的二维图像．每个位置角度重复捕捉8次，相机与被测目标保持300～500mm的工作距离．

图5 基于单目原理的优化实验示意及实物照片

2.3 图像处理

由相机捕捉到的图像需要经过一定处理，采用OpenCV库，在Visual Studio 2013开发环境下进行编程，实现图像处理．图像处理流程如图6所示．

本实验中，2台相机内部参数以及相对器械的摆放位置不同造成成像效果不同，并且器械在进行水平和竖直方向上摆动时的成像效果也不同，所以单目运动精度检测实验根据测量方向设置2种阈值区间，优化实验设置4种阈值区间，这样分类设置阈值的方法在一定程度上可减小误差，同时保证了方法的普适性.

图6 图像处理流程

图7 图像处理效果

最终目标检测输出的圆心坐标和半径为2次阈值检测结果的均值，即

(9)

图像处理的总误差sumError定义为集合目标检测的半径误差ErrorR与圆心误差ErrorO，该参数最大化了图像处理的误差总和．

(10)

3 数据分析

相机成像及算法处理将产生的相对误差点在同一坐标系下表示，结合相机参数得到一系列点阵，将包裹点阵的最小球半径作为该位置下的手术器械的重复定位精度．构造包裹球函数，在MATLAB®(MATLAB®2013a，MathWorks Inc.，Natick，MA)中利用argmin求解目标函数最小时的变量值，即最小包裹球球心坐标和半径Radius为

(11)

3.1 单目运动精度检测数据分析

单目运动精度检测实验的数据分析见表1．从均值上看，水平和竖直方向的平均重复定位精度分别为±1.19mm和±1.28mm，数值接近，方差分别为0.04和0.07，说明测量结果彼此波动的程度小，器械可以实现较为稳定的360°周向旋转运动．从最值上看，水平方向的精度最大是1.50mm，最小是0.78mm；竖直方向的精度最大是1.66mm，最小是0.78mm．精度数值变化区间相近，说明在方向上没有较大的测量差异，不同方向的偏转对器械的运动精度没有产生明显影响．

运动精度的测量值偏大，原因来自两方面：柔性手术器械的机械结构及传动方式，细长结构在体内进行被动弯曲，遍历复杂的体腔结构，驱动力通过丝传动经历被动单元传递到从动末端，增加了不稳定性，器械的运动精度难以保障；测量算法的缺陷，单目检测不能精确获得测量目标的三维信息，在距离信息的提取上具有较大误差，下文进行详细分析．

表1 单目运动精度测量结果

Tab.1 Monocular motion accuracy measurement results mm

(12)

将式(12)和表2中前2组数据代入式(8)得

(13)

其余数据的计算结果列于表2中，8个误差点产生的包络球如图8所示．从图8可以看出，方向离散程度明显大于和方向，由图8(b)可知8组数据点在、轴方向更集中，物体重复运动到相同位置测量而得到的点位置分布应该具有随机性，不应该具有沿着某一轴线的分布规律，Δ与算法有关(即式(5))，受相机焦距影响，所以导致Δ的浮动较大．通过图9在全局上看，在水平和竖直方向上Δ的浮动在-3.5～2.5mm区间，Δ、Δ变化区间分别在-1.5～1.0mm和-1.0～0.6mm波动，进一步说明在测量时单目视觉造成方向信息提取浮动较大．下面对运动精度测定的准确性进行评价．

表2 单目实验示例数据(竖直方向，0°)

Tab.2 Monocular experiment sample data (vertical di-rection，0°)

图8 单目实验的相对误差与精度

(14)

(15)

(16)

结合精度影响指标及测定的精度，每间隔10°进行测量精度影响评估并绘制单目检测实验的误差棒图(图10)，说明测量精度的波动范围．水平和竖直方向上的精度波动范围较小，说明图像处理过程具有稳定性．

图10 单目测量误差棒图

总体上看基于单目视觉的测量具有稳定性但在方向的检测值误差较大，因此改进了基于单目测量原理的算法并实施了优化后的运动精度测量方案．

3.2 优化实验的检测数据分析

相机1、2分别建立以相机光轴为轴的相机坐标系c1c1c1c1和c2c2c2c2，并建立参考坐标系c2c2c2c2，其中c2轴与相机1坐标系光轴c1垂直，c2c2c2面与c1c1c1面平行(即c2c2c2c2为c1c1c1c1绕c1轴逆时针旋转90°再平移一定距离而得的坐标系，因为本文计算的是重复定位精度，所以与坐标系之间的移动距离无关，与坐标系之间的姿态变换有关)．柔性手术器械底部建立空间直角坐标系，轴与c1平行，面与c1c1c1面平行，如图11所示．

图11 优化实验的坐标系示意

坐标系c1c1c1c1相对于c2c2c2c2的描 述为

(17)

双目标定得到坐标系c2c2c2c2相对于c1c1c1c1的描述为

(18)

所以坐标系c2c2c2c2相对于c2c2c2c2的描述为

(19)

运动精度优化检测实验采用2台相机捕捉图像，在算法上进行相应改变．相机1采集了c1、c1方向的坐标，见式(20)；相机2采集的数据转换到参考坐标系c2c2c2c2中，见式(21)和(22)．

(20)

(21)

(22)

方向的位置信息由式(23)确定，目的是将约束最大化，从误差点相对位置出发，利用返回最大值函数导出最终精度计算结果．从表3可以看出，双目检测实验相比单目的测量值更小，原因是优化实验的测量方法减少了算法误差即方向的位置误差，不论是水平方向还是竖直方向的运动精度都有提升，两方向的数据波动幅度减小，总体测量值趋于稳定．

(23)

所以仍以竖直0°这一组数据为例，双目测量方案产生的相对误差点分布情况如图12所示．从以上的实验结果可以看出，优化实验的相对误差点离散程度小于单目实验，由图12(c)和12(d)可以看出在方向的误差值明显降低且疏密均匀，减小了单目实验散点具有沿方向分布的趋势．说明双目测量方法减少了方向对相对误差点的关联性，降低理论算法产生的影响，具有较好的检测优势．为了进一步说明双目测量方案的全局影响，对所有情况下的相对误差点进行分析．

由图13可以看出，双目检测到的相对误差点相比单目实验呈现全局集中化，其中对D、D的影响明显，方向并不显著．分析其结果可知，该现象主要由优化实验的目标识别误差、算法产生，但该方法成功应用于柔性手术器械末端重复定位精度的检测，得到两方向的平均误差在0.90mm以内，可对手术器械的运动精度进行测定与评价．

表3 优化实验精度测量结果

Tab.3 Optimizing experiment accuracy measurement results mm

图12 优化实验的相对误差与精度

图13 优化实验全局误差点分布箱图

4 结 语

对微创手术而言，检测柔性手术器械的运动精度是提高手术安全性的重要研究方向．本文以自然腔道丝传动柔性手术器械为研究对象，提出一种基于图像处理的非接触式运动精度测量方法，并通过理论分析和实验研究完成了测量方法的实施及优化．该方法满足了手术器械运动精度测量要求，具有可全视场检测、通用性强、精度高、易操作的特点．改进的单目视觉测量方法减少了算法本身带来的误差，对提高微创手术操作的精准性、稳定性具有重要意义，可为手术器械的结构设计可靠性、灵活性提供评价手段．

［1］ Koeda K，Nishizuka S，Wakabayashi G. Minimally invasive surgery for gastric cancer：The future standard of care[J]. World Journal of Surgery，2011，35(7)：1469-1477.

［2］ Cheng D C，Martin J，Lal A，et al. Minimally invasive versus conventional open mitral valve surgery：A meta-analysis and systematic review[J]. Technology and Techniques in Cardiothoracic and Vascular Surgery，2011，6(2)：84-103.

［3］ Shaikh S N，Thompson C C. Natural orifice translumenal surgery：Flexible platform review[J]. World Journal of Gastrointestinal Surgery，2010，2(6)：210-216.

［4］ Abbott D J，Becke C，Rothstein R I，et al. Design of an endoluminal NOTES robotic system[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. San Diego，USA，2007：410-416.

［5］ Astudillo J A，Sporn E，Bachman S，et al. Transgastric cholecystectomy using a prototype endoscope with 2 deflecting working channels(with video)[J]. Gastrointestinal Endoscopy，2009，69(2)：297-302.

［6］ Fuchs K H，Breithaupt W. Transgastric small bowel resection with the new multitasking platform EndoSAMURAI™ for natural orifice transluminal endoscopic surgery[J]. Surgical Endoscopy，2012，26(8)：2281-2287.

［7］ Thompson C C，Ryou M，Soper N J，et al. Evaluation of a manually driven，multitasking platform for complex endoluminal and natural orifice transluminal endoscopic surgery applications(with video)[J]. Gastrointestinal Endoscopy，2009，70(1)：121-125.

［8］ Dallemagne B，Marescaux J. The ANUBISTMproject[J]. Minimally Invasive Therapy & Allied Technologies，2010，19(5)：257-261.

［9］ Yao W，Childs P R. Application of design rationale for a robotic system for single-incision laparoscopic surgery and natural orifice transluminal endoscopic surgery[J]. Proceedings of Institution of Mechanical Engineers Part H：Journal of Engineering in Medicine，2013，227(7)：821-830.

［10］ Lim J J B，Erdman A G. A review of mechanism used in laparoscopic surgical instruments[J]. Mechanism & Machine Theory，2003，38(11)：1133-1147.

［11］ 耿 涛，符桂铭，梅雪松，等. 一种基于双目视觉的工业机器人运动精度检测方法：中国，CN107088892A[P]. 2017-04-01.

Geng Tao，Fu Guiming，Mei Xuesong，et al. A Motion Accuracy Detection Method for Industrial Robots Based on Binocular Vision：CN107088892A[P]. 2017-04-01(in Chinese).

［12］ Yu F S，Sun Z G，Yin S J，et al. Study on the positioning error of turntable based on machine vision system[J]. Applied Mechanics & Materials，2014，530/531：467-471.

［13］ 张晓芳. 基于双目立体视觉非接触物体测量的研究[D]. 大连：大连理工大学计算机科学与技术学院，2009.

Zhang Xiaofang. Research on Non-Contact Object Measurement Based on Binocular Stereo Vision[D]. Dalian：School of Computer Science and Technology，Dalian University of Technology，2009(in Chinese).

［14］ 吕家国，蒋晓瑜，张鹏炜，等. 医疗机器人双目视觉硬件系统设计与实现[J]. 中国光学，2014，7(2)：307-314.

Lü Jiaguo，Jiang Xiaoyu，Zhang Pengwei，et al. Design and implementation of a binocular vision hardware system for medical robots[J]. China Optics，2014，7(2)：307-314(in Chinese).

［15］ 罗 钧，黄 俊. 基于机器视觉的二维小尺寸精密测量系统[J]. 计算机测量与控制，2007，15(1)：11-13.

Luo Jun，Huang Jun. Two-dimensional small-scale accuracy measurement system based on machine vision[J]. Computer Measurement & Control，2007，15(1)：11-13(in Chinese).

［16］ 张国军，胡剑. 机电设备装调训练与考级：机械分册[M]. 北京：北京理工大学出版社，2012.

Zhang Guojun，Hu Jian. Mechanical and Electrical Equipment Installation Training and Examination：Mechanical Parts[M]. Beijing：Beijing Institute of Technology Press，2012(in Chinese).

［17］ 中国机械工业联合会. GB/T 17421. 2—2016 机床检验通则第二部分：数控轴线的定位精度和重复定位精度的确定[S]. 北京：中国标准出版社，2000.

China Association of Machinery Industry. GB/T 17421. 2—2016 Test Code for Machine Tools-Part 2：Determination of Accuracy and Repeatability Position Numerically Controlled Axes[S]. Beijing：China Standard Press，2000(in Chinese).

A Motion Accuracy Detection Method of a Tendon-Driven Flexible Surgical Instrument

Wang Shuxin1, 2，Guo Liyao1, 2，Li Xuying1, 2，Wang Chenglong1, 2，Zhang Guokai1, 2

(1. School of Mechanical Engineering，Tianjin University，Tianjin 300350，China；2. Key Laboratory for Mechanism Theory and Equipment Design of Ministry of Education，Tianjin University，Tianjin 300350，China)

Natural orifice transluminal endoscopic surgery(NOTES)is a new surgical model that accesses the human body through natural orifices in order to perform diagnostic testing. The motion accuracy detection of flexible minimally invasive surgical instruments used during surgery is of great significance for improving the quality of surgeries. In the complex natural orifice environment，the tendon-driven flexible surgical instrument has problems of unstable end control and limited lumen operation. To resolve these problems，non-contact motion accuracy detection method was proposed in this work. The method took the natural orifice transluminal endoscopic surgical instrument as the research object. Based on the optical imaging principle and the image processing method，it detected the position information of the surgical instrument and showed versatility and the operability. On this basis，the monocular motion accuracy test of a fixed-angle swing was carried out. Results revealed that the position coordinates of the acquired target have a distribution trend.Therefore，on the basis of the monocular detection，adding the camera with the vertically arranged optical axis helped improve the calculation method of obtaining the target position coordinates. Furthermore，an optimized measurement experiment platform using the dual camera was constructed. Compared with the monocular vision detection，the average accuracy in the horizontal direction of the optimized experiment improved from±1.19mm to±0.85mm，the variance was reduced from 0.04 to 0.02，the average accuracy in the vertical direction increased from ±1.28mm to±0.90mm，and the variance was reduced from 0.07 to 0.04. These results indicate that the fluctuations in measurement results were reduced，and the instrument motion accuracy can be evaluated intuitively. Finally，the stability of the image processing process was verified by proposing the accuracy impact indicator. The diagram of the global error point distribution box illustrates the centralization of the relative error points by the optimized algorithm. The diagram further illustrates that this method optimizes the extracted data and is feasible for motion accuracy detection.

flexible surgical instrument；image processing；non-contact；accuracy detection

10.11784/tdxbz201807012

TP391

A

0493-2137(2019)05-0449-10

2018-07-05；

2018-09-20.

王树新（1966— ），男，博士，教授.

张国凯，zhang_gk@tju.edu.cn.

国家自然科学基金资助项目(51475323)；国家重点研发计划资助项目(2017YFC0110403).

the National Natural Science Foundation of China(No. 51475323)，the National Key Research and Development Program of China(No. 2017YFC0110403).

(责任编辑：金顺爱)