闫明月， 陈安琪,2， 毕 磊,2， 胡舜迪,2， 闻路红,2

(1.宁波大学高等技术研究院，浙江 宁波 315211; 2.宁波华仪宁创智能科技有限公司，浙江 宁波 315100)

0 引 言

目前，国内外显微操作领域，无论是显微注射、微血管组装[1]还是单细胞分析[2,3]都需要对毛细针的空间位置进行精确的定位。在显微操作开始之前，首先就是在显微视野下找到毛细针尖的位置，而在当前的显微操作机器人系统中，定位毛细针尖的位置主要是由熟练的操作人员手动执行。文献[4,5]利用基于操纵杆的显微注射系统进行贴壁细胞研究，由于难以控制操纵杆对末端执行器进行精确的定位，因此该系统无法进行高通量分析并且成功率低、可重复性差；文献[6]将基于操纵杆的操作转换为计算机鼠标点击，要求操作员使用操纵杆并观察显微镜的目镜来手动执行一些关键步骤，缺乏自动定位移液器尖端的关键功能，降低了该系统在生物学实验室常规使用的潜力。由于毛细针的尺寸小且易碎，因此对手动定位尖端具有极高的技术要求，非常耗时，并且可能导致毛细针尖端损坏、系统成功率低、可重复性差等。因此，自动化毛细针尖定位技术对于减少人为干预并实现全自动的显微操作机器人是必不可少的。

现有的自动化毛细针X,Y平面定位方法如文献[7]利用模板匹配法来矫正针尖位置，但方法需要及时更换模板；张安[8]利用针尖最小外接矩形边缘的两角中点作为针尖点，可较为快速的定位针尖位置但是当针尖口不规则时必然存在误差；卢桂章等人[9]检测扫描线上的灰度值变化的方法定位针尖，方法计算简单但同样当针尖口不平滑时会存在几微米的误差。

针对上述问题，本文提出点扫描算法，精确的定位针尖X，Y方向的位置。针尖的Z方向定位通常利用自动聚焦算法来获得，它是自动化显微系统的关键步骤，决定毛细针的下降距离，直接影响操作系统的成功率。Sun Y等人[10]和文献[11]通过模板匹配技术自动聚焦，方法需要将模板遍历整张图像因此计算量较大。Zhang Y等人[12]基于熵计算聚焦评价函数进行自动聚焦，但毛细针呈倾斜放置时易聚焦在针臂，聚焦错误。Liu J等人[13]通过递归四叉树法可准确的聚焦在针尖区域，但算法复杂、计算量大。基于以上考虑本文提出一种适用于倾斜放置的毛细针尖z方向定位方法即毛细针的自动聚焦。

1 算法介绍

1.1 针尖平面定位：点扫描

1.1.1 阈值分割

(1)

得到使类间方差最大的阈值k*,将I(x,y)>k*的像素点(x,y)划分为毛细针区域，反之为背景区域，阈值分割的图像H(x,y)为

(2)

1.1.2 针尖点扫描

对二值化的毛细针图像H(x,y)进行最大连通域检测，去除背景噪声得到只含毛细针部分的图像G(x,y)，然后在图像G(x,y)中，自左向右地(左针：自右向左)由背景部分到毛细针部分的移动的竖直线与毛细针的第一个切点为上端点，自下向上由背景部分到毛细针部分的移动的水平线与毛细针的第一个切点为下端点，取上端点和下端点的中点作为毛细针尖点。

1.2 微针尖Z方向定位：感兴趣区域自动聚焦

对于水平放置的毛细针对整张图像使用传统的聚焦评价方法[14]可以准确的聚焦，然而毛细针呈倾斜放置时，针对整张图像聚焦在针尖位置时的聚焦评价函数值如图1(a)低于聚焦在针臂时的聚焦评价函数值如图1(b)，导致聚焦错误。因此，本文提出一种基于自动确定感兴趣区域(region of interest,ROI)结合拉普拉斯方差聚焦评价函数进行针尖自动聚焦。

1.2.1 自动确定ROI

遵循1.1节针尖自动定位方法定位针尖。在本研究中的ROI即为针尖区域，利用上述针尖点扫描法定位后自动确定ROI。如图1(c)～(e)分别为针尖在焦平面之上时的ROI，针尖处在焦平面时的ROI以及针尖在焦平面之下时的ROI，从图中可看出:ROI区域比整张图像清晰度变化更为明显，因此通过判断此区域的清晰度来确定针尖是否聚焦。

图1 毛细针尖聚焦

1.2.2 清晰度计算

计算获得ROI内的聚焦评价函数值，值越高代表图像越清晰即离焦平面越近。聚焦评价函数：本文采用拉普拉斯方差函数[15]，这个函数可以被定义为

(3)

2 实验结果与分析

2.1 针尖X,Y平面定位

为验证点扫描算法的定位效果，实验采用针尖口径约5 μm毛细针进行定位，图像分辨率为1 920像素×1 200像素，通过Python 3.7编程实现。

根据点扫描算法实现流程，结果如图2所示。将如图2(a)所示的针尖原始图像与背景图像进行帧差法背景扣除后自适应阈值分割结果如图2(b)所示，图2(c)为最大连通域检测结果图，检测出毛细针区域的同时去除噪声。图2(d),(e)分别扫描毛细针尖的上端点与下端点，其最终定位结果如图2(f)，通过结果可以看出点扫描算法可以准确的定位到毛细针尖的位置。

图2 点扫描算法

为了进一步分析点扫描算法的准确性，将点扫描定位法与现有的主动轮廓法[13]、改进的粒子滤波(refined particle filtering,RPF)[16]进行比较，其结果如表1所示。结果表明点扫描法优于主动轮廓和RPF的定位结果，该方法定位最为准确。

表1 算法结果对比

改进的粒子滤波方法在针尖遮挡时也可以估算出针尖的位置，但其定位精度偏低、算法复杂；主动轮廓较适用于尖端的毛细针如显微注射中的注射针，对于相对平滑的吸持针会得到一个不精确的针尖位置。而本文提出的点扫描法不仅简单易实现，且在各种复杂的背景以及不同形态的毛细针如图3(a),(b)所示情况下均可以准确地定位在毛细针尖位置。综上，本文的点扫描定位法是最适用的定位方法。

图3 针尖定位

2.2 针尖Z方向定位

不同大小的ROI会得到不同的聚焦评价函数曲线，为确定合适大小的ROI窗口，因此对自动ROI聚焦算法的ROI大小进行研究。

自动确定ROI窗口大小分别为6×6,10×10,20×20,40×40，研究自动ROI聚焦法获得清晰度曲线的陡峭度[17]、标准范围[18]、计算时间，结果如表2及图4(a)所示。陡峭度越高，聚焦评价函数的灵敏度越好；标准范围值越大越不易陷入局部极大值。

表2 不同ROI大小聚焦曲线结果对比

由表2可知，针尖周围6×6的区域陡峭度最高、计算时间短，但该区域标准范围相对较小因此易陷入局部极值，同时会聚焦错误如图4(a)中浅灰色曲线。ROI越大越易聚焦在针臂、计算量越大，综合评估10×10区域陡峭度较高、计算时间少且如图4(a)深灰色曲线能够准确聚焦，故选取针尖周围10×10的区域作为ROI。

图4 自动ROI聚焦评价函数值曲线

图4(b)，(c)为不同放置方式的聚焦函数结果表明本文算法不仅适用于毛细针呈倾斜放置时的自动聚焦，还适用于毛细针呈水平放置时自动聚焦，且当毛细针形状发生变化时仍能准确聚焦。

综上所述，本文的自动ROI法所得聚焦评价函数曲线灵敏度高、单峰性好，且该方法具有鲁棒性。因此本文的自动ROI方法不仅可以准确聚焦在针尖，得到精确的毛细针Z方向位置，同时针对不同形状、不同放置方式的毛细针均可以准确的聚焦在毛细针尖。

3 结 论

本文对倾斜放置的毛细针空间位置进行研究，针对针尖平面定位提出点扫描算法，通过扫描针尖的上下端点提高毛细针平面定位精度；针对针尖Z方向位置识别提出自动ROI聚焦算法，将点扫描算法与拉普拉斯方差函数结合计算ROI内的聚焦评价函数值，获得更精确的定位结果。实验结果表明：应用本方法既可以解决计算量较大、聚焦在毛细针针臂的问题，又能实现毛细针的高精度定位，为后续单细胞操作、显微注射、微血管组装等系统研究奠定良好的基础。