刘 畅，甘 奇，马 驰，孟倩芳，汪洁丽，刘 威

(武汉大学 物理科学与技术学院，湖北 武汉430072)

0 引 言

传统显微镜的操作方式主要基于操作者的手动操作，载物台移动、镜头聚焦、照明光源调控和色温调整等一系列操作均由人工操作完成。这种自动化程度低的操作模式对操作者的经验要求较高，使得获取图像的过程极为缓慢。传统显微镜的观测方式基本是直接通过目镜进行观察，而现代计算机技术和图像处理技术［1］的发展使得通过计算机进行观察和处理显微图像成为可能，现代仪器的发展方向即是自动化和智能化［2］。

本文设计开发了一种可自动获取图像、自动对焦的自动化显微成像系统，使用过程的所有操作都通过触控手势完成。本系统使得应用广泛的显微镜使用起来更简便、更智能化，使得专家能够对微观世界进行更深入、更全面、更细微的探索。

1 系统结构

1.1 系统结构划分

系统硬件结构划分如图1 所示，由五部分组成，包括支持触控功能的PC(上位机控制系统)，单片机和相应的电机驱动装置(下位机控制系统)，带可控制载玻片移动的电机的载物台，可换镜头的光学显微镜和摄像头。

图1 系统硬件结构图Fig 1 Hardware structure diagram of system

软件主要包括PC 上的系统触控软件和写入单片机的电机控制软件两部分，两者通过串口进行通信实现系统的自动化控制。系统触控软件的功能主要包括触控改变观察区域、自动对焦、拍照、目标寻回定位等。电机控制软件的主要功能即为控制载物台电机和镜头电机的移动。

1.2 系统精度

仪器的自动控制主要是由下位机控制系统完成的，该系统主要完成对系统三个电机的控制。经测试，在水平方向，电机2 的精度可以达到0.04 mm，垂直方向，电机1 的精度可达0.02 mm，上下方向，电机3 的精度可以达到0.01 mm。

2 系统工作流程

开启系统的上位机控制系统和下位机控制系统，打开照明光源，调节使之达到适宜的亮度，将待观察的样片放在载玻片放置处，在上位机运行系统触控软件。

通过系统触控软件的预览窗口可观察由图像采集系统采集到的图像，同时可在触屏上用平移手势发出指令与下位机控制系统进行通信，从而控制电机实现载玻片移动来实现视野的变换，以便对样品不同部分进行观察。

若预览图像对焦不够清晰，可选用自动方式和手动方式进行对焦;若选用自动方式，在屏幕使用长按手势发出指令与下位机控制系统进行通信，可控制电机实现镜头的上下移动以实现自动对焦，自动对焦指令完成后，还可通过软件进行微调。若选用手动方式，可直接转动转轮改变镜头的位置实现手动对焦。

在观测过程中，若发现感兴趣的目标，可控制图像采集系统进行拍照保存，再通过系统触控软件进行图像处理与分析，还可截取感兴趣目标图像，显示在截图显示区中。之后可再通过点击截图来控制电机移动自动定位以便再次观察该目标。系统操作流程可用图2 表示。

3 触控操作设计与实现

多点触控技术和仪器操作的结合成为现代仪器发展的一个新趋势［3］。要实现通过软件触控操作仪器，首先就需要设计触控手势，并和相对应的功能连接起来。

本系统的触控输入手势如图3 所示，主要有平移手势、长按手势、短按手势和截图手势，分别对应于控制电机移动载物台(预览功能)、移动镜头(自动对焦)、移动载物台(定位功能)和 保存截图(截图功能)。

系统各项功能所基于的触控操作分为对硬件和软件两方面的控制，即控制电机移动和调用图像处理函数。

3.1 触控移动电机

触控移动电机的过程是:先由使用者输入触控手势，上位机识别手势并向下位机发送指令，下位机接收指令并控制电机移动。

上位机控制系统通过触控软件识别触控手势，转换为相应命令，采用全双工的串行通信方式与单片机通信。上位机工作流程如图4 所示。

图2 系统操作流程图Fig 2 Operation flowchart of system

图3 触控输入手势分类图Fig 3 Classification map of touch control input gesture

图4 上位机流程图Fig 4 Flowchart of upper computer

下位机控制系统通过单片机接收命令后，结合载物台位置传感器状态和镜头位置编码器信息对电机发出移动指令。下位机工作流程如图5 所示。

图5 下位机流程图Fig 5 Flowchart of lower computer

3.2 触控处理图像

触控处理图像仅由上位机触控软件来实现。首先，上位机触控软件识别输入手势，然后，调用相应函数来实现对图像的处理，整个过程如图6 所示。

图6 图像处理流程图Fig 6 Flowchart of image processing

4 系统功能测试

4.1 自动对焦测试

在软件预览区域使用长按手势，上位机控制系统发出指令与下位机控制系统进行通信，通过算法控制电机使镜头自动到达可以观测到最清晰图像的位置。

本系统是采用一种改进的对焦深度法来实现自动对焦的。对焦深度法是一种建立在搜寻过程上的对焦方式，它通过选取一种适当的评价函数来评价不同对焦位置所获得图像的清晰度［4］。清晰度评价函数主要有图片的灰度熵、灰度方差、灰度梯度、能量谱、拉普拉斯算子等［4～6］。经过实验，最终本系统采用的清晰度评价函数是图像的灰度方差函数。

图7 为两种不同样片进行自动对焦测试时的部分图像，表现了由离焦到聚焦再离焦的过程。图7(a)为洋葱鳞片叶表皮细胞图像，图7(b)为蚕豆叶下表皮细胞图像。两列图像中的第三幅是在对焦最清晰位置拍摄的图像。

4.2 手势截图与目标寻回定位测试

观测者在软件预览窗口观察到感兴趣区域时，可以通过手指移动将感兴趣区域圈出，系统会自动将其显示在截图显示窗口。图8(a)为预览窗口所显示的图像，图像中白色曲线为观测者手指移动的轨迹，该轨迹包含的区域即为观测者欲截取的区域，截图将显示在截图显示窗口中。图8(b)所示即为截图显示窗口显示的效果，此次截图对应其中的第四幅图像。

目标寻回定位功能主要是为了让观测者可以方便地再次回到感兴趣的区域进行观察。如当前观测区域远离图8(a)显示的区域后，通过点击显示在图8(b)中的截图可以再次观察此区域。

具体实现过程如下:观测者第一次在软件预览窗口观察到感兴趣区域R(如图9(a)所示，图9(a)与图8(a)相同但没有显示手势轨迹)时，将感兴趣区域截取出来显示在截图显示窗口，此时软件会记录电机当前的位置坐标。在之后观察过程中，当观察区域移动到远离图9(a)的地方(如9(b)所示区域)时，若观测者想要再次观察区域R，只需点击截图显示窗口中对应的截图，软件就会自动计算出当前位置与目标位置间的距离和偏移方向，并发送指令给单片机，再由单片机控制电机将载玻片移动到指定位置以实现目标寻回定位，定位后的区域拍摄的图像如图9(c)所示。

图9(a)为第一次观测区域R 时拍摄的图像，与第二次拍摄的图像图9(c)比较，可看到两次所拍摄的图像显示的区域有少许位移，即是电机在运动过程中所产生的误差。

5 结束语

本系统在需要使用显微镜的各个领域，包括生物、医学等方面将有广阔的应用前景。传统显微镜都是基于操作者繁复的手动操作控制，并直接通过目镜观察，而本系统则可以通过简单触控手势进行精确操作和图像处理。本系统可添加更专业功能，如通过图像处理实现识别肿瘤细胞［7］，同时进行细胞计数，计算出肿瘤细胞的比例等功能，另一方面，通过建立网络交流平台实现不同地区系统资源的共享［8，9］。

［1］ 姜志国，韩冬兵，谢凤英，等.基于全自动显微镜的图像新技术研究［J］.中国体视学与图像分析，2004，9(1):31-36.

图7 自动对焦测试图Fig 7 Test pictures of automatic focusing

图8 手势截图示意图Fig 8 Diagram of gesture screenshot

图9 目标定位示意图Fig 9 Diagram of target localization

［2］ 余启刚.仪器仪表的虚拟化、网络化和智能化［J］.自动化博览，2003，20(1):32-34.

［3］ 王丽霞，王志刚，王照平.基于多点触控技术的智能仪器面板设计［J］.测控技术，2012，31(8):120-122.

［4］ 尤玉虎，刘 通，刘佳文.基于图像处理的自动对焦技术综述［J］.激光与红外，2013，43(2):132-136.

［5］ 姜志国，韩冬兵，袁天云，等.基于全自动控制显微镜的自动聚焦算法研究［J］.中国图象图形学报，2004，9(4):396-401.

［6］ 方 以，郑崇勋，闫相国.显微镜自动聚焦算法的研究［J］.仪器仪表学报，2005，26(12):1275-1277.

［7］ 万 剑，程宪平.肿瘤细胞计算机辅助诊断系统的研究［J］.电脑开发与应用，2004，17(5):37-38.

［8］ 李学静，刘 飞，杨 育，等.仪器资源网络化产学研共享系统研究［J］.现代科学仪器，2005(4):37-40.

［9］ 傅雅静，郭丽洁，高 建，等.虚拟显微镜技术及其在医学领域的应用［J］.解剖科学进展，2007，13(3):283-285.