基于便携式计算设备的传统光学显微镜的AI赋能升级

2020-08-27尚尚林思劼郭伟新丛丰裕

中国医疗设备 2020年8期

尚尚，林思劼，郭伟新，丛丰裕

1.大连理工大学电子信息与电气工程学部生物医学工程学院，辽宁大连 116024；2.同济大学 a.环境科学与工程学院环境科学系教育部长江水环境重点实验室；b.电子与信息工程学院，上海 200092

引言

光学显微镜在生物医学研究和临床疾病诊断中应用广泛。显微镜的生产厂商一般会提供与设备相配套的数字图像处理软件，一些第三方软件公司也会提供专用的光学显微影像处理软件。这些软件虽然提供了丰富的图像处理功能，却未能集成近年来新兴的深度学习图像分析功能。最新的设备可能自带深度神经网络的软件功能，但新设备往往价格昂贵，且需要配备高性能计算机，不适合中小规模的医院或科研单位。此外，我国广大企业、医院和高校对人工智能（Artificial Intelligence，AI）图像处理有着各自的订制化需求，单一的厂商软件难以满足千差万别的用户需求，因此需要开发低成本、订制化的AI硬件设备。目前，我国光学显微镜装机量庞大，如果能够将新兴的深度学习算法与大量已安装的光学显微镜相结合，则可实现用AI赋能现有设备，使之与传统的光学显微镜设备相结合，推动光学显微镜在医疗和科研中的升级应用。

近年来，深度神经网络在图像处理、语音分析、自动驾驶等领域取得了广泛应用[1-6]。由于深度神经网络具有高计算复杂度、高功耗的特征，限制了其在便携式设备中的应用。这个问题的解决方法之一是将数据传输到云端服务器进行处理，再将处理结果发送到终端设备，但是这种方法对数据传输速度提出了较高要求，而且租用云端服务器也会带来额外费用成本，不太适合中小型医院或科研单位。另一种解决办法是将深度神经网络部署在便携式终端计算设备，但是便携式设备对算力和功耗有限制，无法运行过于复杂的神经网络。为解决这一问题，目前大致有两种思路，其一是设计小型化、高性能的神经网络，但研发难度较大且无法满足千差万别的用户需求；其二是开发可运行中小型神经网络的通用嵌入式设备，如果能够做到成本低廉且性能较好，则可以运行各种订制开发的神经网络，具有较好的可推广性。在现有的嵌入式计算设备中，FPGA（Field Programmable Gate Array）提供了部署深度神经网络的方案。FPGA在单位能耗下性能较强，适用于资源有限的嵌入式应用[7]。专用于深度学习的芯片[8]也是一种解决方案，例如谷歌的张量处理单元（Tensor Processing Unit，TPU）[9]，对于特定的任务场景下具有高效率、低能耗的特点。

考虑到我国大量显微镜用户千差万别的个性化需求，本研究通过权衡深度神经网络的精度、速度和能耗指标，选择Nvidia公司便携式AI硬件平台Jetson TX2部署深度神经网络[10]，并将该系统与传统的数字光学显微镜相结合，实现对斑马鱼卵显微图像中不同鱼卵发育类型的分类检测，从包含大量鱼卵的图像中迅速识别受精、未受精、死亡鱼卵，为临床前药物实验提供图像分析支持[11-14]。本研究所构建的系统可达到3帧/s的图像处理速度，设备购置成本控制在3000元以内，不仅适用于斑马鱼卵的显微图像处理，对于其他类型光学显微图像的AI分析也具有良好借鉴价值。

1 方法

1.1 整体流程

本研究以斑马鱼卵图像的自动化分类应用为例，使用便携式计算设备加载深度神经网络并将其与传统数字光学显微镜相结合，实现了对传统显微镜的低成本AI赋能。在神经网络的训练阶段，首先采用传统数字光学显微镜采集得到斑马鱼卵图像，经过人工图像标注在高性能计算机工作站上完成深度神经网络训练，再将训练好的网络下载到便携式计算设备中。在应用阶段，装载了深度神经网络的便携式设备从显微镜所连的计算机中导入新采集的图像并完成分析，再将分析结果传回计算机供用户查看。本方法的整体流程如图1所示。

图1 系统的配置过程和应用流程

本研究对斑马鱼卵施加了化学药物，经药物作用后的鱼卵可能处于受精、未受精或死亡状态。其中，受精的鱼卵的月芽形细胞群部分是浑浊的，未受精的鱼卵月芽形细胞群部分是澄清的，而死亡的鱼卵则会呈现不规则的暗色斑块。通过检测处于不同状态的鱼卵数目比例，可以对药物的毒性给予评估。由于图像中鱼卵众多，人工辨识的工作量很大，因此需要自动化的计算机算法来完成这一任务。图2展示了所处理的斑马鱼卵图像。

图2 斑马鱼卵显微图像以及各种类别鱼卵示例

1.2 神经网络的训练

本研究采用Faster R-CNN（Region Convolutional Network）[15]网络实现不同状态鱼卵的检测。Faster R-CNN是用于目标检测与定位领域的专用深度神经网络，其整体网络结构如图3所示，本研究基本延用了经典的Faster R-CNN网络结构。图像被输入网络后，通过5个卷积层和3个全连接层提取全图范围的分类特征图。得到的特征图被输入区域提议网络获取各类鱼卵区域的初始坐标范围和初始分类结果，然后根据初始坐标范围提取每个区域的局部特征图并输入给全连接网络和进一步的分类层和回归层，最终得到对每个鱼卵的分类结果和区域坐标范围。受篇幅所限，关于Faster R-CNN网络原理的介绍请读者参见文献[15]。

图3 本研究所采用的Faster R-CNN网络的结构图

本研究随机选取了59幅斑马鱼卵显微图像作为Faster R-CNN网络的训练数据集，其中50用于训练神经网络，9幅用于对网络的性能做独立验证。采用人工标记的方式从训练数据中标注了938个鱼卵的正方形包围盒，并标注了每个鱼卵的状态（受精、未受精或死亡）。在此基础上，进一步对所标注的938个鱼卵进行数据扩增处理，通过图像旋转（以5°角为步长旋转70次）得到938×70=65660个鱼卵，从而增加了训练数据的数目。扩增后鱼卵均用来训练Faster-RCNN神经网络，其中训练（Training）数据49245例，验证（Validation）数据16415例，即训练与验证集的比例为3:1。9幅测试（Testing）图像中共包含鱼卵461个，经过专家标识出受精卵349个，相当于未经数据扩增之前的训练用鱼卵数目（938个）的一半，其中未受精卵85个、死亡鱼卵27个作为金标准。本研究邀请一位具有三年斑马鱼显微影像研究经验的专业人员依据领域内著作做出金标准的标定[16]，其标定结果再由一位十年以上专业经验的资深专家复审确定。

由于神经网络的训练并不需要在便携式设备上进行，因此Faster R-CNN网络的训练是在计算能力较强的计算机工作站上进行的，该工作站配备2.4 GHz四核心CPU和87 GB的内存以及拥有8 GB显存的NVIDIA Qudro k4000型号图形处理单元（Graphics Processing Unit，GPU）。该服务器运行Ubuntu版本的Linux操作系统，并为了运行Faster R-CNN配置了Caffee2深度学习环境。

1.3 便携式计算设备的配置

训练好的神经网络被下载到Jetson TX2便携式计算设备中。Jetson TX2是英伟达（NVIDIA）公司开发的便携式AI平台，外形小巧（50 mm×87 mm），整体功耗低于7.5 W，具有6个CPU核心、8 GB内存、256个GPU核心，适用于机器人、无人机、智能摄像机和便携医疗式设备等智能终端设备。本研究为Jetson TX2设备安装了Ubuntu版本的Linux操作系统，并在该操作系统基础上进一步配置了与训练工作站相同的Caffe2深度学习环境，因此下载到Jetson TX2的神经网络无需额外调整即可正常运行，从而为深度神经网络的移植提供了便利。

完成了Faster R-CNN网络向便携式计算设备的移植后，进一步通过无线局域网将Jetson TX2与操控数字显微镜的计算机相连接。由于Jetson TX2本质上是一台Linux计算机，因此可通过常规的安全外壳协议软件（Secure Shell，即SSH）或者其他各种远程登录方法实现PC机对Jetson TX2的远程控制和文件传输，并远程调用Jetson TX2中的Faster R-CNN网络完成对传入图像的处理，得到不同类别鱼卵的检测结果（包括对不同类别鱼卵的标记图以及各类鱼卵数目）再传回PC机供用户查看。图4为整个系统的硬件配置图，可以看到Jetson TX2设备的尺寸较小，可以方便地放置在显微镜的操作电脑旁。设备仅需连接电源并连入室内无线局域网，额外占用空间很小。

图4 系统的硬件配置图

2 结果

为评估系统的性能，本研究使用光学显微镜采集了9幅斑马鱼卵图像作为测试图像，所采用的显微镜型号是Olympus SZ61，光源为LED冷光透射照明。图像采集视野为200 mm×150 mm、8倍放大倍数，采集图片保存为jpeg格式，每张图片同时包含受精、未受精和死亡的鱼卵。采用所搭建的系统对9幅测试用斑马鱼卵图像进行了深度神经网络检测，进一步测量了鱼卵的检测精度、速度，并将该系统的运行精度与速度与高性能工作站进行对比。

2.1 显微图像检测结果

经过测试，所有鱼卵均被成功检测到，没有漏掉的鱼卵。由于本研究所处理的斑马鱼卵图像背景相对单纯，视野中除了鱼卵不包含其它干扰物体，因此检出的精确度和召回率都是100%，这主要归功于实验条件的控制。对于将来可能遇到的包含了干扰物的斑马鱼卵显微图像，应该根据具体情况设计和训练专用的神经网络，暂不作为本文现阶段研究内容。图5展示了本研究所搭建系统对斑马鱼卵显微图像的检测结果，系统成功标记各类鱼卵的区域，并给出了每个鱼卵的分类概率。

图5 斑马鱼卵显微图像的检测结果

进一步地，本研究采用灵敏度（Sensitivity）和特异性（Specificity）来定量衡量每一类鱼卵的检测效果。图6展示了三类鱼卵检测的混淆矩阵，其中每一列代表了被算法检测到的类别，每一行代表了金标准的真实类别，第i行第j列中的数字代表了真实类别i被检测为类别j的样本数目。基于该混淆矩阵，灵敏度被定义为Sensitivity=NTP/(NTP+NFN)，特异性被定义为Specificity=NTN/(NTN+NFP)，其中NTP、NTN、NFP和NFN分别代表真阳性、真阴性、假阳性和假阴性识别的鱼卵个数。表1列出了不同类别鱼卵的灵敏度和特异性。

图6 三类斑马鱼卵检测结果的混淆矩阵

表1 不同类别斑马鱼卵检测准确率（%）

由表1可见，Faster R-CNN网络对于各种类别鱼卵的检测特异性都较好（均在0.90以上），而敏感度略低于特异性，但也在0.88以上。通过分析混淆矩阵可知，敏感度略低的原因在于网络对于受精与未受精这两类鱼卵有一定的混淆错误，因为这两类鱼卵的区别仅在于月牙形细胞群部分是否澄清，而这一部分的面积占整个鱼卵的三分之一以下，给准确区分带来一定挑战。相比之下，死亡与未死亡（包括受精和未受精）鱼卵之间的错误分类则较少，这是因为死亡鱼卵呈现整体性的暗色斑块，相对容易区分。

在检测效率方面，系统对于3072×1728像素尺寸的图片的检测速度为0.31～0.34 s/幅，相当于3 FPS（每秒帧率，Frame Per Second）的检测速度。考虑到斑马鱼卵显微图像的采集效率一般为若干分钟一幅，本系统的检测效率可以满足真实应用环境的速度需求。

2.2 与高性能工作站的对比

在上述检测实验基础上，研究进一步对比了便携式计算设备与高性能工作站的检测性能。这里所采用的高性能工作站与训练神经网络的工作站为同一台设备，硬件配置为CPU主频2.4 GHz、内存87 GB、GPU显存8 GB。使用该工作站运行相同的神经网络处理相同的测试图像，得到的各类鱼卵识别准确率与表1相同，测试速度可达到15 FPS的检测速度。然而，由于高性能工作站不能装配在显微镜所处的实验室房间内，需要将图像拷贝至工作站再运行神经网络程序，反而增加了额外的数据拷贝时间。

3 讨论

本研究提出了一种新式的、低成本的、可操作性强的传统光学显微镜AI赋能方法，借助便携式计算设备运行深度神经网络实现了显微镜图像的AI分析，避免了因软硬件设备升级带来的高额成本支出，为不同用户订制化的分析需求提供了技术方案。本方案仅需不足3000元的便携式计算设备购置成本，明显低于购置计算机工作站的成本，并且可以将设备安放在显微镜旁侧供用户随时使用。这种传统显微镜设备的AI赋能方案适用于我国已经安装的大量光学显微镜，可推广性较好。

本文以斑马鱼卵的检测和分类为应用案例验证了所提出方案的可行性。系统对于受精、未受精和死亡鱼卵的检测敏感度和特异性较好，并且达到了3 FPS的实时检测效率。相比高性能的计算机工作站，便携式计算设备的检测精度一致，只有检测速度略低，但仍达到了每秒多幅的检测效率。这种检测速度对于普通的医疗单位和科研机构是完全够用的。

相比于高性能的工作站，便携式计算设备的一个局限性在于不能运行大规模的神经网络或处理较大尺寸的图像数据（如三维医学影像）。本研究所采用的Jetson TX2设备的内存为8 GB，该内存被CPU和GPU共享，用于处理传统的数字光学显微镜所采集的图像尺寸（3072×1728像素）是足够的。实验证明，对于像Faster R-CNN这样规模的神经网络，Jetson TX2设备完全可以承载，而这种网络已经可以满足很多应用场景的物体检测需求。近年来，更小规模的物体检测网络不断被提出[17-20]，便携式计算设备的内存和运算能力也在不断提高，因此本研究所提出的方案还有较大的性能提升空间。

本研究虽然以斑马鱼卵显微图像为测试数据，但是所提出的方案也适用于其他类别的生物医学显微图像，比如人体或动物的细胞或组织，因此本文方法对于其他光学显微镜的应用场景也有借鉴价值。需要说明的是，对于不同的用户应用场景，应该训练不同的专用网络。对于一般的医疗和生物医学研究机构，神经网络的设计和训练需要聘请专业的技术人员或与科研单位合作。目前各大技术企业提供的云端AI系统正变得越来越廉价易用[21]，技术门槛正在逐步降低，以至于没有理工科背景的用户也能方便使用。由于Jetson TX2采用通用的计算机构架，可以在不改变硬件配置的前提下运行不同的神经网络，这也是本文方法可推广性较好的原因之一。

目前，国内外也有其它嵌入式AI硬件系统可以用来解决类似问题。一些技术企业和科研机构开发了专用的AI芯片[8-9]。但是，由于专用芯片设计成本高，不适用于现有传统显微镜设备的升级改造。另外，基于FPGA的神经网络应用近年来也取得快速进步[7]，但其技术门槛高于本研究提出的方案，需要掌握FPGA编程技能。相比之下，本方案仅需要掌握在Linux或windows操作系统下训练和运行神经网络算法的技能即可。当然，Jetson TX2设备相比专门的AI芯片或FPGA设备的运行效率会更低，因此我们将其应用于光学显微镜图像处理这种对计算效率要求不高的需求场景。

在将来的研究中，我们会进一步尝试设计和使用更小规模的神经网络，以便提高系统的检测效率。我们还将进一步推广该系统至更多的医疗和科研单位，推进AI技术与传统光学显微镜设备的结合。