APP下载

深度学习技术在皮肤影像自动分类中的应用

2021-12-08高西

粘接 2021年11期
关键词:图像识别卷积神经网络深度学习

高西

摘 要:以“胎儿超声图像”为例,将深度学习技术与皮肤影像自动分类进行充分结合。针对皮肤影像自动分类原理,从CNN原理介绍、网络模型设计、数据预处理及增强、迁移学习策略、模型训练与分类等方面入手,探讨了皮肤影像自动分类方法框架。从数据集及评价方法、模型定量化評价、模型可视化分析、与传统特征分类器对比试验等方面入手,探讨实验设置与结果。结果表明:深度学习技术具有非常高的应用价值和应用前景,不仅可以降低图像复杂预处理流程,还能避免对专业特征工程的过渡依赖,保证了皮肤影像视觉上的出色性能,为进一步提高皮肤疾病医疗诊断水平提供平台支持。

关键词:深度学习;皮肤镜图像;图像识别;卷积神经网络;特征编码

中图分类号:TP18 文献标识码:A     文章编号:1001-5922(2021)11-0098-04

Application of Deep Learning Technology in Automatic Classification of Skin Images

Gao Xi1,2

( 1.Department of Dermatology, University-Town Hospital of Chongqing Medical University, Chongqing 401331, China; 2.Medical Data Science Academy of Chongqing Medical University, Chongqing 401331, China)

Abstract:Taking the “fetal ultrasound image” as an example, the deep learning technology is fully combined with the automatic classification of skin images. Aiming to the principle of automatic classification of skin images, the framework of automatic classification of skin images is discussed, starting from the introduction of CNN principle, network model design, data pre-processing and enhancement, migration learning strategy, model training and classification. According to the principle of automatic classification of skin images, the framework of automatic classification of skin images is discussed, starting from the introduction of CNN principle, network model design, data pre-processing and enhancement, migration learning strategy, model training and classification. From the data set and evaluation method, model set quantitative evaluation, model visual analysis, and the traditional feature classifier comparison test and other aspects to explore the experimental setting and the results. The results show that deep learning technology has very high application value and application prospects, which can not only reduce the image complex preprocessing process, but also avoid the transition dependence on professional feature engineering, ensure the excellent visual performance of skin image, and provide platform support for further improve the medical diagnosis level of skin diseases.

Key words:deep learning; dermatological image; image recognition; convolutional neural network; feature coding

深度学习技术作为一种常用的数据驱动手段,可以根据网络的不同类型,提供相应的训练样本,确保不同分类任务有效开展。通过将该技术应用于皮肤影像自动分类中,不仅可以保证医学皮肤图像的成像质量,还能提高皮肤影像诊断水平,从根本上解决皮肤图像成像效率低下、成像质量差等问题,为实现对皮肤影像的科学化、规范化和标准化分类打下坚实的基础。为了最大限度地提高医学图像自动分类操作水平,如何将深度学习技术科学,应用于皮肤影像自动分类中是技术人员必须思考和解决的问题。现就这一问题,通过此次试验研究,为相关从业人员提供有效的借鉴和参考。

1 皮肤影像自动分类原理

皮肤影像自动分类主要运用了卷积神经网络(CNN)模型。CNN模型作为目前自动分类性能较佳的模型,主要是由成千上万张图像数据集经过一系列的严格训练后所形成的,因此,该模型具有较高的数据抽象处理能力、图像自动分类能力和图像数据挖掘能力。而深度學习技术在具体的运用中,主要利用了所训练好的网络参数[1],通过迁移利用所学到的知识,完成新应用场景所对应的学习任务。在对皮肤影像进行自动分类时,需要将根据数据集所划分的类型,完成对最终分类结果的验证和分析,以保证最终分类结果的精确性和真实性[2]。此外,技术人员还要将2 350种皮肤病按照如图1所示的皮肤疾病分类树形结构示意图,将其划分为782种训练类;同时,每个训练类所包含的数据量必须低于999幅,在确保皮肤影像自动分类操作的规范性和合理性的基础上,确保训练数据的充足性和完整性。然后,将单个输入图像添加到指定的图集训练器中[3],从而获得最终的自动分类结果,由此可见,这种处理方式具有非常高的可行性和有效性。

2 深度学习技术在皮肤影像自动分类中的应用案例

2.1 方法框架

为了从根本上解决数据缺失,深度模型难以收敛问题,现从模型结构设计、海量数据处理、训练模式选用等方面入手,开展相关研究工作,以实现对19层卷积网络(CNN-19-GAP)的改进和完善,确保深度学习技术与皮肤影像自动分类能够充分结合。

2.1.1 CNN原理介绍

与传统神经网络相比,卷积神经网络CNN离不开对卷积层的应用,而一定数量的神经元经过组合可以形成单个卷积层,单个神经元均携带相应的学习权重参数,通过实时更新和调整这些权重参数,可以保证模型最终优化效果[4]。另外,单个神经元在具体的运用中,可以对学习层所对应的重点区域进行感知处理,从而获得良好的预测结果。

2.1.2 网络模型设计

网络模型设计在保证最终自动分类结果的精确性和真实性方面具有重要作用,本文所构建的网络模型主要是由以下两个部分组成,一个是Conv层,另一个是FC层,同时,要将所有的Conv层内部的卷积核设置为边长为3 cm的矩形[5],并将步长设置为1 cm。此外,还要充分利用小尺寸卷积核,不仅缩小模型的参数量,使得模型层数的内存消耗量降到最低。另外,还要根据Conv层所对应的通道数量,尽可能提高网络模型的信息提取能力和表示能力。在此基础上,还要将FC层的通道数设置为1 024,并将相关图像划分为4类切面,使得FC层内部卷积核数量不断下降,从而缩短网络模型的训练时间。

2.1.3 数据预处理及增强

对于CNN模型而言,由于其内部含有大量的参数,因此,在优化训练海量训练样本数据时,技术人员要根据医学图像的处理需求,对不同类型的自然图像进行了数据预处理及增强。在这一过程中,技术人员先要将所有US图像上的非数据局域进行裁剪,并对新的图像数据区域进行采样和提取。此外,为了避免数据集出现数量类别交叉问题,还要根据网络模型学习处理流程,尽可能提高自动分类性能。其次,还要根据不同类型子图像的提取需求,在保证类别数量合理性的基础上,对单张初始图像进行数据增加处理,形成19张以上的子图像,并根据原始图像的自动分类结果,对图像类别数量进行科学调节和控制。

2.1.4 迁移学习策略

尽管CNN模型具有较高的特征学习能力,可以实现对多种医学类图像的精确化分析,但是,由于医学数据量存在严重不足现象,导致图像优化训练难度不断加大。为了从根本上解决以上问题,技术人员要加大对预训练CNN模型的应用力度,采用参数迁移处理的方式,将迁移学习任务落实到位。这样一来,不仅可以避免因训练数据量不足而导致图像优化训练难度大问题,还能最大限度地提高网络优化收敛效率和效果。这种方法在具体的运用中,表现出较高的可靠性和有效性,这是由于该方法重点运用了CNN模型层级结构,该结构内部集合了多种学习层,有效地降低两神经元的受域范围。数据集类型不同,所对应的网络优化情况也存在一定的差异,为了从根本上解决网络优化问题,技术人员要在科学调节和控制网络学习层参数的基础上,对网络进行规范化和标准化优化。

2.1.5 模型训练与分类

为了降低网络模型训练难度,技术人员要根据网络模型的加深变化规律,对网络模型的收敛过程进行优化和完善。为了实现这一目标,技术人员要采用批归一化算法,从根本上解决该模型的收敛难问题,同时,还能实现模型收敛效率的全面提升。另外,还要借助BN(Batch Normalization)算法,对网络模型内部的学习层进行规范化和标准化处理。在此基础上,还要将Conv层和FC层所对应的学习率分别设置为0.01和0.001,当训练过程呈现出不断衰减趋势时,其学习率呈现出不断下降的趋势。最后,在对网络模型进行自动分类时,要根据测试集图像收集情况,采用训练样本预处理方式,将所有子图像输入到指定的网络模型中,然后,对根据网络模型的综合类别,实现对最终自动分类结果的精确计算和统计。

2.2 实验设置与结果

2.2.1 数据集及评价方法

本次实验中,主要涉及到了以下两种数据集:(1)训练集。通过采集和整理胎儿面部超声波图像相关数据,这些数据主要包含380张水平切面图像、410张矢状切面图像以及4 012张非标准切面图像,从而形成训练集[6]。在此基础上,对整理好的训练集进行平均值处理,然后,将其中五分之四的训练集用于训练实验,将五分之一的训练集用于验证实验。(2)测试集。测试集主要是由501张的轴状切面图像、180张矢状切面图像以及1 703张非标准切面图像组成。在进行测试期间,需要针对图像预测处理实际需求,对最终的图像预测结果进行汇总和整理。此外,还要严格按照数据集训练、数据集验证、数据集测试等顺序,将模型评价工作落实到位,其中,数据集验证主要用于对模型调试参数设置情况的验证;数据集测试主要用于对最终模型性能的科学评价。为了保证最终评价结果的精确性和真实性,技术人员要采用定性评价与定量评价相结合的方式[7]。开展评价工作。在定性评价环节中,需要根据深度网络数据输出特点,详细阐述网络所学特征;在定量评价环节中,需要借助计算模型,对准确率、精确率以及召回率等各项指标参数进行测试。

2.2.2    模型定量化评价

为了有效地验证深度网络的应用效果,先从以下2个方面入手,探讨模型深度影响程度。(1)训练所有深度模型结构。在这一环节中,需要对同一类型的数据集的性能进行对比。(2)对比测试数据自动分类结果。在提取和整理网络FC层网络特征的基础上,利用支持向量机(SVM)分类器,采用SVM训练法,对测试数据最终分类结果进行全面分析和对比。当模型深度不断增加,并且训练条件置于随机初始化状态时,正确率、精确率、召回率参数均呈现出不断增加的趋势,但是,与CNN-16-R1性能相比,CNN-19-R1性能下降幅度比较明显。由此可见,当训练条件置于随机初始化状态时会增加深度网络的训练难度[8]。不同模型条件下频域分段并行(FFSP)识别性能对比如表1所示。

从表1中可以看出,当GAP层加入到深度模型时,自动分类结果所对应的各项评价参数均呈现出不断上升的趋势。与此同时,通过利用SVM分类器对模型深度特征进行训练,同样可以提高最终对比结果的有效性和精确性。但是,当深度网络模型内添加GAP层时,最终结果的增加幅度明显,这说明在随机初始化条件下,无法实现对深度网络模型的科学化、合理化、充分化训练。加入GAP层前后模型参数占用情况如表2所示。从表2中可以看出,当向深度网络模型中加入GAP层后,模型参数降低几乎达到了50%。由此可见,通过加入相应的GAP层,不仅可以最大限度地降低深度网络模型参数量,还能缩小数据占用内存,为进一步提高皮肤影像自动分类性能创造良好的条件。

模型FC层通道数对分类结果影响如表3所示。从表3中可以看出,当模型FC层参数从原来的1 024降低至现在的512时,最终分类结果的正确率仅仅下降了2%,而其他评价指标性能仅仅下降了1%。

2.2.3    模型可视化分析

模型可视化分析可以真实、直观地反映出当前模型内部实际学习状态,因此,技术人员要从以下几个方面入手,开展模型可视化分析工作。(1)Conv层特征图可视化。通过对卷积层的输出特征进行提出处理,然后,采用可视化显示的方式,将最终的提取结果形象、直观地呈现在用户面前。由于所有卷积层均含有相应的通道,因此,为了确保最终展示结果的有效性和针对性,技术人员要从大量通道特征图中提取具有代表性的特征图,然后,根据FFSP图像所对应的空间信息,不仅靠近深层,此时,发现特征图的尺寸呈现出不断下降的趋势;同时,特征图变得越来越模糊化。在此基础上,通过将相关信息数据进行全面采集和整理,采用触发模型的方式,对最终预测结果进行自动分类。(2)FC层特征可视化。在这一环节中,技术人员需要采用T-SNE的方式,对模型FC层特征向量进行收集和整理,并对最终的整理结果进行可视化分析和对比,以实现对模型学习特征性能的有效验证。同时,在收集初始化图像数据期间,技术人员先要将这些数据转换为二维向量,然后,将这些二维向量组合成三维矩阵,最后,借助SNE函数,对FC层特征向量进行可视化处理。

2.2.4    与传统特征分类器对比试验

为了更好地验证SVM分类器的有效性和可靠性,技术人员要采用对比实验的方式,将本文所提出的SVM分类器与传统特征分类器进行有效地对比,经过对比发现,SVM分类器在提高深度网络模型性能以及保证最终测试结果的精确性方面发挥出重要作用。MFV模型以及CNN模型测试数据内存以及计算时间对比如表4所示。从表4中可以看出,在硬件设备的影响下,通过利用CPU可以对8层网络训练流程进行加速处理,发现16层网格和19网络所对应的存储量远远高于CPIU内存量,但是,在运用传统特征分类器时,会增加视觉表达以及相关特征新编码的时间成本,难以取得良好的社会效益和经济效益。

3 结语

综上所述,在深度学习技术的应用背景下,为了实现对皮肤影像的自动化、高效化分类,技术人员要充分利用本文所提出的分类框架,避免医学图像因缺乏相应的模型而导致出现拟合问题,只有这样,才能借助深度学习方法,实现对多维度数据的深入分析和融合,以保证皮肤影像自动分类结果的精确性和真实性,从而为辅助医生精确诊断提供重要的依据和参考。由此可见,PVDF具有安全可靠、实用性强等特点,值得被进一步推广和应用。

参考文献

[1]王诗琪,刘 洁. 深度学习辅助皮肤影像自动分类的研究进展[J]. 中华皮肤科杂志,2020,53(12):1 037-1 040.

[2]周航宁,谢凤英,姜志国,等. 基于深度学习的皮肤影像分类[J]. 协和医学杂志,2018,9(1):15-18.

[3]张荣梅,张 琦,刘院英. 基于Inception深度残差网络的皮肤黑色素癌图像分类算法[J]. 计算机系统应用,2021,30(7):142-149.

[4]景海婷,张 秦,陈 曼,等. 小样本域自适应的皮肤病临床影像识别方法[J]. 西安交通大学学报,2020,54(9):142-148+156.

[5]王 莹,廉 佳,陈立新,等. 皮肤影像检查辅助诊断儿童线状色素性扁平苔藓[J]. 臨床皮肤科杂志,2021,50(4):223-226.

[6]孙祺琳,刘 洋,陈 骏,等. 皮肤镜影像结合特征分析算法权衡纵行黑甲活检必要性的临床研究[J]. 组织工程与重建外科杂志,2021,17(3):235-238+246.

[7]林鸣琴,庄淑莲,杨 爽,等. 乳腺影像学报告及数据系统分类对肉芽肿性乳腺炎与乳腺癌鉴别诊断的价值[J]. 中国医学装备,2020,17(3):75-79.

[8]邹先彪. 皮肤影像学与人工智能[J].中国医学前沿杂志(电子版),2019,11(8):1-4.

猜你喜欢

图像识别卷积神经网络深度学习
基于计算机视觉的图像识别技术研究
人工智能背景下图像识别技术浅析
基于字典学习的正则化鲁棒稀疏表示肿瘤细胞图像识别
基于深度卷积神经网络的物体识别算法
MOOC与翻转课堂融合的深度学习场域建构
图像识别交互系统
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现
基于卷积神经网络的树叶识别的算法的研究