谢军 江朝晖 李博

摘要：为提高小样本茶树病害识别的准确率，提出一种基于2次迁移模型的卷积神经网络茶树病害图像识别方法。首先将ResNet模型在ImageNet数据集上进行预训练，然后将预训练模型對植物病害数据集进行参数迁移训练，最后将迁移学习训练后的模型对扩充后的小样本茶树病害数据集进行2次参数迁移训练。结果表明，扩充后的数据集识别准确率较原数据集提高2.32%，再进行2次迁移学习后识别准确率又提高6.38%。通过调整训练超参数，对茶红锈藻病、炭疽病、茶网饼病、圆赤星病、藻斑病等5种茶树病害图像的识别准确率高达96.64%。在对5种茶树病害进行验证时，验证样本识别率与常规深度学习相比由93%提高至98%。2次迁移学习能够有效提高在小样本茶树病害识别下模型的识别能力，对实用化茶树病害识别具有重要的参考意义。

关键词：茶树病害;图像识别;小样本;二次迁移模型;残差网络

茶叶具有重要的食用和经济价值，但茶树病害严重影响其品质和产量[1-2]。以叶部病害为例，常见的茶树病害有茶红锈藻病、炭疽病、茶网饼病等几十种，及时准确地识别茶树病害能够帮助管理人员采取相应的措施减少病害对茶树生长造成的影响。目前茶树病害的识别主要依赖农间管理者长期的经验认知，因此研究快速有效识别茶树病害方法具有重要的研究意义。随着人工智能技术的普及，图像识别技术能帮助农间管理者对茶树病害进行在线检测[3-5]。方晨晨等通过改进深度残差网络对番茄病害图像进行识别[6];王秀清等提出一种基于自适应布谷鸟与反向传播协同搜索的病害识别算法以提高番茄病害识别准确率[7];贾少鹏等提出卷积神经网络（convolutional neural networks，简称CNN）与胶囊网络的组合模型对农作物病虫害进行训练识别[8]。在上述研究中，均通过更改神经网络结构提高病害识别的准确度，但在实际运用中，往往存在样本采集少、图像质量低等问题。当样本数据较少时，很难通过改进算法来提高识别准确率。因此，孙云云等通过对病害图像进行一系列预处理，提高了识别效果[9]。任胜男等采用one-shot学习方式对小样本植物病害进行识别[10]。上述研究工作，在一定程度上可以解决训练样本较少的问题，但由于样本数量较少，训练过程不透明，容易导致过拟合。为实现小样本病害识别，同时避免过拟合问题，苏婷婷等利用卷积神经网络并结合迁移学习提高了花生叶部病害的准确率[11];许景辉等分别在VGG-16和Inceptive-v3模型下对ImageNet数据集进行迁移学习，增加了病害的识别准确率[12-13]。上述研究采用迁移学习方式对小样本数据集进行识别，虽然在一定程度上能防止过拟合情况发生，在源域与目标域相似性上存在一定差距，但迁移学习训练方式还需提高。本研究首先对ImageNet数据集进行预训练，然后更改预训练模型的全连接层对植物病害数据集进行参数迁移学习训练，接着更改第1次迁移学习训练后模型的全连接层对处理后的茶树病害数据集进行第2次参数迁移学习。在利用植物病害公共数据集与茶树病害数据集特征相似对茶叶病害进行卷积计算的基础上使用2次迁移学习训练对茶树病害进行识别，达到小样本情况下提高病害识别率的目的。1 材料与方法

1.1 试验材料

图像数据由ImageNet数据集、植物病害数据集、茶树病害数据集3个部分组成。ImageNet数据集是包含14 197 122幅图像的大型公共数据集。植物病害数据集由Plant-Village公共数据集、中国科学院合肥智能机械研究所智能认知研究组构建的农业病害研究图库IDADP以及中国科学院合肥智能机械研究所提供的黄瓜水稻数据集3个部分组成，共计39类农作物病害，95 239张图片。茶树病害图像数据由安徽省农业科学院农业经济与信息研究所采集。通过单反相机采集以叶片、天空为背景的田间茶树病害图像，同时通过图像处理软件对图像进行预处理。经专业技术人员确认，筛选茶树病害叶片样本图片共计1 024张。

卷积神经网络虽然在图像识别上具有较好的能力，但使用卷积神经网络对复杂背景下的茶叶病害识别需要进行大量计算，这样不仅增大卷积计算时间而且易出现欠拟合问题，导致识别准确率降低[9]。因此，针对此类问题，需要对小样本数据集进行处理。本研究先将原茶树病害数据集进行裁剪，然后对裁剪后的图片采用几何变换、随机亮度变化、随机对比度变化、高斯模糊等处理方式，将训练图像扩充至15 774张，并利用归一化方式将扩充的数据集图像属性调整为256像素*256像素。由于epoch训练轮次较多，因此按照8 ∶ 1 ∶ 1[随机挑选训练集（train） ∶ 训练过程中的测试集（val） ∶ 训练模型结束后用于评价模型结果的测试集（test）]比例进行训练，保证测试的准确度和可信度。分布情况如表1所示，图像样例如图1所示。

1.2 试验方法

基于ResNet网络模型，采用二次迁移学习的训练方式并结合Adam优化算法对小样本茶树进行病害识别。图2为基于二次迁移模型的小样本茶树病害分类模型训练过程。

1.2.1 卷积神经网络模型 卷积神经网络是一种前馈神经网络，由1个或多个卷积层和顶端的全连通层组成，同时包括关联权重和池化层等[14-17]。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够取得较好的结果[17]。

ResNet采用残差网络结构，而不是简单地堆积层数。此种网络结构为卷积神经网络提供了新思路[18-20]。残差网络的核心思想为输出2个连续的卷积层，并且输入时绕到下一层。假设X为输入图像，残差函数为F（x），则F（x）+x为卷积后的输出。采用残差函数F（x），将优化目标逼近于零。加深的残差网络比普通叠加的网络模型更容易优化且不会随着网络深度的增加训练错误增多。通过引入增加恒等映射的残差映射，在输出和输入之间增加一个快捷方式连接（Shortcut Connection），可以更容易避免训练时梯度消失的退化问题。

使用ResNet网络模型为代表的ResNet18模型。此种模型能基本满足多数试验环境并具有较好的结果。ResNet18网络结构如图3所示。

1.2.2 迁移学习 迁移学习是将训练数据集在已经训练好的预训练模型上更改相关层后完成训练。植物病害数据集与茶树病害数据集存在一定的相似性，且茶树病害训练集样本数量较小，训练能力不足，引入迁移学习可以较好地解决样本数量小造成的识别准确率低问题。

使用二次迁移学习方法对小样本茶树病害进行识别。首先将茶树病害数据集相似的植物病害数据集在ImageNet预训练模型上进行第1次迁移学习。此次迁移学习将新设计的全连接层与原删除全连接层的ResNet网络连接，ImageNet数据集作为源域，植物病害数据集作为目标域。通过此种方式能依据植物病害特征更新训练过程的权重参数，提升预训练模型的泛化能力。然后将迁移学习训练好的植物病害模型对小样本茶树病害数据集进行二次迁移学习训练。此次迁移学习将更改后的植物病害模型的全连接层与茶树病害数据集进行匹配，植物病害数据集作为源域，茶树病害数据集作为目标域。通过此种方法能解决训练样本数量不足的问题，大大提升模型的識别准确率。

本次迁移学习采用基于参数的方式，源域和目标域共享模型，目标域通过预训练模型进行训练，在训练过程中利用预训练模型中权重及参数可微调网络参数较快实现模型收敛。

1.2.3 识别模型中的优化算法 Adam是一种一阶优化算法，可以替代传统的随机梯度下降（stochastic gradient descent，简称SGD）算法，能自动迭代更新神经网络权重，加快模型收敛速度[21-22]。与传统的随机梯度下降优化算法不同，Adam算法通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率[23]。本算法集适应性梯度算法（AdaGrad）和均方根传播（RMSProp）算法优点于一身，能充分利用梯度的二阶矩均值计算适应性参数。Adam算法使用动量变量和小随机梯度按元素平方的指数加权移动平均变量，并在时间步长中将它们中的每个元素初始化[24]。 下列公式中（1）为动量变量计算公式，（2）为移动平均变量计算公式。

式中：β1、β2为超参数值，取值范围均为[0，1];vt为时间步t的动量变量;gt为小批量随机梯度;st表示小批量随机梯度按元素平方的指数加权移动平均变量。为消除t较小时，过去各时间步小批量随机梯度权值之和较小的问题，引入偏差修正，对于任意时间步t，将vt除以（1-β），从而使过去各时间步小批量随机梯度权值之和为d1，Adam算法使用以上偏差修正后的变量为v^t和s^t，将模型参数中每个元素的学习率通过元素运算重新调整：

2 结果与分析

2.1 试验环境

训练环境在Windows 10专业版操作系统下，基于Intel（R） Xeon（R）CPU E3-1230 v3@ 3.30 GHz（12 GB运行内存）和 NVIDIA GeForce GTX 1080 Ti GPU的硬件设备上搭建Pytorch深度学习框架，使用Matlab对图像进行裁剪、几何变换、随机亮度变化等操作，利用Python编程语言实现茶树病害识别的训练与测试。批次大小（Batch-size）即每批次训练与测试的图片数根据模型与硬件设备不同设置为32、64、128、160、256、320。学习算法在整个训练数据集中工作次数（epoch）根据Batch-size大小设置为40、80，学习率（Lr）设置为0.001、0.01、0000 1。

2.2 试验设计

为探究茶树病害如何获得较好的识别效果，以ResNet18为参照模型，进行3组不同维度的比较。第1组对原数据集和更改数据集进行比较，测试扩充数据集对茶树病害识别的影响。第2组对未迁移、1次迁移、2次迁移等3种模式进行比较，获得ResNet18模型的最佳迁移方式。第3组拟在不同超参数ResNet18模型下训练并进行比较，获得适合的超参数训练环境，采用3组试验进行茶树病害识别，探究提高小样本茶树识别准确率的方法。

2.3 试验结果与分析

2.3.1 图像数据对模型的影响 本组试验将原数据集与扩充数据集进行比较，采用ResNet18模型对茶树小样本数据进行直接训练，设置Batch-size为32，学习率为0.001，得到如图4所示的Acc曲线（Model1为ResNet18对原数据集进行训练，Model2为ResNet18对扩充数据集进行训练）。由训练可知原数据集测试准确率为86.40%，扩充数据集测试准确率为88.72%，Model2的识别率明显高于Model1，提升了2.32百分点。通过训练可知，Model2的准确率增长速度比Model1快且总体识别率高。由于茶树数据集样本小且未采取迁移学习的训练方式，因此本次测试准确率较低。结果表明，将数据集进行裁剪，提取部分病害图斑并作处理能有效提高识别率。

2.3.2 基于ResNet18的迁移学习训练结果及分析 根据上述2组模型的训练结果，本组采用4种模式对茶树小样本进行训练。Model3使用植物病害数据集进行第1次迁移学习，迁移方式为更改全连接层并对最后一层进行训练。Model4使用植物病害数据集进行第1次迁移学习，迁移方式为更改全连接层并对全部层进行重新训练。Model5使用ImageNet数据集预训练模型对植物病害数据集进行第1次迁移训练，然后在小样本茶树病害数据集上进行第2次迁移训练，迁移方式为更改全连接层并对最后一层进行训练。Model6使用ImageNet数据集预训练模型对植物病害数据集进行第1次迁移训练，然后在小样本茶树病害数据集上进行第2次迁移训练，迁移方式为更改全连接层并对全部层进行重新训练。4种模型训练的精度（Accuracy）曲线如图5所示。本组训练设置Batch-size为32，学习率为0.001，茶树病害识别准确率如表2所示。

Model3、Model4与Model5、Model6进行比较可得出，进行ImageNet预训练模型迁移和植物病害数据集预训练2次迁移比1次迁移识别准确率提高约4%。相比迁移学习方式，更改全连接层并对最后一层进行训练比更改全连接层并训练全部层的方式识别准确率更高。

2.3.3 基于迁移学习的超参数训练结果及分析 由上述试验可知，ResNet18模型下Model5的识别率最高。本次训练通过更改Model5的Batch-size和Lr的方式获得适合的超参数训练环境。超参数训练结果如表3所示，不同超参数下Loss曲线如图6所示。

由图6可知，Batch-size越大，拟合速度越快，精确度越高，但当Batch-size达到256以后，再增大批次大小，精确度将不再提高。在迁移学习中，学习率太大可能导致参数更新过快，不能较好地通过权重信息进行训练。在Batch-size为160、256时，改变学习率0.001、0.01、0.000 1，结果表明Batch-size设置为256，学习率设置为0.001模式下，茶树病害识别准确率最高。

2.4 模型验证

由上述訓练结果可知，Model5-5模型识别率最高。为验证方法的可行性，每类病害按照 10 ∶ 1（train ∶ test）比例从未训练数据集中随机挑选100张图片进行模型验证。Model1中验证集识别准确率为93%，Model5-5中验证集识别准确率为98%。表4为Model1和Model5-5下的查准率和查全率。

3 讨论与结论

3.1 讨论

3.1.1 模型训练方式的选择 本研究在残差网络模型ResNet18的基础上，调整了全连接层结构。在第1次迁移学习时，首先用植物病害数据集的39种分类取代原ImageNet数据集的1 000种分类，对这39种不同植物不同病斑进行特征训练。然后将植物病害数据集的39种分类更改为茶树病害数据集5种分类，进而对茶树的茶红锈藻病、炭疽病、茶网饼病、圆赤星病、藻斑病等5种病害进行第2次迁移学习训练。利用植物病害公共数据集与茶树病害数据集之间的特征相似性对茶叶病害进行卷积计算，然后结合数据集扩充和超参数更改操作对小样本茶树进行训练。结果表明，本研究方法能有效提高拟合速度且在识别性能上相比未迁移和迁移1次的模型有较大提升。其中测试识别率提高9.24%，精确度达到96.64%;验证识别率提高5%，精确度达到98%。因此，本研究使用基于2次迁移的训练方法，对茶树红锈藻病、炭疽病、茶网饼病等病害识别行之有效。

3.1.2 超参数在病害训练中的影响 采用不同批次大小和学习率对茶树病害进行训练。结果表明，学习率设为0.01情况下，茶树病害的测试准确率最差。学习率为0.001情况下茶树病害的测试准确率最高。此外，训练批次大小（Batch-size）也会影响测试准确率，在一定范围内Batch-size越大收敛越快，测试准确率越高。因此，在ResNet18模型下合适的超参数可以提高模型的训练精度。

3.2 结论

采用植保专家标定的数据作为神经网络的训练样本，选用残差网络ResNet18为训练模型，在扩充数据集及调整适应超参数的基础上运用2次迁移学习方式进行小样本茶树病害的深度学习训练。结果表明，对茶树病害数据集进行扩充后识别准确率优于扩充之前的识别准确率，选用2次迁移学习训练方式的识别准确率明显优于未迁移学习训练方式，合适的超参数也可提高识别准确率。表明本研究建立的基于2次迁移学习的深度学习训练方式可较好地解决图像识别中茶树病害数据样本不足的问题。虽然试验采用了残差网格模型ResNet18，但从原理上看本结果也应该适用其他网络模型。

参考文献：

[1]董照锋，李 俊，赵 宇. 商洛茶树病虫种类调查及主要病虫害发生分布[J]. 山西农业大学学报（自然科学版），2018，38（12）：33-37.

[2]刘 威，袁 丁，郭桂义，等. 茶树炭疽病病原鉴定[J]. 南方农业学报，2017，48（3）：448-453.

[3]Zhang Q C，Yang L T，Chen Z K，et al. A survey on deep learning for big data[J]. Information Fusion，2018，42：146-157.

[4]Rangarajan A K，Purushothaman R，Ramesh A . Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science，2018，133：1040-1047.

[5]Sun Y，Jiang Z，Zhang L，et al. SLIC_SVM based leaf diseases saliency map extraction of tea plant[J]. Computers & Electronics in Agriculture，2019，157：102-109.

[6]方晨晨，石繁槐. 基于改进深度残差网络的番茄病害图像识别[J]. 计算机应用，2020，40（增刊1）：203-208.

[7]王秀清，陈 琪，杨世凤. 基于自适应布谷鸟与反向传播协同搜索的病害识别系统[J]. 天津科技大学学报，2020，35（2）：69-73.

[8]贾少鹏，高红菊，杭 潇. 基于深度学习的农作物病虫害图像识别技术研究进展[J]. 农业机械学报，2019，50（增刊1）：313-317.

[9]孙云云，江朝晖，董 伟，等. 基于卷积神经网络和小样本的茶树病害图像识别[J]. 江苏农业学报，2019，35（1）：48-55.

[10]任胜男，孙 钰，张海燕，等. 基于one-shot学习的小样本植物病害识别[J]. 江苏农业学报，2019，35（5）：1061-1067.

[11]苏婷婷，牟少敏，董萌萍，等. 深度迁移学习在花生叶部病害图像识别中的应用[J]. 山东农业大学学报（自然科学版），2019，50（5）：865-869.

[12]许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别[J]. 农业机械学报，2020，51（2）：230-236.

[13]王艳玲，张宏立，刘庆飞，等. 基于迁移学习的番茄叶片病害图像分类[J]. 中国农业大学学报，2019，24（6）：124-130.

[14]Wang K，Zhuo L，Li J F，et al. Learning an enhancement convolutional neural networkfor multi-degraded images[J]，Sensing and Imaging，2020，21（12）：5187-5198.

[15]陈 峰，谷俊涛，李玉磊，等. 基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法[J]. 江苏农业科学，2020，48（18）：237-244.

[16]Li Y S，Hu J，Zhao X，et al. Hyperspectral image super-resolution using deep convolutional neural network[J]. Neurocomputing，2017，266（29）：29-41.

[17]王元东. 基于ResNet模型的图像分类方法及应用研究[D]. 南昌：华东交通大学，2019.

[18]Vidya K，Keerthana P，Shyamala Guruvare. Hybrid transfer learning for classification of uterine cervix images for cervical cancer screening[J]，Journal of Digital Imaging，2020，33（2）：619-631.

[19]Zhong M，LeBien J，Campos-Cerqueira M，et al. Multispecies bioacoustic classification using transfer learning of deep convolutional neural networks with pseudo-labeling[J]. Applied Acoustics，2020，166：107375.

[20]Lu Z Y，Bai Y Z，Chen Y，et al. The classification of gliomas based on a pyramid dilated convolution resnet model[J]. Pattern Recognition Letters，2020，133：173-179.

[21]Fei Z G，Wu Z Y，Xiao Y Q，et al. A new short-arc fitting method with high precision using Adam optimization algorithm[J]. Optik，2020，212：164788.

[22]楊观赐，杨 静，李少波，等. 基于Dopout与ADAM优化器的改进CNN算法[J]. 华中科技大学学报（自然科学版），2018，46（7）：122-127.

[23]赵小强，宋昭漾. Adam优化的CNN超分辨率重建[J]. 计算机科学与探索，2019，13（5）：858-865.

[24]魏友达. 基于深度学习的唇语识别技术研究[D]. 西安：中国科学院大学（中国科学院西安光学精密机械研究所），2019.