孙颖异1，李 健1，时 天2，孙中波34

(1.吉林农业大学信息技术学院，长春 130117；2.吉林大学通信工程学院，长春 130025；3.长春工业大学电气与电子工程学院，长春 130012；4.吉林大学，教育部仿生工程重点实验室，长春 130025)

植物病害问题与人类的日常生活密切相关，虽然使用农药能够有效控制植物病虫害，但是，由于病虫害种类繁多，仅仅依靠人工肉眼观察及经验判断容易产生错误诊断，导致植物病虫害得不到快速及时治疗。随着计算机技术和人工智能算法的不断发展与进步，关于植物叶片病害的智能识别技术也取得了长足进步，但是，目前提出智能算法出现训练收敛时间长，模型参数规模巨大等问题，这给植物病虫害的快速且精准诊断带来了隐患。

深度学习(Deep Learning,DL)是机器学习理论中的一个新的研究领域，其目的在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据[1]。它在图片识别、声音识别、自然语言处理等方面取得了较大成功。相比常规方法，卷积神经网络(Convolutional Neural Network，CNN)方法直接由数据本身驱动特征及表达关系的自我学习，对图像具有极强的数据表征能力[2-6]。CNN 灵活运动于手写字符识别、人脸识别、行为识别以及农作物识别等方面，并且获得了较好的效果。越来越多的研究表明，CNN 运用于植物叶片识别领域，并证明了植物叶片图像识别上的有效性，同时也表明 CNN 在图像识别中克服了传统方法的不足[7-12]。

本试验以玉米、葡萄、樱桃等12种植物叶片为研究对象，提出了一种基于残差 AlexNet 卷积神经网络的植物叶片识别模型，并引入两种不同的全局池化层，通过残差连接和全连接层将得到的特征直接输入到 Softmax 分类器中，实现了兼顾速度的同时提高了识别精度。

1 试验数据

PlantVillage工程(www.plantvillage.org)给出大量的植物叶片信息，包含了各种各样植物叶片的图像数据。本试验以PlantVillage工程提供的植物叶片数据集作为试验数据，它包含12类不同品种的植物叶片，共计9 568张不同种类植物叶片图像，如图1所示。

通过统计样本总数以及各类别样本分布情况，发现样本数目从32到2 090不等，分布不均匀，利用传统神经网络进行训练时，将导致训练后的识别模型对各类植物叶片的识别出现偏差。为了保证数据的平衡性，将对样本较少的植物叶片图片进行增强处理，采用如水平或垂直翻转，随机旋转或缩放技术等。经过数据处理后，数据集最终扩充至15 068张图片，随机抽取80%的植物叶片图片作为训练集，剩余20%的植物叶片图片作为测试集，数据集中所有图片的大小尺寸均为像素。

2 植物叶片识别模型构建

CNN包含了卷积层、池化层和全连接层等，可用于逐层提取植物叶片图像特征。采用卷积神经网络用于植物叶片的识别具有以下几个优势[13]：

注：1为苹果；2为蓝莓；3为樱桃；4为玉米；5为葡萄；6为桃子；7为甜椒；8为马铃薯；9为山梅；10为黄豆；11为草莓；12为西红柿。图1 各种不同植物叶片

1) 局域感受野：局域感受野是指卷积神经网络上每一层输出特征图的像素点在图像或上层特征图中映射区域的大小。通过局域感受野，可以提取植物叶片图像的初级特征，比如叶片的角度、平滑度等。

2) 权值共享：对于大量的植物叶片数据集而言，网络的结构规模大、复杂等因素会影响训练效率，而权值共享能够极大地减少网络的参数总量，减少网络的复杂性，使得网络训练变得切实可行。

AlexNet卷积神经网络作为一种常见的网络，包含了输入层、卷积层、池化层、全连接层和Softmax分类器，并使用ReLU激活函数，提供图像识别能力[14]。因此本研究在AlexNet网络的基础上进行改进，提出了基于残差的AlexNet卷积神经网络，进一步提高图像识别的能力。

2.1 批归一化算法

本研究采用批归一化算法。首先，计算每个批量的k个植物叶片样本的均值和方差，

其中，μ和σ分别为每个批量植物叶片样本的均值和方差，对植物叶片样本进行归一化处理，

2.2 全局池化

传统的卷积神经网络通常在全连接层前面加一层池化层，然而，如果设置的神经元过多，全连接层参数占模型总参数的比重较大，从而，将会影响神经网络训练时间。因此，本研究采用全局池化的思想，将卷积层的每个特征图融合为一个特征值，使特征值维数等于最后一层卷积层的特征图数目。假设最后一层卷积层的特征图大小为m·n，那么全局最大池化和全局平均池化分别为

图2 Alexnet卷积神经网络框架

2.3 基于ResNet的Alexnet卷积神经网络

为了构建计算准确率高和收敛速度快神经网络模型，本文提出一类改进的Alexnet卷积神经网络模型，该模型采用批归一化与全局最大池化算法，具体算法框架见图2。普通的直连卷积神经网络和ResNet卷积神经网络的最大区别在于，ResNet有很多旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差。传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题，因此，植物叶片信息会丢失或者损耗，降低了算法的识别效率[15]。然而，ResNet在某种程度上解决了这个问题，通过直接将输入信息绕道传导至输出层，从而，确保不同植物叶片信息的完整性，整个网络只需要学习输入、输出差别的两个环节，简化学习目标和难度，提升学习速率，进而提高不同植物叶片识别准确率。

由于不同尺寸的卷积核提取低层特征能力不同，因此，本文考虑卷积层1的不同卷积核尺寸，分别为7×7dpi，9×9dpi，11×11dpi，为了保证全局池化后的特征图大小为1×1dpi，全局池化层应使用13×13dpi大小的池化尺寸。传统的AlexNet采用的激活函数为修正线性单元激活函数(rectified linear units,Relu)，该网络在反向传播时能够防止梯度弥散的问题，加速卷积神经网络训练。He等人提出PRelu激活函数作为改进的Relu激活函数，将Relu函数的负轴斜率从0改为可变参数a，在模型训练上取得了较好的结果，式(1)与式(2)分别为Relu激活函数和PRelu激活函数a>0其中为可变斜率。

本文提出的基于残差连接的AlexNet卷积神经网络将选用PRelu激活函数，观察不同卷积核尺寸对模型识别准确率的影响。模型的全局池化算法采用全局最大池化和全局平均池化，用于比较不同池化类型对模型识别性能的影响。

3 实验验证与分析

3.1 实验平台

实验环境为Windows 10 64位系统，采用Matlab R 2019 a的Deep Learning Toolbox[15-16]，搭载Intel®CoreTMi 5-6500 CPU@3.20 GHzx 4处理器，12 GB内存，并采用NVIDIA GeForce 1050 Ti显卡加速图像处理。

3.2 不同实验参数下的残差alexnet网络的实验分析

采用批量训练的方式将训练样本和验证样本分为多个批次，每个批量训练32张图片，即 MiniBatchSize 设为32。遍历一次训练样本中所有图片记为一个轮次(epoch)，每个轮次迭代301次，共20轮次，也即是总计6 020次迭代，每迭代十次进行一次验证。设置初始学习率0.001，为防止过拟合，正则化系数设置为0.005。实验结果如图3和图4所示，其中，卷积核尺寸分别采用，11×11，9×9，7×7，红色曲线采用 maxpooling 的全局池化，对应模型1,模型2,模型3，青色曲线采用 averagepooling 的全局池化，对应模型4,模型5,模型6，蓝色曲线为原始的 AlexNet 神经网络模型,对应模型0。

从图3、图4可看出，经过14个轮次后，所有模型的准确率均达到95%以上，并且，从收敛速度上看，采用 averagepooling 全局池化的模型要快于 maxpooling全局池化的模型，这是因为 averagepooling 全局池化的模型是对整张特征图所有值求平均，充分利用了每一张特征图的所有信息，便于提取关键特征。然而，当轮次足够大时，采用 maxpooling全局池化的模型效果要好于传统的AlexNet神经网络和 averagepooling全局池化的模型，说明 maxpooling 全局池化同样适用于图像的识别。为了能清晰显示出卷积神经网络中的信息，标记可视化的改进卷积神经网络的激活区域。

图5 卷积神经网络的激活区域可视化

图3 模型验证的准确率与轮次关系

图4 模型验证的损失度与轮次关系

图5表明，模型2和模型3的激活区域可视化清晰明显，对细粒度特征响应充分，提取的纹理信息更丰富。为了进一步验证模型改进的效果，表1给出了改进的AlexNet卷积神经网络的测试准确率。

从表1可以看出，模型1，模型2，模型3采用的是 maxpooling 全局池化，模型4，模型5，模型6采用的是 averagepooling 全局池化，采用 maxpooling 全局池化的模型准确率高于AlexNet 和 averagepooling 全局池化的模型，并且卷积核尺寸选取为9×9时效果最好，而采用averagepooling全局池化的模型识别的准确率也略高与传统的AlexNet全局池化模型，这是因为改进的模型采用全局池化的思想，增强特征图与类别的关系，充分利用植物叶片特征图的信息，因此，识别性能要比原始模型好。

表1 模型参数设置与测试的准确率

4 结 论

本文提出了基于残差AlexNet卷积神经网络并用于多种植物叶片的识别，在传统的AlexNet卷积神经网络基础上，对中间的3层卷积层进行残差连接，解决了传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题，同时，采用批归一化与全局池化算法，不仅增强了特征图与类别的联系，也防止了过拟合。实验结果表明，相比传统的AlexNet卷积神经网络，改进的AlexNet模型在植物叶片识别上具有较高的准确性和识别效率，能够为后续植物病害问题识别实际应用研究提供理论参考。