徐光柱，朱泽群，尹思璐，3，刘高飞，雷帮军

（1.三峡大学计算机与信息学院，宜昌 443002；2.三峡大学水电工程智能视觉监测湖北省重点实验室，宜昌 443002；3.国药葛洲坝中心医院信息中心，宜昌 443002）

引 言

在农、林业发展中，花卉种类的快速准确鉴别具有重要的意义［1］。传统的花卉识别方法易受到花卉形态多样性、背景环境复杂性及光照条件多变性的影响，其准确率与泛化性能有待提升。而深层卷积神经网络（Deep convolutional neural network，DCNN）在高速计算设备的辅助下可以自动学习视觉目标语义特征的特点，解决了复杂环境下的视觉目标的鲁棒性识别问题，在花卉识别应用中具有较大潜力。但在实际应用中，人们更希望能够利用便携式设备及时获得花卉的种类信息，从而在数据产生地点实时进行分析，以便于最有效地对花卉资源进行开发利用。因此在算力弱、存储成本高但是便于携带的AI 边缘计算设备上高效运行DCNN 花卉分类模型对于户外实时花卉识别具有重大的研究价值与意义。

目前，相关研究人员已构建出多种DCNN 模型来进行花卉的识别，Prasad 等［2］提出一种新型的深度卷积神经网络，该网络使用4 种不同尺寸的卷积核进行特征提取，在两层全连接层后应用Softmax 回归函数进行分类，并结合随机池化技术，显著改善了花卉的分类准确率。吴迪等［3］针对花卉分类任务对InceptionV3 网络进行了适应性修改，将激活函数调整为在负值具有软饱和特性的Tanh⁃ReLu 函数，利用迁移学习技术训练出了分类效果出众的网络权重，其分类准确率达到了92.85%。Cibuk 等［4］将AlexNet［5］和VGG16［6］的混合模型应用于花卉的物种分类，以带有径向基函数（Radial basis function，RBF）核的支持向量机（Support vector machine，SVM）作为分类器。 该方法在Oxford Flower17［7］和Oxford Flower102［8］的准确度分别达到96.39% 和95.70%。Wu 等［9］构建了一个利用多GPU 并行训练的深度学习系统，在分类任务上采用图像的多尺度训练，该方法结合了高分辨率图片中细节信息与低分辨率图片中的位置信息，从而提高了神经网络特征提取能力，在Oxford102 数据集上取得了98.73%的平均准确率。

为了追求更好的分类效果，大多数的网络模型结构变得愈发庞杂。虽然相关任务准确率得到了提升，但通过加深网络来提高准确率会增加较大的参数量，导致网络的运算量增加，需要花费极大的运算资源，使得其难以应用到AI 边缘计算设备上。为解决这一问题，研究者们通常使用模型压缩的方法［10］，即在已训练好的模型上进行参数的修剪或对其数据类型进行变换，进而使得网络权重参数的存储变得更加紧实，从而解决内存消耗与模型速度问题。相比于压缩模型权重而言，轻量级DCNN 模型［11］的优势主要在于构建出更加高效的卷积网络计算方式，在减少网络参数的同时兼顾良好的网络性能。Tian 等［12］通过改进的Tiny⁃darknet 模型结合Softmax 分类器，训练得到结构简单、参数少的轻量级花卉分类模型，实现了92% 的准确率。相较于重量级网络而言，轻量级网络的预测时间、运算力需求以及模型储存占用量都得到了极大减少，使得该类网络更加适合于移动平台的应用。

目前花卉图像分类面临花卉类内差异大、大规模带标签数据集匮乏等问题，即使是重量级网络分类准确率也受到严重限制，轻量级模型下更难以达到理想的效果。而在重量级网络训练中，往往可以使用基于ImageNet 的预训练权重进行迁移学习［13］，通过微调来改善数据集匮乏的问题；但对于轻量级网络，迁移学习有时并不是一个可行的解决方法。其主要原因在于该类网络较浅，而预训练模型前几层的特征与源目标任务联系仍紧密，难以迁移重用，虽然模型前3 层是通用特征，具有普适性，理论上可迁移，但是需要重新利用ImageNet 进行训练，还受到训练技巧的影响，严重增加训练成本。与重量级神经网络的庞大参数量不同，轻量级神经网络运用小巧的结构设计大幅度减少了参数量，因而对于新任务，从头开始训练出优良的网络成本将得到降低，但性能却无法得到保证。迁移学习的不可行性使得轻量级模型需要从头开始学习，而数据集的缺乏使得轻量级模型的准确率提升较为困难，导致目前轻量级网络虽然可以流畅地在边缘移动设备上运行，但是对于花卉分类的准确率却无法达到应用的需求。针对这一问题，本文利用重量级网络的优良性能，辅助训练来改善轻量级网络的准确率。

1 花卉分类系统组成

本文所设计的基于轻量级DCNN 的花卉图像分类系统包括两个主要部分，如图1 所示。一是数据集的构建，采用迁移学习的方法提升重量级花卉分类网络模型的准确率，并利用此重量级网络，结合图像最大连通区域分割方法得到适用于轻量级网络训练的扩充花卉数据集；二是轻量级分类系统的搭建，运用扩充花卉数据集来训练得到轻量级花卉分类网络，并将其部署于边缘计算设备。

图1 轻量级花卉分类系统Fig.1 Lightweight flower classification system

1.1 重量级DCNN 辅助下的花卉数据构建

为构建适应于轻量级模型的花卉数据集，首先运用迁移学习方法训练一种高精度的重量级花卉分类网络，然后采用图像最大连通区域分割方法得到花卉数据，利用训练好的高精度重量级花卉分类网络对分割后的花卉数据进行分类与筛选，得到新的扩充花卉数据集，其具体流程如图2 所示。

图2 花卉的分割与识别流程图Fig.2 Flowchart of the flower segmentation and rec⁃ognition

1.1.1 重量级花卉分类模型构建

由 牛津大学Visual Geometry Group（VGG）小组［8］搜集整理的公开花卉数据集Oxford102 应用广泛，总计8 189 张共102 类花卉图片，每种类别的数量大概在40~258 张之间。其中6 149 张图片用作训练集，1 020 张图片用作验证集，1 020 张图片用作测试集。图3 给出了其中一部分样图。可以看出，各种花卉颜色与形态各异。

图3 Oxford102 花卉数据集示例Fig.3 An example of Oxford102 flower dataset

目前，常用图像分类方法均采用在超大规模图像集（如ImageNet）上预先训练，然后迁移至目标数据集进一步学习实现网络参数微调的做法。这一方面是因为特定应用领域的数据集规模相对较小，无法保证深层神经网络模型的有效训练，易于产生过拟合现象；另一方面是因为底层图像特征提取方式具有共用性。但如前言所述，对于（超）轻量级网络，这种方式往往不奏效。因此，本文采用Oxford102 公开花卉数据集并结合迁移学习的方法，构建高精度的重量级花卉分类网络模型，以便于后续对花卉数据进行筛选处理。权重的迁移分为冻结权重参数和微调权重参数两种，前者冻结所选层数中的所有权重参数，在训练过程中不进行改变，而后者在训练过程中对迁移的权重参数进行微调。在本实验中，选取的权重为可有效识别ImageNet 中1 000 类目标的权重参数，由于本任务着重于花卉的细粒度分类，因此需要采用微调形式，在训练过程中能够较好地克服数据间的差异，使其原有的权重更适应于本任务。

实验中所采用的花卉分类模型为Darknet53 网络［14］，其具体结构如图4 所示。该网络模型主要是由一系列的1×1 和3×3 的卷积层组成，每个卷积层后会连接一个批归一化（Batch normalization，BN）层和一个修正线性单元（Leaky ReLU）层。其中，大量使用的网中网（Network in Network）［2］，不仅有利于加深网络结构，还增强了网络的非线性表达能力。

图4 Darknet53 结构图Fig.4 Structure of Darknet53

Darknet53 中第1~74 层用于提取特征，为找到用于花卉分类的最佳迁移层，以快速连接层为分界，通过逐次测试迁移层数为前N（N=74，68，61，36）层时网络经过花卉数据集训练后的分类表现选择最佳迁移层数（图5）。图中Wi表示第i层的权重矩阵，N表示选择的迁移层数。

图5 Darknet53 在不同网络深度上的迁移学习示意图Fig.5 Transferring learning illustration of Darknet53 under different network depths

寻找到最佳迁移层后，提取出这些层的参数，并利用目标数据集Oxford 对模型进行后续训练与参数微调，实现迁移学习，如图6 所示。为了能够有效训练网络，本文通过实验确定了最佳的网络学习率、激活函数及迁移层的选取，以适应花卉分类要求，具体情况如下：

图6 面向花卉分类的Darknet53 网络的迁移学习Fig.6 Flower classification-oriented transferring learning for Darknet53 network

（1）学习率

学习率的设定会对网络模型训练产生较大影响。梯度下降法是目前深度学习常采用的自适应优化算法，也叫一阶收敛算法，它是目前各种优化算法的核心基础，其中，初始学习率的设定决定了深层网络收敛的快慢与优劣。梯度下降法权重的更新公式如下

式中：W为权重，α为学习率。过小的学习率会导致权重更新缓慢，降低优化效率，从而大大增加训练成本；过大的学习率会导致权重大跨度更新从而错过最佳权值，陷入局部收敛，更严重的将导致损失不断上升。经对比研究发现，当初始学习率设定为0.1 时，网络的分类准确率最好。

（2）激活函数

激活函数在神经网络的非线性表达能力上发挥着重要作用，Sigmoid，Tanh，ReLu 及其改进版Leaky ReLu 等都是目前深度学习中常用的几种激活函数，选用不同的激活函数对Darknet53 网络性能的影响如图7 所示。由结果可知，Leaky ReLu 最适合Darknet53 网络，而相较于Leaky ReLu，选用Tanh时网络平均损失降到3 后快速发散。由此可见激活函数的选择对模型训练起着至关重要的作用。

图7 激活函数对Darknet53 网络训练的影响Fig.7 Effect of different activation functions on Dark⁃net53 network training

（3）最佳迁移层

Darknet53 的74 层及以下为网络的特征提取层，因此首先选择对74 层以内的子模型进行迁移学习的应用，以快速连接层为分界，逐次测试前74，68，61 及36 层作为迁移层时Darknet53 网络的花卉分类表现，结果见表1。 可以看出，迁移学习应用到Darknet53 花卉分类网络的效果显著，且选取61层的权重进行迁移学习的效果达到最佳。而通过表中数据对比结果，可以发现当迁移层的选择从74 层到61 层时，分类准确率不断增加，而选择61层之后的网络权重时，准确率反而降低了，产生这一现象的原因是卷积神经网络特征提取的机制。在较浅的特征提取层中，卷积层专注于通用特征的提取，而到达较高的特征提取层时，网络学习到的是高级特征融合后的相关任务特定特征，因此，当采用61 层权重进行迁移学习时，花卉分类网络充分利用了ImageNet 上获得的大量通用基础特征，同时又避开了与花卉无关的高级特征干扰，达到最好的花卉分类效果。

表1 权重固定层数对花卉分类的影响Table 1 Influence of the weight⁃fixed layer number on flower classification

1.1.2 花卉图像的分割与筛选方法

对于不能采用迁移层的（超）轻量级网络而言，需要更多的有效数据才能提升并达到接近重量级网络模型的分类精度。而对于花卉数据的扩充，一般的方法是人为地进行收集高质量图像并将其归类到相应的花卉类别中。但是此方法不仅耗费工作量大，而且人类大脑对图像的感知与机器算法不尽相同，人眼分辨出的高质量花卉图像并不一定同样适应于机器算法，有时反而会因为存在过大的特征差异而降低深度学习模型的准确率。基于这种考虑，本文选择采用同为机器认知的重量级花卉分类网络来对花卉数据集进行辅助筛选，从而扩充轻量级网络的数据集，间接实现从重量级花卉分类网络到轻量级花卉分类网络的知识迁移，达到构建适用于轻量级网络训练的有效花卉数据集的目的。

为了获取更多的花卉图像，提升数据集规模，本文采用爬虫程序从Google 搜索引擎上下载与Oxford102数据集上种类相应的102 种花卉图片共计52 753 张，花卉图像数据下载完毕后，采用图像最大连通区域分割方法并结合训练好的重量级花卉分类模型筛选整合得到新的花卉数据。

数据筛选时，先对图片进行灰度化操作，并对其使用高斯滤波以降低图像噪声；然后使OTSU 算法［15］确定阈值分离图片的前景区域与背景区域，分别将前景区域与背景区域像素设定为1 和0，完成图片的二值化，如图8 所示。

图8 花卉图片的二值化Fig.8 Binarization of flower picture

接着采用最大连通区域法标记出最大的3 个连通区域，并将3 个待选的连通域的位置信息提取出来，生成3 个与原图像尺寸一致的掩码矩阵（图9）。接着，将掩码矩阵与原始图片相乘得到原始图片中对应区域的花卉目标，并通过外接最小矩形分割将花卉目标逐个提取出来，最终得到3 个候选分割图（图10）。从图中可以看到，分割结果10（c）不是花卉图片，应该丢弃。最后，将候选分割图输入到训练完成的重量级神经网络中进行预测筛选，利用重量级网络的经验，辅助扩充轻量级网络的数据集，以此实现重量级网络到轻量级网络的间接知识迁移。通过比较设定的准确度，自动丢弃误分割的花卉图，完成数据集的扩充。

图9 掩码矩阵图Fig.9 Mask matrix

图10 初步分割结果Fig.10 Preliminary segmentation results

1.2 轻量级花卉分类网络

针对边缘计算设备计算力的限制问题，本文采用易于部署于嵌入式设备的Darknet［16］深度学习框架下的Darknet⁃reference 和Tiny⁃darknet 两种轻量级网络，网络结构如图11 所示。

图11 Tiny-darknet 与Darknet-Ref 网络结构对比图Fig.11 Comparison of Tiny-darknet and Darknet-Ref network structures

Darknet⁃reference 模型包含7 层特征提取网络（不含池化层），卷积核数目逐层成倍数增长，从第1层的16 个增长到最后1 层的1 024 个，同时每一层的特征输出尺寸逐层成倍数减小，从第1 层的256×256 减小到最后1 层的4×4。

与Darknet⁃reference 相比，轻量级的Tiny⁃darknet 模型中3×3 卷积核的数量只有Darknet⁃reference的1/8。其借鉴MobileNet［13］网络中的深度可分解卷积结构，即1×1 卷积与3×3 卷积的交替重复，其中3×3 的卷积用于滤波，而1×1 的卷积用于转换通道。此结构相较于标准卷积大大减少了计算量与参数量，同时还有效保证了模型的性能。整个模型包含21 层网络，输入的224×224 尺寸图像经历4 次最大池化，随着网络逐层增加，两种卷积核数目成倍增长，不断抽象出高层特征，最后输出14×14 的特征图。

2 结果与分析

2.1 数据集及实验平台

实验所用硬件平台如表2 所示。

表2 实验软硬件平台Table 2 Software and hardware platform for experiments

所用数据集为牛津大学Visual Geometry Group（VGG）小组贡献的公开的花卉数据集Ox⁃ford102［8］，如1.1.1 节所述，包含102 类鸟类图片总计8 189 张，其中训练集6 149 张，验证集1 020 张，测试集1 020 张。

2.2 花卉分类结果分析

2.2.1 扩充数据集质量验证

扩充后的数据集在数量上较Oxford102 有明显的提升，具体情况如图12 所示。整个花卉图像的总量由8 189 张扩充到了20 554 张，对于Oxford102 中的102 类花卉，每类扩充了2~4 倍，其中，最少的Pink primrose（粉红色报春花）类图片由40 张增加到了100 张，最多的Petunia（矮牵牛）类由258 张增加到了644 张。

图12 两个数据集的图片数量分布Fig.12 Picture number distribution of two data sets

为验证扩充数据集对提升轻量级花卉分类模型性能的有效性，将扩充后的数据集对Tiny⁃darknet与Darknet⁃reference 网络模型进行训练，分别统计两个模型中每一类花卉的准确率，并与扩充前的准确率进行对比，如图13 所示。结果表明两个模型在使用扩充数据集训练后102 类花卉的分类准确率都有较明显的提升，其中Tiny⁃darknet 模型对sweet William（须苞石竹）的分类准确率提升68.18%；Darknet⁃reference 模型中最明显的是Canterbury bells（风铃草）类，其准确率提升了55.45%，直接证明了扩充数据集的有效性。

图13 训练于两种数据集上的两种网络在102 类花卉上的准确率Fig.13 Accuracy of two networks trained on two data sets for 102 kinds of flowers

虽然在使用darknet 框架用于模型训练的过程中，框架本身就对原数据集和增广数据集进行了对比度、色相和饱和度调整，对图片旋转角度、翻转图像等进行增广处理，但是首先本文所采用的扩充方法指的是数据集物理扩充，不是深度学习技术常用的一般概念的图像处理方式的增广，所以本文方法与框架本身的一系列增广处理并不冲突；其次，数据一般的增广方式（如翻转、镜像、加噪等）都是在已有的数据基础上进行优化与增强，模拟出不同环境与场景下的数据情况，使得训练出来的模型适应于各种环境，从而增强模型的泛化能力（图14），此类增广方式并未从根本上增加真实花卉的数据量。而本文方法通过带有先验知识的重量级深度学习模型来有选择性地增加模型未见过的有效数据，在数据集扩充的同时，间接实现重量级网络对轻量级网络的知识迁移。此外，在验证准确率的过程中，使用的测试数据集都是原数据集中的1 020 张测试图片，在相同的测试集上验证分类准确率的提升，结果更具说服力。

图14 增广处理示意图Fig.14 Illustration of the augmented processing

为了进一步验证扩充数据集的质量，统计了扩充数据集下两模型的Top1 准确率，并与原数据集下的Top1 准确率做了对比，如表3 所示。从对比结果可看出，扩充数据集对应的训练结果相较于扩充前而言，具有更高的分类准确率，轻量级网络Tiny⁃darknet 与Darknet⁃reference 性能提升明显。

表3 扩充前后两种网络的分类准确率对比Table 3 Comparison of classification accuracy of networks trained with different data sets

2.2.2 Tiny⁃darknet 与Darknet⁃reference 其他性能分析

为了评估两个轻量级网络的其他性能，本文将扩充后的20 554 张图片对其进行训练，所用参数设置如表4 所示。数据集中17 525 张图像用于训练，2 009 张图片作为验证集，Oxford102 中的原测试集1 020 张用于测试。

表4 训练参数设置值Table 4 Training parameter setting value

两模型的训练损失曲线如图15 所示，可以看出，Darknet⁃reference 初始平均损失远高于Tiny⁃darknet，但是迭代到5 000 次之前，损失下降速度远快于Tiny⁃darknet。在迭代到25 000 次时，两模型平均损失率降低至最低点，达到一致水平。由于Darknet⁃reference 参数更多，权重文件大，导致其初始平均损失高于Tiny⁃darknet，但是其网络层数和计算量却低于Tiny⁃darknet，更少的网络层数和计算量，使其拥有更快的收敛速度。虽然训练前期有所差别，但在整个过程中，Darknet⁃reference 训练成本与Tiny⁃darknet 没有很大区别。

图15 两种网络在扩充数据集上的训练损失Fig.15 Training losses of the two networks on the enhanced data set

预测时，两种网络的性能指标对比如表5 所示。可以看出，虽然Darknet⁃reference 的准确率更高一些，但其权重大小是Tiny⁃darknet 的7 倍，计算时间也高出15.6%。两者均为轻量级模型，但相对于Darknet⁃reference，Tiny⁃darknet 更加轻量级，但准确率也低一些，在应用时可根据实际需求与平台情况选择使用。Tiny⁃darknet 有21 层，计算量高于具有7 层网络结构的Darknet⁃reference，但是其采用1×1 卷积与3×3 卷积的交替重复的深度可分解卷积结构，大大减少了模型尺寸与权重文件所占内存。虽然Tiny⁃darknet 计算量更多，但是每秒浮点运算次数（FLOPs）作为评判模型的间接指标，不能作为衡量模型速度的评价标准，在模型运行过程中，内存访问成本与并行度也会对速度造成较大影响，Tiny⁃darknet 的计算量基本集中在1×1 卷积上，其计算过程不需要3×3卷积过程内存重组，底层能够更快地实现，而Darknet⁃reference 完全采用3×3 卷积，其内存访问成本远高于Tiny⁃darknet，所以Tiny⁃darknet 拥有更快的检测速度。

表5 不同网络在花卉测试集上的表现Table 5 Performance of different networks on the flower test set

为验证所提出的花卉分类解决方案的有效性，将所训练的Tiny⁃darknet 和Darknet⁃reference 两种模型与其他模型在同一测试集下的分类结果进行了对比。模型的准确率、尺寸与计算量如表6 所示。从网络的尺寸对比可以发现，杨固亮等［17］、Cibuk 等［4］、Ge 等［18］、Hiary 等［19］和Prasad 等［2］均采用重量级网络模型，Tian［12］等虽然也采用轻量级模型（4 MB），但准确率较低。整体来看，Tiny⁃darknet 和Darknet⁃reference 相比于其他网络具有较为明显优势。虽然，本文所用的网络训练时采用了扩充的数据集，但其他重量级网络也通过ImageNet 等超大规模数据集获得的迁移层；另外，评测所用测试集是一样的。因此认为这种比较在一定程度上还是具有说服力的，能够说明本文所设计的花卉分类系统的有效性。

表6 模型的准确率、尺寸与计算量对比Table 6 Comparison of model accuracy， size and calculation amount

此外，本文还采用非Oxford 数据集中的花卉图像来验证模型的泛化能力，分别使用扩充前后训练的两种轻量级模型对采集的10 张花卉数据进行测试，如表7 所示的结果显示使用扩充后数据集训练的两模型准确性皆有提升。其中在面对背景画面大、花卉本体只占有一部分区域的图像时，由于背景区域的影响，轻量级模型检测结果偏低，但是使用扩充数据集训练后，检测结果仍有明显提升。

表7 数据集扩充前后两种网络的实际测试结果Table 7 Actual test results of two networks before and after dataset expansion %

为验证本系统在AI 边缘计算设备上的有效性，首先在运行iOS 平台的移动设备上评估了两模型的实际预测性能。所用实验平台采用苹果A11（64 位六核）处理器，2 GB 内存，在224×224 输入下，Dark⁃net⁃reference 花卉分类模型预测时间（不包括加载模型时间）约为200 ms，而Tiny⁃darknet 约为160 ms，能够满足实际应用需要。随后在其他的常见嵌入式设备上对两模型的实际预测性能进行测试，各嵌入式设备的参数以及其模型实际推理速度如表8 所示，对比结果证明两模型在iOS 及其他主流的嵌入式设备上均能满足实际应用的需求。

表8 不同嵌入式设备上性能对比Table 8 Performance comparison on different embedded devices

3 结束语

本文针对AI 边缘计算设备上轻量级神经网络模型在花卉图像分类任务上准确率不足的问题，设计了一种面向弱算力设备的基于轻量级DCNN 的花卉图像分类系统。首先，通过Darknet53 与迁移学习构建高准确率的重量级花卉分类网络，然后利用此网络结合爬虫技术与图像最大连通区域分割法辅助构建适用于轻量级网络的有效数据集。随后，在两个不同规模的数据集上对基于Darknet 深度学习框架的两种轻量级深度神经网络进行了训练验证，同时将本方法得到的轻量级花卉分类模型部署到iOS 移动设备上进行验证，并进一步通过其他的常见嵌入式设备对两种模型的实际预测性能进行测试。结果显示本文方法处理后的扩充数据集对轻量级网络的性能有明显提升，本文方法训练的两种模型在Oxford102 花卉数据集上达到了98.07% 和98.83% 的平均分类准确率，同时在扩展的环境下检测也能取得不错的检测效果，模型大小分别为4 MB 和28 MB，在iOS 移动设备及其他主流的嵌入式设备上推理的速度均能够满足实际应用需要，具有良好的应用前景。虽然本文方法在AI 边缘计算设备上处理花卉目标占较大比例的花卉图像分类问题上具有较好的效果，但面对背景画面大且花卉本体只占有一小部分区域的图像情况，由于花卉区域所占全图比例小，使得分类网络容易将非花卉区域的特征识别成花卉特征，造成误检。未来可以将分类网络进一步扩充，通过分割网络将目标与背景区域分离，利用目标分割图进行分类训练来祛除背景区域对分类性能的影响，并采用提取出来的目标计算标注区域并整合到一个大背景下形成密集目标数据集合，再结合目标检测网络做进一步的研究，实现花卉的检测与识别。