张善文 邵彧 李萍

摘要：同类叶片图像的复杂多样性增加了植物识别研究的难度，导致利用叶片图像进行植物识别的识别率不高，因此提出一种基于典型相关分析（CCA）全局和局部特征融合的植物识别方法。首先，采用有较好的光照及旋转不变性的梯度直方图（HOG）和边缘轮廓Fourier描述子作为植物识别的特征;然后利用CCA在特征层将HOG和Fourier描述子相融合，构成更具分类鉴别力的一个特征向量;最后利用K-最近邻分类器进行植物识别。在ICL叶片图像数据库上的试验结果表明了该方法的有效性。

关键词：梯度直方图;Fourier描述子;典型相关性分析;植物识别

中图分类号： TN911.73;TP391.41  文献标志码： A  文章编号：1002-1302（2019）14-0255-04

植物影响着人类赖以生存的生态系统，对生态平衡和环境保护起着重要作用。开展植物物种的机器识别研究具有重要的现实意义，是计算机视角、图像处理和植保等领域的一个主要的研究方向[1-2]。张娟研究了梅花叶片图像的分割、特征提取、分类器分类等方面的问题，提出了一种针对自然背景下基于纹理和颜色特征的梅花图像分割方法[3]。为了提高植物叶片识别与分类的正确率，张昭等提出了一种基于主成分分析（PCA）和支持向量机（SVM）的植物叶片识别方法。该方法从分割、边缘检测的叶片图像中提取了10个具有旋转、比例、平移不变性的无量纲叶片特征参数，然后进行主成分分析，将前3个主成分作为支持向量机的输入进行植物识别，取得了97.22%的识别率[4]。Du等提出了一种基于轮廓分形维数和叶脉分形维数描述植物叶片特征的新方法，首先利用多阈值边缘检测方法对叶脉和叶柄进行分割，得到多条叶脉;然后计算叶片边缘图像和多脉图像的二维分形维数，再提取小波分形特征进行植物识别。试验结果证明了分形维数特征方法的有效性[5]。Mallah等建立了一个具有100多种植物且每种植物有16幅叶片图像的数据集，并提出了一种基于叶片形状、纹理和边缘特征的后验概率相结合的植物叶片分类方法[6]。Chaki等提出了一种基于纹理特征和形状特征相融合的植物叶片分类方法，该方法对叶片图像的形状、大小和方位具有一定的鲁棒性[7]。Munisami等构建了一套植物识别系统，用户可以将拍摄的叶片图像上传到该系统的服务器，服务器对叶片图像进行预处理、特征提取和匹配。其中，提取的不同特征有叶片图像的长和宽、面积、周长、颜色直方图和质心-轮廓径向距离等[8]。丁娇等提出了一种基于差异性值监督局部线性嵌入（D-LLE）算法的多特征植物叶片图像识别方法，该方法提取叶片的颜色、形状和纹理作为叶片多特征，利用D-LLE对叶片高维特征进行降维，在低维空间利用K-最近邻分类器进行植物叶片识别[9]。王丽君等综合提取观叶植物叶片图像的颜色、形状和纹理特征，利用SVM进行识别，取得了91.41%的识别效果[10]。刘骥等针对叶缘叶裂明显的植物叶片识别问题，提出一种基于叶片形状特征的识别方法，该方法提取了叶片图像的8种形状特征，经过对8种特征的皮尔森相关系数分析與主成分分析，确定对分类贡献最大的5个主成分，最后利用BP神经网络进行植物识别[11]。Wang等提出了一种基于脉冲耦合神经网络和支持向量机的植物识别方法，与现有方法相比，该方法具有较好的识别效果[12]。李洋等针对传统植物识别方法工作任务量大、效率低下以及难以保证数据客观性的问题，提出了一种基于形状特征的植物叶片识别算法，并开发了一款C/S模式的植物叶片在线识别Android应用[13]。高良等针对当前叶片特征描述存在的局限和叶片识别准确率较低的问题，设计描述叶片轮廓的距离矩阵和角点矩阵，通过计算基于几何特征、纹理特征和角点距离矩阵的综合相似度对叶片进行精确识别，在Flavia数据集上的识别率高达97.5%以上[14]。单治磊等提出了一种基于植物多特征提取与局部嵌入融合的植物识别方法，该方法利用分块的局部二值模式（LBP）算法提取植物叶片的纹理特征，使用局部线性嵌入（LLE）算法，对高维的LBP特征进行降维，减少了分类识别时间，同时能够达到更好的聚类效果[15]。Jeon等提出了一种基于卷积神经网络的植物识别方法，取得了较高的识别率，但该方法需要大量训练样本进行长时间训练[16]。

在实际植物识别过程中，在复杂环境下拍摄的同一种植物的叶片图像间差异较大，而且对于叶片图像的颜色、形状和纹理特征而言，由于同种叶片之间可能存在着较大差异，因而很多基于叶片的颜色、纹理和形状特征的植物识别方法的识别率不高。不同方法得到的叶片图像的全局特征和局部特征所描述的内容和作用各不相同，如一些基于叶片的全局特征的方法缺乏对叶片光照、拍摄角度和大小等变化的鲁棒性;而单纯基于叶片的局部特征的方法又忽略了局部特征之间的联系，从而损失了部分全局特征。对于复杂背景下的植物识别问题，单纯依靠某一种特征很难得到高的识别率。典型相关分析（canonical correlation analysis，CCA）通过最大化2组特征之间的相关性[17]，找出2个线性变换的投影矩阵，由此得到1个融合特征向量，使变换后的2组数据相关性最大化[18]。为了提高植物识别率，提出一种基于CCA融合全局和局部特征的植物识别算法，并利用ICL叶片图像数据集验证其有效性。

1 材料与方法

1.1 试验材料

试验采用中国科学院合肥智能机械研究所智能计算实验室的ICL植物叶片图像数据库（http：//www.intelengine.cn/dataset/index.html），其中包括220种植物16 851幅叶片图像，每种植物包含的叶片图像的数目不一，紫穗槐有1 078幅叶片图像，而五叶地锦仅有26幅叶片图像。这些叶片图像都是在不同的时间、光照和角度等条件下采集，然后再利用叶片图像采集仪进行拍摄得到。图1为叶片图像示例。

1.2 试验方法

基于叶片的植物分类方法由叶片的轮廓全局特征和内部局部细节来识别，这些特征反映了叶片结构的形状和纹理特征，一般不包含颜色特征。笔者利用方向梯度直方图（histogram of oriented gradient，HOG）特征描述子提取叶片图像的内部细节特征，然后利用Canny边缘检测算法和Fourier描述子提取叶片图像的轮廓特征，再利用CCA将2组特征向量融合为1个特征向量，最后利用K-最近邻分类器进行植物分类。

1.2.1 方向梯度直方图 HOG是在计算机视觉和图像处理中广泛使用的一种图像局部特征提取方法，是通过计算和统计图像局部区域的梯度方向直方图来构成特征，其步骤如下：（1）叶片图像灰度化和归一化。采用Gamma校正法对叶片图像进行RGB颜色空间数据归一化处理，降低图像局部的阴影和光照变化对特征提取的影响，而且可以抑制噪声干扰。

2 试验结果与分析

采用2-折交叉验证法在ICL植物叶片图像数据库上进行试验，并与纹理和形状相结合的方法（TS）[7]、基于叶片形状特征的方法（SH）[11]和多特征融合的方法（MFF）[14]3种植物识别方法以及直接将HOG特征和Fourier描述子串联构成的特征向量识别方法的识别结果进行比较。由于数据库中叶片图像均为彩色图像，图像大小不一，在提取HOG和Fourier特征前须要对每幅图像进行预处理，将每幅图像归一化到 32×32，再转换为灰度图像（图2）。

首先，通过PCA对提取的HOG直方图特征向量和Fourier描述子特征向量进行维数约简;然后，利用CCA进行融合，得到1个特征向量（经验选取维数d为50）;最后，利用1-最近邻分类器进行分类。表1为5种植物识别方法经过50次2-折交叉验证得到的叶片图像的平均分类率和方差。

由表1可知，本研究方法的植物识别率最高。其主要原因是利用CCA将HOG特征和Fourier描述子相融合，而CCA能够将2组不同的特征向量有机融合，最大化2组向量之间的相关性，得到具有叶片图像的HOG和Fourier描述子特征优点的融合特征向量，得到了有利于分類的旋转、尺度和光照

不变性全局和局部形状和纹理特征，而TS方法和 HOG+Fourier方法没有考虑2组特征之间的相关关系，SH方法提取的形状没有充分描述叶片图像，MFF方法只是简单地提取图像的多个特征，该特征不足以表示叶片形状，所以4种比较方法的识别率不高。

3 结论

CCA是一种经典的特征融合和维数约简算法，利用CCA能够对2组异构的特征向量进行融合，得到相关性很高的低维融合特征向量。本研究方法首先提取叶片图像的全局和局部特征向量，然后利用CCA进行特征融合，最后利用K-最近邻分类器进行植物分类。在ICL叶片图像数据库上的试验结果表明，该方法是可行的。下一步继续研究鲁棒、监督的特征提取和融合算法，并讨论算法的复杂度。

参考文献：

[1]陶行科. 基于纹理特征的叶片识别系统研究[D]. 北京：北京林业大学，2015.

[2]Ehsanirad A. Plant classification based on leaf recognition[J]. International Journal of Computer Science&Information Security，2010，8（4）：100-109.

[3]张 娟. 基于图像分析的梅花种类识别关键技术研究[D]. 北京：北京林业大学，2011.

[4]张 昭，杨民仓，何东健. 基于PCA和SVM的植物叶片分类方法研究[J]. 农机化研究，2013（11）：34-37，41.

[5]Du J X，Zhai C M，Wang Q P. Recognition of plant leaf image based on fractal dimension features[J]. Neurocomputing，2013，116（10）：150-156.

[6]Mallah C，Cope J，Orwell J. Plant leaf classification using probabilistic integration of shape，texture and margin features[J]. Acta Press，2013，3842（4）：107-111.

[7]Chaki J，Parekh R，Bhattacharya S. Plant leaf recognition using texture and shape features with neural classifiers[J]. Pattern Recognition Letters，2015，58：61-68.

[8]Munisami T，Ramsurn M，Kishnah S，et al. Plant leaf recognition using shape features and colour histogram with k-nearest neighbour classifiers[J]. Procedia Computer Science，2015，58：740-747.

[9]丁 娇，梁 栋，阎 庆. 基于D-LLE算法的多特征植物叶片图像识别方法[J]. 计算机工程与应用，2015，51（9）：158-163.

[10]王丽君，淮永建，彭月橙. 基于叶片图像多特征融合的观叶植物种类识别[J]. 北京林业大学学报，2015，37（1）：55-61.

[11]刘 骥，曹凤莲，甘林昊. 基于叶片形状特征的植物识别方法[J]. 计算机应用，2016，36（增刊2）：200-202，226.

[12]Wang Z B，Sun X G，Zhang Y N，et al. Leaf recognition based on PCNN[J]. Neural Computing & Applications，2016，27（4）：899-908.

[13]李 洋，李岳陽，罗海驰，等. 基于形状特征的植物叶片在线识别方法[J]. 计算机工程与应用，2017，53（2）：162-165，171.

[14]高 良，闫 民，赵 方. 基于多特征融合的植物叶片识别研究[J]. 浙江农业学报，2017，29（4）：668-675.

[15]单治磊，张王菲，赵熙临，等. 多特征与局部线性嵌入融合算法在植物识别中的应用研究[J]. 西南林业大学学报（自然科学版），2017，37（6）：188-194.

[16]Jeon W S，Rhee S Y. Plant leaf recognition using a convolution neural network[J]. International Journal of Fuzzy Logic&Intelligent Systems，2017，17（1）：26-34.

[17]Yuan Y H，Yang J L，Shen X B，et al. Discriminative scatter regularized CCA for multiview image feature learning and recognition[C]. Chinese Conference on Biometric Recognition，2015：694-701.

[18]Yang X H，Liu W F，Tao D P，et al. Canonical correlation analysis networks for two-view image recognition[J]. Information Sciences，2017，385：338-352.

[19]Neto J C，Meyer G E，Jones D D，et al. Plant species identification using Elliptic Fourier leaf shape analysis[J]. Computers and Electronics in Agriculture，2006，50（2）：121-134.