张超凡 王儒敬 谢成军*

1(中国科学院合肥智能机械研究所 安徽 合肥 230031)2(中国科学技术大学信息科学技术学院 安徽 合肥 230026)

基于多特征字典学习的害虫图像自动分类方法

张超凡1,2王儒敬1谢成军1*

1(中国科学院合肥智能机械研究所 安徽 合肥 230031)2(中国科学技术大学信息科学技术学院 安徽 合肥 230026)

为提高农田害虫图像识别分类的准确率，提出一种基于多特征字典学习的害虫图像自动分类方法。首先，利用监督字典学习的方式，对每一类害虫图像构建多特征过完备字典。为进一步增强计算机在复杂情况下对害虫图像的辨识能力，应用构造的过完备字典对害虫图像进行多特征稀疏表示。最后，通过最小化害虫图像的重构误差实现自动分类。实验结果表明，与其他方法相比，该方法提高了害虫图像识别的准确率。

多特征融合 稀疏表示 字典学习 害虫图像 完备字典

0 引 言

及时、准确地识别病虫害的种类，是开展农田病虫害预测、预报和防治的重要前提。计算机视觉的飞速发展，为实现害虫图像的自动识别提供了先进的技术手段。由于其具有准确性高、速度快、信息量大等优点，在农作物害虫识别方面得到较多的应用，可以高效地识别农作物虫害，为科学管理农作物生长，提高农作物产量和质量提供有力保障。

目前，国内外针对害虫图像识别的研究内容主要集中在农作物害虫的图像特征表示和分类识别两个方面。其中，害虫图像的特征表示是害虫识别的基础，直接关系到最终识别结果的好坏。分类识别是指使用害虫图像特征构建分类器，达到害虫分类识别的过程。黄世国[1]提取了昆虫的5种纹理特征，对5种昆虫的分类做了实验，分类准确率分别为30%、35%、30%、45%、60%。齐丽英[2]研究了基于多特征综合的昆虫识别，提取昆虫图像的不同类特征，如纹理特征、色彩特征、形状特征等，使用异步组合检索的方式利用这些特征，识别率达到90%。竺乐庆等[3]以鳞翅昆虫为例，研究了基于颜色特征和纹理特征的昆虫识别方法，该方法选取颜色直方图作为颜色特征，采用双树复小波提取图像纹理，经过试验验证，该算法识别率达到76%。张建华等[4]利用径向基支持向量机识别棉花棉蚜、棉叶螨、棉盲蝽、烟粉虱等棉花害虫，识别率达到88.1%。Yaakob等[5]提取图像不变距特征结合神经网络方法进行害虫图像分类，取得了比较理想的分类效果。Wang等[6]利用人工神经网络和支持向量机结合进行昆虫特征的训练与学习，识别率达到93%。韩安太等[7]将稀疏表示引入害虫识别，利用害虫训练样本构造训练样本矩阵，通过解L1范数意义下最优化问题实现害虫测试样本的稀疏分解，利用分解结果实现识别，取得了较好的分类识别率。胡永强等[8]将多特征融合和稀疏表示结合，通过稀疏表示首先得出害虫在不同特征下的分类情况，结合不同特征下学习到的权值获得识别结果。

颜色特征描述害虫虫体颜色的RGB空间的统计特性，而LBP纹理特征也在害虫图像识别领域得到广泛应用，这两种特征均能较好地表示害虫图像，但单一特征的辨识能力有限。此外，复杂的实际环境中需要考虑遮挡和背景图像分割残留的情形。针对上述问题，最近稀疏表示理论的提出，为解决上述问题提供了新的思路和解决方法[9]。本文提出一种基于多特征字典学习的害虫图像自动分类方法。首先对颜色特征与纹理特征进行融合处理，对融合特征进行训练构建学习字典，利用融合特征改进SRC[10](Sparse Representation-based Classification)分类模型，从而实现自动分类。

1 特征提取与字典构建

1.1 特征提取

农作物害虫图像识别中，颜色特征和纹理特征作为害虫图像的底层特征均可以应用于识别。单一特征对图像的诠释性相比于融合特征较低，基于颜色特征对害虫图像进行识别分类能够达到一定识别效果，当具有类似颜色统计分布规律的害虫图像并不能得到较好的识别结果。纹理特征作为害虫表面的几何特征，刻画了像素下灰度空间分布规律。融合颜色特征和纹理特征可以提高特征表示中的信息量，提高识别率。

(1) 颜色特征

颜色特征作为一种全局特征，存在于每一张彩色害虫图像中。本文使用的颜色特征是颜色直方图的归一化统计特征，具有平移不变，尺度不变以及旋转不变的特性。对于RGB空间下各通道均存在统计特征，分别统计并级联特征，后续对其进行PCA(Principal Components Analysis)[11]降维处理，形成维数较低的统计特征，方便后续字典训练。

(2) 纹理特征

局部二值模式[12]LBP(local binary patterns)是一种描述图像局部空间结构进行局部纹理特征提取的非参数线性降维算子。对图像中(x,y)点处值用如下公式计算：

(1)

(2)

其中，gc表示中心像素点(x,y)的灰度值，gp表示在半径R处相邻点的灰度值，P表示中心像素点周围相邻像素点的个数。

= min{ROR(LBPP,R,i)|i= 0,1,…,P-1}

(3)

式中ROR(LBPP,R,i)表示P位二进制LBP值循环右移i位后的值，得到P种LBP模式，取P种模式下最小值为旋转不变的LBP算子。对经过变换的LBP纹理图像进行统计归一化降维成纹理特征。

(3) 特征融合

在特征表示中，使用颜色特征与纹理特征级联成表示害虫图像的特征向量，降维联合不同特征可以包含害虫的不同信息，相互补充，提高特征表示能力。特征融合结构如图1所示。

图1 害虫图像特征融合

1.2 基于稀疏编码的有监督字典训练

稀疏编码[13-14]的关键在于使用较少的字典原子有效地表示出输入数据。该文中使用的字典训练[15-16]的方式是有监督的，即每一类害虫字典单独训练成各个子字典，然后合并成一个最终完备的字典。设Y为一系列n维的向量集合，其中每一列表示一幅害虫图像。由于该文中使用有监督的字典训练方式，在字典训练前对Y加入标签，Y=[Y1,Y2,…,YN]∈Rn×M。其中Yi为第i类输入数据的集合，Yi=[yi1,yi2,…,yim]，其中M=m×N，共N类，每类m个样本。使用稀疏编码方法学习的字典D=[D1,D2,…,DN]∈Rn×S，子字典Di为每一类单独学习的字典，Di=[di1,di2,…,dit]，其中S=t×N，其中S>n，每个子字典中有t个原子。与之相联系的稀疏编码X=[x1,x2,…,xM]∈RS×M。用k项字典原子表示输入数据Y可以通过解决以下问题实现：

(4)

② 利用正交匹配追踪(OMP)算法[18]，其简单且执行速度较快。固定D对输入数据Y进行稀疏表示得到稀疏编码X，X中有k项非零项。

③ 逐列更新字典D利用式(5)[19]：

(5)

④ 更新字典D后，判断误差是否满足精度要求或者是否达到指定的迭代次数，满足则结束训练，否则返回②。

KSVD算法通过不断迭代从而降低残差的能量并学习重构字典D，不仅实现了最小化重构误差且满足了稀疏限制,特征在字典D下能具有较强的稀疏表示性。

2 基于融合特征与稀疏编码的分类方法

2.1 算法框架

本文所提算法主要结合融合特征与稀疏表示对害虫图像进行分类识别。算法框架如图2所示。

图2 基于融合特征稀疏表示分类算法框架图

在图2框架中，害虫图像经过预处理与特征提取的过程，提取出单独种类的特征向量，经过级联形成融合特征。字典D是由各个子字典合并而成。每个子字典单独学习成包含该类图像特征的子字典，各子字典采取有监督字典训练的方式单独训练，有序地排列出字典D。融合特征结合稀疏字典D可以表示出害虫图像的稀疏特征，该处稀疏特征有别于字典训练时求解的稀疏系数，字典训练时利用OMP对害虫特征进行稀疏编码，将稀疏限制固定为小于单个子字典中原子的个数，从而保证稀疏性。此处利用基追踪[20]的算法对进行稀疏表示，其中大多数都是非零的，密集地对应于多个类。由于测试样本只能用其所属类别字典原子有效地表示，我们人为干预，将不属于该类的非零项设置为零，例如本文中采用14类害虫，因此所求稀疏特征中约1/14，即7%的项为非零项，实现稀疏性。当害虫类别越多，稀疏性越强，对待识别类别的针对性越强，识别效果越明显。对于框架中重构分类，即是本文采用的分类模型，对整个过程实现分类。

2.2 所提算法详细分类过程

本文改进并应用稀疏表示分类模型SRC,该分类方法的主要原理是将图像按列进行列向量化，应用稀疏表示模型将一个数据向量表示成一组基向量的线性组合的形式，理想条件下任何一个图像都能用存在该类图像的图像库中的本类图像线性组合表示出来。在实际计算中，使用L1范数求解稀疏表示的系数代替L0范数,求稀疏系数意义在于求解非零元素的个数，即L0范数，而L0范数是NP-hard问题，在实际求解中不现实，求解L1范数属于凸优化问题，便于实际求解，使用基追踪的方式解下式：

(6)

对于本文来说，改变了SRC直接使用图像列向量化产生的向量作为训练样本的情况，替代使用融合特征作为训练样本，这是与SRC的区别之处。为确定图像中害虫属于哪一类，通过重构出各类图像特征，然后与原始测试样本害虫图像的融合特征相比较求其残差，重构残差最小的一个类别就是我们想要的结果，公式如下：

(7)

(8)

(9)

图3 基于稀疏表示重构害虫时残差情况

3 实验结果与分析

本文实验中害虫图像数据由安徽省农科院提供，其中包括14类害虫图像，每类50张，共700张。对图像预处理分割出害虫图像，大小为300×300，背景为白色，部分图像中存有树叶等背景噪声和虫体分割残缺的情形。训练样本在每次实验中均随机选取，剩余的为测试样本。害虫数据集中包括6种水稻害虫，5种玉米害虫，3种大豆害虫，例如卷叶螟、地老虎、及肾毒蛾等，部分预处理后的样本如图4所示。

图4 实验害虫图像集中害虫样本种类

3.1 实验设置

在本实验中基于提出的方法，利用Microsoft Visual Studio C++ 2010平台结合计算机视觉库OpenCV2.4.8、压缩感知KL1p库和SVM库[21]进行分类对比实验。参数设置如下：

(1) 每类学习的子字典的大小为18，稀疏限制k取5；

(2) 在颜色特征提取中，选取各通道直方图子区段数目为255，纹理特征LBP取邻域点数为8；

(3) 每类随机选取15和25张害虫图像作为训练样本，分别用35和25张作为测试样本；

(4) SVM分类模型选用线性核，神经网络模型选用3层网络，K近邻模型中K值取3，其他参数均保持函数库默认参数值。

3.2 单一特征情况下分类准确率目

在本文方法框架下，使用单一特征颜色和纹理特征与融合特征进行分类比较，分类识别准确率记录于表1。其中R15与R25分别表示每类使用15和25张作为训练样本，每组实验都进行10次，取10次所有类别害虫图像分类准确率的平均值作为实验结果记录于表1中，以下实验部分均采取该方式。

表1 单一特征与融合特征识别率情况表 %

由表1可以看出，在每类训练样本数为15时，依靠融合特征进行分类的识别率为87.18%，基于单一颜色特征和纹理特征的识别率分别为73.16%和46.54%。融合特征比单一颜色和纹理特征分类正确率提高了约14.02和40.64。可以看出，融合特征相较于单一颜色特征和纹理特征优势较为明显。在融合特征中，颜色特征对识别正确率贡献较大，主要是由于对于害虫图像，害虫本身的颜色空间分布保存的害虫图像信息较为丰富。而对于纹理特征，是对其LBP纹理的灰度分布统计，信息量不足，其保存特征对于不同害虫间区别性不如颜色特征，识别率远低于颜色特征与融合特征。在每类训练样本为25时，随着训练样本数量的增加，融合特征下的总体识别率也相应增加，比单一颜色特征高约13.98%，比单一纹理特征高约39.46%。由以上分析可看出，融合特征相较于单一特征，在样本数增大的过程中，优势逐渐增大，对增加识别率有帮助。

3.3 不同分类模型的分类准确率

将本文提取的融合特征使用不同的分类模型进行比较，即与传统分类模型和相关文章方法进行分类比较，分类准确率见表2所示。

表2 不同分类模型识别率情况表 %

由表2可看出：本文所提出的融合特征稀疏表示结合SRC算法的分类准确率分别为87.18%(每类15张训练图片)和94.49%(每类25张训练图片)。本文方法对比于文献[8]方法分类准确率提高了约4.53%和4.06%，对比于支持向量机分类模型的准确率提高了约9.92%和12.47%。对比于神经网络分类模型的分类准确率，提高了约5.35%和8.1%，比K-近邻分类模型提高了约12.89%和16.27%。图5可看出详细变化趋势情况。与其他几种方法相比，本文方法在训练样本不断增加的过程中，害虫测试样本的识别率持续增加，并持续保持较高水平。

图5 不同分类模型在训练样本增加时识别率

本文方法的图像分类方法不同于传统的支持向量机、神经网络、K近邻分类模型：其他三种分类模型直接使用了融合特征进行分类，将融合特征作为分类器训练的样本，该方式可以达到一定的分类识别率。而本文使用融合特征结合稀疏表示的方式，将特征以原子的形式保存在字典中，针对每一类单独学习其子字典，利用不同稀疏系数的线性组合有效地对测试样本进行表示，对特征进行稀疏编码，随样本量增加逐渐增强特征的鲁棒性。对于文献[8]中的方法，其将每类特征单独进行稀疏表示，之后结合每类学习的权值获得分类结果，与本文的分类方法在融合特征的方式和具体分类策略上存在不同。结合以上图标与分析，可得出结论，随着样本量的增加，本文方法拥有更好的识别准确率。

3.4 不同训练测试集下分类结果

本节仅比较本文方法和上节结果中分类效果较好的2种分类方法的识别个数情况，其中仅在训练样本和测试样本数均为25时的条件下比较，实验结果如图6、图7和图8所示。图6、图7、图8中不同颜色线条代表各类害虫，实验编号为1～10，不同实验序号下训练测试样本随机选择，同一实验编号下两种方法使用相同的训练测试样本，折线变化情况表示识别的害虫个数的变化情况。对比三幅图可以看出，本文方法相较于其他两种分类方法正确分类个数波动情况较小，对每类害虫正确分类个数在18～25范围内变化，正确分类个数普遍较多。对于文献[8]中分类方法的识别情况，识别变化总体在16～25的范围内，对于害虫中的直纹弄蝶，该分类模型在不同的训练测试样本下差别较大，且一度正确分类数较低，持续仅识别为16至19幅，另有多类害虫正确分类个数波动较大。对于神经网络分类模型，正确分类个数波动较大，在第三次实验中出现肾毒蛾正确分类个数仅为8个的情况，整体波动较大，正确分类数稳定性较差。

图6 本文方法1～10序号实验识别个数变化情况图

图7 文献[8]方法1～10序号实验识别个数变化情况图

图8 神经网络模型1～10序号实验识别个数变化情况图

表3记录了三种方法正确识别个数的统计信息。本文方法与另外两种分类方法正确分类个数平均值分别为23.621、22.607和20.521，标准差分别为1.058、1.391和2.958。由此可看出，本文方法总体分类效果较优，且对每类害虫正确分类情况较为稳定。

表3 正确分类个数均值与标准差均值

4 结 语

本文提出了一种基于多特征字典学习的害虫图像自动分类方法。利用颜色特征与纹理特征融合的方式表示害虫图像样本，并通过有监督的字典训练方式构建害虫图像特征的完备字典。利用改进的SRC分类模型对害虫图像进行稀疏表示并实现自动分类。通过实验表明，本文所提方法取得了较好的分类识别率，且分类正确率达到94.49%。此外，在算法稳定性方面，均优于传统的神经网络、支持向量机等分类模型。本文所提方法在农作物害虫图像识别的应用中，具有实际的意义。将来工作围绕多特征字典融合策略、非监督字典学习等方面加以考虑，提高复杂场合下害虫图像自动分类方法的自适应性与高效性。

[1] 黄世国.基于图像的昆虫识别关键技术研究[D].西安：西北大学,2008.

[2] 齐丽英.基于多特征综合的昆虫识别研究[J].安徽农业科学,2009,37(3):1380-1381.

[3] 竺乐庆,张真,张培毅.基于颜色直方图及双树复小波变换(DTCWT)的昆虫图像识别[J].昆虫学报,2010,53(1):91-97.

[4] 张建华,冀荣华,袁雪,等.基于径向基支持向量机的棉花虫害识别[J].农业机械学报,2011,42(8):178-183.

[5] Yaakob S N,Jain L.An insect classification analysis based on shape features using quality threshold ARTMAP and moment invariant[J].Applied Intelligence,2012,37(1):12-30.

[6] Wang J,Lin C,Ji L,et al.A new automatic identification system of insect images at the order level[J].Knowledge-Based Systems,2012,33:102-110.

[7] 韩安太,郭小华,廖忠,等.基于压缩感知理论的农业害虫分类方法[J].农业工程学报,2011,27(6):203-207.

[8] 胡永强,宋良图,张洁,等.基于稀疏表示的多特征融合害虫图像识别[J].模式识别与人工智能,2014,27(11):985-992.

[9] Elhamifar E,Vidal R.Robust classification using structured sparse representation[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on.IEEE,2011:1873-1879.

[10] Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[11] Bro R,Smilde A K.Principal component analysis[J].Analytical Methods,2014,6(9):2812-2831.

[12] Yang B,Chen S.A comparative study on local binary pattern (LBP) based face recognition:LBP histogram versus LBP image[J].Neurocomputing,2013,120:365-379.

[13] Ren X,Ramanan D.Histograms of sparse codes for object detection[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:3246-3253.

[14] Shekhar S,Patel V M,Chellappa R.Analysis sparse coding models for image-based classification[C]//2014 IEEE International Conference on Image Processing (ICIP),Paris,France.Piscataway,NJ,USA:IEEE Press,2014:5207-5211.

[15]ThiagarajanJJ,SpaniasA.Learningdictionariesforlocalsparsecodinginimageclassification[C]//2011ConferenceRecordoftheFortyFifthAsilomarConferenceonSignals,SystemsandComputers,PacificGrove,CA,USA.Piscataway,NJ,USA:IEEEPress,2011:2014-2018.

[16]JiangZ,LinZ,DavisLS.LabelconsistentK-SVD:learningadiscriminativedictionaryforrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(11):2651-2664.

[17]RubinsteinR,ZibulevskyM,EladM.EfficientimplementationoftheK-SVDalgorithmusingbatchorthogonalmatchingpursuit[R].TechnicalReport,CSTechnion,2008:1-15.

[18]WangJ,KwonS,ShimB.Generalizedorthogonalmatchingpursuit[J].IEEETransactionsonSignalProcessing,2012,60(12):6202-6216.

[19]AharonM,EladM,BrucksteinA.rmK-SVD:analgorithmfordesigningovercompletedictionariesforsparserepresentation[J].IEEETransactionsonSignalProcessing,2006,54(11):4311-4322.

[20]ChenSS,DonohoDL,SaundersMA.Atomicdecompositionbybasispursuit[J].SIAMReview,2001,43(1):129-159.

[21]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J].ACMTransactionsonIntelligentSystemsandTechnology(TIST),2011,2(3):389-396.

AUTOMATIC CLASSIFICATION METHOD FOR PEST IMAGE BASEDON MULTI-FEATURE DICTIONARY LEARNING

Zhang Chaofan1，2Wang Rujing1Xie Chengjun1*

1(InstituteofIntelligentMachines,ChineseAcademyofSciences,Hefei230031,Anhui,China)2(SchoolofInformationScienceandTechnology,UniversityofScienceandTechnologyofChina,Hefei230026,Anhui,China)

An automatic classification method for pest image based on multi-feature dictionary learning is developed to improve the accuracy of pest classification.With supervised dictionary learning,each pest image can be constructed as multi-feature overcomplete dictionary.In order to further enhance the abilities of identifying pest image in complex background,multi-feature of pest image are sparsely represented using the constructed overcomplete dictionary.Finally,the classification of pest is achieved by minimizing reconstruction error.Experimental results show that the proposed method performs well on the classification of insect species,and outperforms several state-of-the-art methods in insect categorization.

Multi-feature fusion Sparse representation Dictionary learning Pest image Overcomplete dictionary

2015-11-21。国家自然科学

31401293);国家科技支撑计划项目(2014BAD10B08);安徽省科技攻关计划项目(1401032010)。张超凡，硕士生，主研领域：图像识别。王儒敬，研究员。谢成军,副研究员。

TP391.4

A

10.3969/j.issn.1000-386x.2017.03.026