任守纲　陆海飞　袁培森　薛　卫　徐焕良,2

(1.南京农业大学信息科技学院， 南京 210095； 2.国家信息农业工程技术中心， 南京 210095)



基于显著性检测的黄瓜叶部病害图像分割算法

任守纲1陆海飞1袁培森1薛卫1徐焕良1,2

(1.南京农业大学信息科技学院， 南京 210095； 2.国家信息农业工程技术中心， 南京 210095)

针对复杂背景下黄瓜叶部病害分割精度不高的问题，提出了一种基于显著性检测的黄瓜叶部病害图像分割算法。首先利用超像素将黄瓜图像分块，获取黄瓜叶片的边缘，并提出了一种超像素间权重计算方法和显著种子选取方法；然后通过流形排序计算显著图，对得到的显著图进行阈值分割，得到二值图像；再将二值图像与原图像进行掩码运算，得到黄瓜病害叶片；最后利用超绿特征和数学形态学对病害叶片进行分割得到病斑。对常见的黄瓜病害(白粉病、褐斑病、霜霉病、炭疽病)图像进行测试，结果表明该算法与Otsu算法和k-means算法相比，有效解决了冗余分割问题，错分率均在5%以内，算法平均执行时间均小于4 000 ms，分割效果更加精确，为后续构建黄瓜病害自动识别系统奠定了基础。

黄瓜; 病害图像； 显著性检测; 流形排序; 图像分割

引言

农作物病害严重威胁着作物的健康生长，大量使用农药又影响了农产品的健康品质，因此对农作物病害早发现、早防治，是提高农作物产量、减少农药使用量的关键。利用机器视觉进行农作物病害自动识别已成为农业信息化和智能化研究的重要课题。在识别过程中，如何在复杂背景下实现高精度的图像分割对提取作物叶部病害图像至关重要，病斑分割的精度直接影响到后期特征提取与病害识别的效果。

近年来，在作物病害分割方面，已开展了一系列的研究工作[1-4]。复杂背景下，病害叶片与正常叶片绿色部分颜色相似，病害部分与黄褐色泥土颜色相似，这些对病叶的提取、病害部位的高精度分割都造成了难度。

针对复杂背景下的黄瓜病害分割难的问题，提出基于显著性检测的黄瓜叶部病害图像分割算法(Segmentation algorithm of cucumber leaf disease image based on saliency detection，SCLDSD)，采用超像素预处理、流形排序、哈里斯点及凸包对黄瓜病害叶片进行提取，并进一步对叶部病害进行图像分割操作。

1　显著性检测原理

显著性检测的本质是一种视觉注意模型(Visual attention model, VAM)[5]。VAM是依据视觉注意机制建立的,通过视觉获得图像中的显著部分,用灰度图代表显著度的大小。

显著性检测的基本原理是：对于原始图像，用分块方法将图像分块，通过计算得到每个像素块的灰度，用来表示该像素块的显著度。显著性检测可以简单描述成一个图标号问题[6]：以像素块为结点构建图，设定一些结点作为显著种子，然后通过显著度计算函数计算其他结点与显著种子的相似度，形成最终的显著图。

2　SCLDSD算法框架

基于显著性检测的黄瓜叶部病害图像分割算法主要分为两部分：①背景分割，主要包括超像素预处理、超像素节点间权重计算、流形排序以及显著种子选取。②病害图像分割，主要包括超绿特征分割和形态学膨胀处理。

2.1超像素预处理

超像素分割方法的思想主要受ZHOU等[7]提出的半监督学习分类算法的启发。超像素，即具有相似方向和相似颜色特征的一系列像素集合，可以在一定程度上保持良好的目标边界。采用超像素分割方法对图像进行预处理，结果如图1所示，可见较好地保留了病害叶片轮廓，为后续的病害提取与分割奠定了基础。

图1　超像素分割结果Fig.1　Results of superpixel image segmentation

2.2显著性扩散中的权重度量

将得到的超像素表示为：X={x1,x2,…,xn},并以此为结点构建无向图。定义：图中某一结点仅与其相邻的结点及它们的相邻结点存在边连接，以邻接矩阵作为图的存储结构。边缘权重在很大程度上会影响最终显著图的预测[8]，许多早期的显著性模型通常直接使用欧氏距离[9]来计算节点之间的权重，但该方法对复杂背景下不规则物体的检测效果较差，不适用于黄瓜叶片病害图像的分割。因此在综合考虑图像颜色、方差和直方图特征的基础上，提出了一种权重度量来计算节点之间的相似度，即

(1)

式中ri、rj——超像素

σc、σv、σh——控制权重的特征参数，分别取5、2、2[10]

cc(ri,rj)、cv(ri,rj)、ch(ri,rj)分别表示ri和rj间颜色、方差和直方图特征的差异。

颜色特征差异的计算式为

cc(ri,rj)=‖μi-μj‖2

(2)

式中μi、μj——ri和rj在RGB空间的颜色均值

方差特征的差异表示为

(3)

式中σv(ri)、σv(rj)——ri和rj间的方差

n(ri)、n(rj)——ri和rj中的像素数

直方图特征差异计算式为

(4)

式中hk(ri)、hk(rj)——ri和rj直方图第k个分量

d——分量个数，取256

2.3流形排序

流形排序已经广泛应用在图像检索中[11]，本文利用其对超像素进行标记，利用显著性扩散来预测超像素的显著值。对于超像素集合X={x1,x2,…,xn}，定义其标记向量集合Y=[y1,y2,…,yn]，排名函数向量集合F=[f1,f2,…,fn]，若xi为显著种子，则yi=1，否则yi=0。以式(1)中的wij形成权重矩阵W，W中无边连接的超像素间的权重为∞，超像素自身与自身的权重为零[12]，则有

F(n+1)=βWF(n)+(1-β)Y

(5)

式中F(n)——排名函数向量

β属于[0,1)，综合考虑W和Y，令β=1-β，则β=0.5，通过式(5)进行迭代直至其收敛，假设收敛时的F值为F*，则有

F*=(I-βW)-1(1-β)Y

(6)

式中I——单位矩阵

得到其收敛时的F*，作为各个超像素的显著值。

2.4显著种子的选取

对于显著性扩散策略，显著种子的确定是关键[13]。传统的算法多选择图像中心部分作为显著种子，但是仅对目标位于图像中心位置时效果良好，鲁棒性不足，因此采用哈里斯算子[14]和凸包进行显著种子选取。

首先使用哈里斯算子对目标进行检测，大部分哈里斯点都集中在病害叶片区域，如图2a所示。

图2　哈里斯点和凸包Fig.2　Harris points and convex hull

假定点集P，P的凸包即包含P的最小凸多边形[15]。利用哈里斯点生成凸包，可以进一步优化显著种子的选取。如图2b所示，凸包占据大部分的黄瓜病害叶片和小部分背景。将病害图像分为2部分：m个超像素在凸包内，n个超像素在凸包外，超像素有部分位于凸包内也算作凸包内超像素，定义凸包内外超像素间的平均距离di为

(7)

式中rIi——凸包内的超像素

rOj——凸包外的超像素

d(rIi,rOj)——rIi和rOj之间的欧氏距离

通过设置阈值T来计算显著种子，阈值T计算式为

(8)

凸包内的超像素距离凸包外的超像素越远，其成为显著种子的可能性越大，因此通过式(8)将凸包内di大于等于T的超像素选为显著种子。

2.5病害叶片提取

由式(6)中的F*可以得到显著图，将显著图进行阈值分割，可得到二值图像，将二值图像与原图像进行掩码运算，可将前背景分离，得到的分割结果如图3所示。由图可见，得到的显著图较为理想，提取了较完整的叶片，同时有效分离了背景，为后续病害分割奠定了良好基础。

图3　叶片提取Fig.3　Leaf extraction

2.6病害图像分割

在提取出叶片后，对叶片病害进行图像分割。对于黄瓜叶片来说，正常为绿色，病斑为非绿色，因此采用超绿特征ExG[16]对叶片病斑进行分割，得到灰度图，计算公式为

(9)

对得到的灰度图进行二值化处理，再进行形态学膨胀操作使病斑更加饱满自然，最后通过与提取出的叶片原图进行掩码运算得到最终的病斑分割结果，如图4所示。由图可见，得到了较为精确的病斑。

图4　病害分割Fig.4　Disease segmentation

2.7算法的基本步骤

SCLDSD算法主要包括6个步骤：①对黄瓜原图进行超像素预处理，形成超像素级别的区域块，并以此构建无向图。②计算图结点之间的权重。③选取显著种子。④流形排序计算显著图。⑤得到最终的显著图，提取叶片。⑥利用超绿特征和形态学膨胀分割出病斑。

算法流程图如图5所示。

图5　算法流程图Fig.5　Flow chart of the algorithm

3　实验结果与分析

为了验证SCLDSD算法的正确性和有效性，选取了设施环境下黄瓜白粉病、褐斑病、霜霉病、炭疽病图像各50幅，将其分辨率统一设置为100像素×130像素，实验用计算机CPU为2.2 GHz，T6670处理器，内存2 GB，Windows 7操作系统，运行平台为Matlab 2010。

3.1提取叶片实验

对不同病害图像进行病害叶片提取操作，将前景与背景分离得到分割结果，病害叶片提取效果如图6所示。

图6　叶片提取结果Fig.6　Results of leaf extraction

图6为通过SCLDSD算法得到的不同病害叶片的提取结果，均是在复杂背景下进行的叶片提取，其中炭疽病和霜霉病叶片均与背景中的颜色有很大程度的重叠，褐斑病病害部分与泥土颜色也存在重叠。结果显示，本文算法有效分离了复杂背景，得到了较为完整的黄瓜叶片，验证了SCLDSD算法中显著图生成的有效性。

3.2病害图像分割实验

为了验证SCLDSD分割算法的效果，以最大类间方差(Otsu)分割算法、k-means聚类分割算法以及本文算法对不同黄瓜病害图像进行分割，分割效果如图7所示，图中由上至下分别为不同黄瓜病害原图以及经Otsu分割算法、k-means聚类分割算法、本文算法处理后的图像。

图7　病害分割结果Fig.7　Segmentation results of disease

由图7可以看出，Otsu算法不能很好地消除背景，造成背景中一些颜色与目标相似的区域也被展现，即冗余分割。k-means聚类算法与Otsu算法相比效果有所改善，但是仍受背景影响，且未能完全分割开病斑，SCLDSD算法在保持病斑数量完整性的同时，得到了较为精确的病斑，分割效果较好。

3.3分割结果误差分析

不同的分割算法结果会存在一定的误差，使用Matlab 2010及以上3种分割方法对黄瓜白粉病、褐斑病、霜霉病以及炭疽病各50幅病害图像进行分割误差分析，结果如图8所示。由图可见黄瓜褐斑病的人工分割结果和k-means算法的错分区域，错分区域可以通过算法分割结果与人工分割结果进行异或操作得到。

图8　分割误差Fig.8　Segmentation error

通常采用错分率[17]作为分割结果的评价标准。错分率计算式为

(10)

式中ER——错分率，%

Ne——错分区域的总像素数

Na——原图的总像素数

对每种病害的50幅图像进行计算得到不同分割算法的平均错分率，结果如表1所示。

表1　不同算法的平均错分率Tab.1　Average error rate of each algorithm　%

如表1所示，Otsu算法仅采用阈值分割，造成大量背景冗余，平均错分率较大，分割效果较差；k-means算法采用聚类原理分割，平均错分率低于Otsu算法，但也超过了10%，SCLDSD算法平均错分率均小于5%，是一种有效的分割算法。

3.4算法的运行时间

在图像处理算法中，时间消耗是一个重要考量因素，利用Matlab 2010，对白粉病、褐斑病、霜霉病以及炭疽病病害图像各50幅(分辨率均为100像素×130像素)进行分割，3种算法的平均运行时间如表2所示。

表2　各算法平均执行时间　Tab.2　Average execution time of each algorithm　ms

从表2中发现，Otsu算法仅利用阈值分割，处理速度较快，时间均不到1 s，k-means算法由于针对像素级别进行聚类，时间消耗较大，SCLDSD算法的时间消耗主要集中在显著图计算上，因为引入了超像素，可以越过像素级直接对像素块级别进行操作，所以即使引入了一些约束和迭代思想，最终的运行时间仍小于k-means算法，具有较为合理的时间效率。

4　结束语

在研究现有作物病害尤其是黄瓜叶部病害分割方法的基础上，提出了一种基于显著性检测的黄瓜叶部病害分割算法(SCLDSD)。实验结果表明，SCLDSD算法在分离目标和背景的时候效果较好，提取了较为完整的黄瓜叶片，对叶片进行病害分割时能够得到目标完整、精确的病斑，与Otsu算法和k-means算法相比，有效解决了冗余分割的问题，分割结果更加精确，且具有较小的错分率与合理的运行时间，是一种有效的黄瓜叶部病害分割算法，对其他绿色作物病害的分割也有一定的应用价值。

1毛罕平, 张艳诚, 胡波. 基于模糊C均值聚类的作物病害叶片图像分割方法研究[J]. 农业工程学报, 2008, 24(9):136-140.

MAO Hanping, ZHANG Yancheng, HU Bo. Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm [J]. Transactions of the CASE, 2008, 24(9): 136-140. (in Chinese)

2王海青, 姬长英, 顾宝兴,等. 基于参数自适应脉冲耦合神经网络的黄瓜目标分割[J]. 农业机械学报,2013,44(3):204-208.

WANG Haiqing, JI Changying, GU Baoxing, et al. Cucumber image segmentation based on weighted connection coefficient pulse coupled neural network [J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(3):204-208. (in Chinese)

3田杰, 韩冬, 胡秋霞,等. 基于PCA和高斯混合模型的小麦病害彩色图像分割[J]. 农业机械学报, 2014,45(7):267-271.

TIAN Jie, HAN Dong, HU Qiuxia, et al. Segmentation of wheat rust lesion image using PCA and Gaussian mix model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7):267-271. (in Chinese)

4赵瑶池, 胡祝华. 基于对数相似度约束Otsu的自然场景病害果实图像分割[J]. 农业机械学报, 2015，46(11)：9-15.

ZHAO Yaochi, HU Zhuhua. Image segmentation of fruits with diseases in natural scenes based on logarithmic similarity constraint Otsu [J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(11):9-15. (in Chinese)

5PAN C, PARK D S, YANG Y, et al. Leukocyte image segmentation by visual attention and extreme learning machine[J].Neural Computing & Applications, 2011,21(6):1217-1227.

6LI J, LEVINE M D, AN X, et al. Visual saliency based on scale-space analysis in the frequency domain[J].Pattern Analysis and Machine Intelligence,2013,35(4):996-1010.

7ZHOU D, BOUSQUET O, LAL T N,et al. Learning with local and global consistency[J]. Advances in Neural Information Processing Systems,2004,16(4):321-328.

8FU K, GONG C, GU Y H, et al. Normalized cut-based saliency detection by adaptive multi-level region merging[J]. IEEE Transactions on Image Processing, 2015, 24(12):5671-5683.

9DOKMANIC I, PARHIZKAR R, RANIERI J, et al. Euclidean distance matrices: a short walk through theory, algorithms and applications[J]. IEEE Signal Processing Magazine, 2015, 32(6):12-30.

10LI H, WU W, WU E. Robust salient object detection and segmentation[M]. Germany: Springer International Publishing, 2015.

11ZHOU J, REN Y, YAN Y, et al. Salient object detection: manifold-based similarity adaptation approach [J]. Journal of Electronic Imaging, 2014, 23(6):704-714.

12严蔚敏，吴伟民.数据结构(C语言版)[M].北京:清华大学出版社，2007.

13WANG J, LU H, LI X, et al. Saliency detection via background and foreground seed selection[J]. Neurocomputing, 2015, 152:359-368.

14ZHANG C, TAO Z, WEI X, et al. A flexible framework of adaptive method selection for image saliency detection[J]. Pattern Recognition Letters, 2015, 63:66-70.

15YANG C, ZHANG L, LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal Processing Letters, 2013,20(7):637-640.

16张志斌, 罗锡文, 臧英,等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报, 2011, 27(7): 183-189.

ZHANG Zhibin, LUO Xiwen, ZANG Ying, et al. Segmentation algorithm based on color feature for green crop plants[J].Transactions of the CASE, 2011, 27(7):183-189. (in Chinese)

17邓晓政, 焦李成, 卢山. 基于非负矩阵分解的谱聚类集成SAR图像分割[J]. 电子学报, 2011, 39(12): 2905-2909.

DENG Xiaozheng, JIAO Licheng, LU Shan. Spectral clustering ensemble applied to SAR image segmentation using nonegative matrix factorization [J]. Acta Electronica Sinica, 2011, 39(12): 2905-2909. (in Chinese)

Segmentation Algorithm of Cucumber Leaf Disease Image Based on Saliency Detection

Ren Shougang1Lu Haifei1Yuan Peisen1Xue Wei1Xu Huanliang1,2

(1.CollegeofInformationScienceandTechnology,NanjingAgriculturalUniversity,Nanjing210095,China2.TheStateInformationofAgriculturalEngineeringTechnologyCenter,Nanjing210095,China)

In order to solve the problems of low accuracy of cucumber leaf disease image segmentation in complex background, a new segmentation algorithm of cucumber leaf disease image based on saliency detection (SCLDSD) was proposed. The proposed algorithm mainly consists of two parts: saliency detection in cucumber disease image which is used to get the leaf extraction and image segmentation which is used to get cucumber leaf disease. The algorithm first used the superpixel segmentation method to divide the cucumber image into blocks, got the edge of cucumber leaf preferably, and proposed a new method to calculate the weights among different superpixels. Then the algorithm used Harris points and convex hull to select saliency seeds. After using manifold ranking to compute the saliency map, the threshold segmentation was adopted on the obtained saliency map to get the binary map. At last, the cucumber disease leaf and background of the original image were separated by adding the binary map to the original image. In order to obtain the disease parts, ExG was used to expand the disparity of green parts and lesion parts and then threshold was used to carry out the segmentation. Finally, the morphological operation was processed in order to obtain fuller lesion. The proposed algorithm was tested on common cucumber disease images. The experimental result shows that the algorithm effectively solves the redundant segmentation and it’s more accurate with the error rate less than 5% and the average execution time of the algorithm less than 4 000 ms in segmentation. From the results it can be concluded that the algorithm verifies the feasibility and practicality of the saliency detection algorithm in processing of disease images. Meanwhile it lays the foundation for the subsequent establishment of the automatic identification system of cucumber disease.

cucumber； disease image; saliency detection; manifold ranking; image segmentation

10.6041/j.issn.1000-1298.2016.09.002

2016-01-19

2016-03-28

国家自然科学基金项目(61502236)、江苏省博士后科研资助计划项目(1302038B)和江苏省农业三新工程项目(SXGC2014309)

任守纲(1977—)，男，副教授，主要从事人工智能与农业信息化研究，E-mail： rensg@njau.edu.cn

徐焕良(1963—)，男，教授，博士生导师，主要从事农业信息化研究，E-mail： huanliangxu@njau.edu.cn

TN911.73； S126

A

1000-1298(2016)09-0011-06