徐伟悦　田光兆　姬长英　张　波　蒋思杰　张　纯

(1.南京农业大学工学院， 南京 210031; 2.江苏省智能化农业装备重点实验室， 南京 210031)



自然场景下苹果图像FSLIC超像素分割方法

徐伟悦1，2田光兆1，2姬长英1，2张波1，2蒋思杰1，2张纯1，2

(1.南京农业大学工学院， 南京 210031; 2.江苏省智能化农业装备重点实验室， 南京 210031)

应用Cauchy-Schwarz不等式，推导出一个聚类搜索过程中剥离不必要计算的条件，早期预估后舍掉符合预设条件的候选聚类，提出了基于自然场景的快速简单线性迭代聚类算法(FSLIC算法)。对包含极端恶劣条件下的500幅苹果图像进行了边界召回率检验和运行速度测试；统计了极端恶劣条件下的30幅苹果图像的全局错误率GCE、假阳性率FPR和假阴性率FNR。试验表明，提出的FSLIC算法减小了后续迭代过程中的冗余误差，边界召回率较GB超像素分割算法平均提高了21.7%，速度是GB超像素分割算法的1.83倍；整个图像分割过程中基于超像素的分割算法(GB、FSLIC)的GCE值较常规分割算法(BP、WT、SVM)平均减小了13%，较常规算法的GCE值减小了19%。

苹果图像; 超像素分割; 自然场景; 简单线性迭代聚类

引言

室外自然环境下农田果园作业场景复杂，自然光照随时间变化较大，从早晨或黄昏的弱大气光到中午的强太阳光，光照的强度和颜色都存在一定差异；不同生长时期的植物获取的田间图像光照条件不同，颜色变化明显；果树枝叶遮挡、多果邻接及重叠遮挡都会产生各种不同形式的阴影。果园中自然场景的不确定性和模糊性使得农田自然环境图像分割成为一个具有很大挑战性的任务[1-3]。

当前已有的果蔬收获机器人视觉系统中，针对自然光照干扰目标分割所采用的方法主要有：利用摄像机加滤光片来获取自然光下目标图像，降低光照对图像影响；在人工辅助光源下进行图像采集，获取自然环境中在弱光照、强光照、逆光照和阴影的条件下的图像；利用特定变换或增强算法对自然场景下的图像进行处理，得到与光照无关的图像。这种人工干预和人工光源方法的优点是可以简化处理过程，后继分析也能得到较好结果，然而，在实际应用中这种方法受到限制，同时果蔬图像的采集大多需要在自然光照下进行。光照无关图法对减小光照的影响有一定效果，但分割结果对极端恶劣光照条件下图像的鲁棒性以及处理速度均不够理想[4-12]。

大部分图像分割算法均以像素为基本单元，忽略了像素之间固有的空间信息，使得非结构化的自然场景下图像处理结果不甚理想。近年超像素的提出使像素之间空间组织关系得到了有效利用，研究表明超像素可以使图像处理效果和效率得到有效提升[13-15]。所谓超像素，是指具有同质特征的相邻像素构成的图像块，超像素的同质特征包括纹理、颜色、光照度等[16]。

基于颜色和距离相似性的SLIC(Simple liner iteration clustering)算法在图像预处理应用中越来越受到研究者的重视，这种算法产生的超像素大小均匀，减少了后续冗余计算的维度；算法思想简单、易操作，且只需要调节单个参数即可控制产生的超像素个数；分块能较好地贴合目标边界；每个超像素块内部的像素之间特征差异很小[17]。

超像素分割算法对处理随机不确定的场景图像具有很强的鲁棒性[18]，但其在农田复杂场景图像中的应用近乎空白。本文借鉴其他自然场景的超像素处理算法[19-21]，针对非结构化的果园自然场景对SLIC超像素分割算法进行改进，并将改进后的算法应用到苹果图像分割处理中。原始SLIC算法分割效果好且对极端恶劣的光照影响不敏感，但是时效性差。因此本文提出针对极端环境光照下的改进快速简单线性迭代聚类算法(FSLIC算法)。

1　SLIC超像素分割

简单线性迭代聚类算法(SLIC算法)是ACHANTA等[22]扩展K均值聚类提出的一种超像素分割算法。

(1)

其中

(2)

(3)

λ=r/S

式中Ck——具有相同颜色特征类的聚类中心

Dc(i,Ck)——颜色空间距离矩阵

Ds(i,Ck)——位置空间距离矩阵

D(i,Ck)——第i个像素和超像素中心Ck的距离矩阵

r——紧实度归一化系数，取10

式(2)、(3)分别是在颜色域和空间域的欧氏距离公式。

2　FSLIC超像素分割

2.1Cauchy-Schwarz不等式

定理(Cauchy-Schwarz不等式[24])：若a1,a2,…,an和b1,b2,…,bn是任意实数，则有

(4)

此外，如有ai≠0，则式(4)中的等号存在条件是只有一个实数X使得对于任何k=1,2，…，n都有akX+bk=0成立。

Cauchy-Schwarz不等式的范数写法为

|〈x,y〉|≤‖x‖·‖y‖

(5)

2.2SLIC算法的范式变形

在聚类分配步骤中，￡s是初始化采样点，按照式(1)遍历所有搜索域，使得图像中的每个像素i都与Ci相关联。参照文献[17]，在每个聚类中心点Ci的2S×2S邻域内，计算D(i,Ck)以得到最佳匹配像素点。计算规定范围内的各个像素梯度，初始采样点即梯度的最小值。图像梯度的计算公式为

G(x,y)=‖I(x+1,y)-I(x-1,y)‖2+

‖I(x,y+1)-I(x,y-1)‖2

(6)

式中I(x,y) ——Lab颜色空间中(x,y)对应的空间位置

式(6)同时考虑了光照度和位置信息。

在更新聚类过程中，每一个fCk的更新都与RCk同步，其中RCk表示以Ck为聚类中心的超像素，fCk表示以Ck为聚类中心的具有相同颜色特征的类。重复聚类分配和更新直到收敛为止。终止条件是残留误差在新聚类中心和原始聚类中心的差小于阈值[25]。

在具有三维颜色特征l、a、b的CIE LAB颜色空间和二维位置特征x、y位置空间中，大小为N=L×M图像的单个像素是一个特征向量，表示为fi=[li,ai,bi,xi,yi]T，f=[l,a,b,x,y]T。类似地，一组具有相同颜色特征的类以Ck为聚类中心，即有

fCk=[lCk,aCk,bCk,xCk,yCk]T

(7)

式(1)用矢量形式表示为

‖f‖w‖Wf‖

(8)

式中W——一个对角线元素wii≠0的对角矩阵

w——矩阵W中某一元素值

当W=diag(1,1，1，λ，λ)，得到初始像素i的加权L2范数的特征向量为

(9)

同样的，聚类中心Ck的加权范数可以表示为

(10)

于是得到距离矩阵的向量形式

(11)

2.3FSLIC算法的实现

由k均值聚类算法演变来的SLIC算法从根本上讲是一个迭代算法。通过迭代，超像素逐步变换生成了均质块。在第1次迭代过程中，超像素变化很剧烈，但是在某步迭代后超像素变化越来越小，直到最后局部收敛[26]。

因此，在某一步迭代后，大部分的像素基本上都在重复归属同一个聚类。在FSLIC算法中，通过应用一个基于带权值的L2范数像素和强鲁棒性不等式条件减少这种冗余计算，即

(12)

式中Ck*——聚类搜索i的最近邻聚类中心

Ci搜索域包含了i的一组聚类中心R(i)[27]。

(13)

此时

D′(i,Ck)D(i,Ck)-‖fi‖2w=

(14)

应用Cauchy-Schwarz不等式，同时由式(14)可得

‖fCk‖2w-2‖fCk‖W·‖ fi‖W=

‖fCk‖W(‖fCk‖W-2‖fi‖W)D″(i,Ck)

(15)

假设有一些候选聚类中心已经被遍历到，应用式(14)，如果另一个候选的Ck满足

D″(i,Ck)≥d′min

(16)

式中d′min——到目前为止最小的距离

可以保证D′(i,Ck)≥d′min。因此，当Ck和i的距离总是大于目前为止的聚类中心距离时，不需要计算D′(i,Ck)即可淘汰Ck。

式(16)中的不等式称作预先聚类淘汰条件(Predict candidate cluster elimination,PCCE)。应用了Cauchy-Schwarz不等式的PCCE条件获得了更少的计算量，同时减少了冗余计算产生的分割误差，得到了更好的聚类结果。

2.4条件随机场模型

本文FSLIC算法以及Graph-based超像素分割算法(GB算法)所选模型均为条件随机场模型[28]。条件随机场模型实现过程为：首先建立图模型，模型选择即定义相容函数φi(·)和φij(·)，然后进行参数学习，确定模型中的参数，实现模型推理，通过给定的已知观察数据x和模型参数θ来估计对应的类别标记y。最后获取分割或者分类标记图像的结果。图1为条件随机场算法的示意图。

图1　算法流程图Fig.1　Flow chart of algorithm

3　试验结果与分析

通过超像素分割性能测试的若干试验对比分析GB算法[29]、BP神经网络分割算法(BP)[30-31]、支持向量机分割算法(SVM)[32]和WT分水岭分割算法(WT)[33]。

3.1试验环境

创建一个由2 000幅苹果树图像组成的数据库。图像采集地点是徐州市丰县大沙河果园示范区，日期为2015年10月1—31日，采集设备为Point Grey单目相机。所有试验结果通过CPU为64位i7-2600四核3.39 GHz、内存为8 GB的研华IPC-6606型工控机得到，试验编程环境为Visual Studio 2013。原始算法代码参照文献[34]。性能测试运行时间统计采用GetTickCount命令自动计时，其精度为毫秒级。

3.2超像素分割对比试验

3.2.1超像素分割效果检验

SLIC算法的超像素分割逼近程度受超像素块数目和光源条件的共同影响[35]。应用图像细节对比试验测试改进的FSLIC算法与原始算法的相似度，并进行相似度和分割结果之间关系的试验。

图2　逆光苹果图像的超像素分割结果对比Fig.2　Superpixel segmentation contrast of backlight apple images

顺光高光照度和逆光低光照度是自然环境下果园中两个极端光照问题。对2 000幅图像组成的数据库中具有光照极端条件的500幅图像分别进行试验，图像的大小均为558像素×373像素，本节仅列出随机抽取的2幅试验图像，图像拍摄角度为水平方向正负误差不超过10°。图2为13∶38的低光照度逆光图像，光照度为23.8 klx。图3为12∶22的顺光图像，其光照度为30.4 klx。利用SLIC原始算法和FSLIC算法分别进行超像素分割试验，超像素数N分别为50、100、200、300、400、500、800、1 000。

图3　顺光苹果图像的超像素分割结果对比Fig.3　Superpixel segmentation contrast of frontlight apple images

如图2所示，图2a左列为应用SLIC算法的处理结果，图2a右列为白色框SLIC算法放大细节图。图2b左列为应用改进算法FSLIC的处理结果，图2b右列为改进算法同一位置放大细节图。从分割的直观结果看，在光照度较小的逆光图像中，当N=50时，超像素聚合块二者基本无差异，而当N大于100时，聚合块的变化呈增长趋势。超像素聚合块差异没能影响苹果目标的分割边界轮廓，如图2a、2b右列的目标边界保持误差基本可以忽略不计。从图2细节图可以明显观察到，当N=500时，改进算法的边界保持效果明显优于原始算法，由于图像是逆光拍摄，光线较暗，前方苹果和后方树枝的光照度差异和颜色差异很小，因此二者在原始算法中被误分割，在本文算法中只产生了小部分的突起。N从50变化到800时，图2c中GB算法产生的超像素块分布一直极不均匀，很容易使后续的边界分割步骤产生误召回；同时边界的毛刺充斥着GB算法在N的变化整个过程。

从图3可以看出，在光照度较大的顺光图像中，并没有因为阴影的出现使得分割效果变差。当N从50变化到200时，FSLIC算法的边界误分割率明显低于SLIC算法，在N=400时效果较差，但N从500变化到1 000时，误分割率又渐渐接近了原始算法。同期对比GB算法和本文算法，虽然GB算法在N=300 和N=400 时边界召回率与本文算法相差无几，如图3c所示，但受阴影影响较大，超像素形状极不均匀，分割的整体效果较差。

综合图2、3可以得出，本文算法分割效果整体优于原算法和GB算法，同时发现本文算法在超像素数为500～800范围内分割效果最佳。在苹果图像分割的实际应用时，超像素聚类块的个数不能过大或过小，过大对分割目标边界基本无影响，过小区域分割不明显。

3.2.2超像素分割边界召回率分析

结合在自定义数据库中包含恶劣条件的500幅图像分割后的数据，分析3种算法的欠分割错误率，结果如图4a所示。3条曲线在超像素总数小于500时产生了波动，但总体的欠分割错误率相差不大，尤其当N大于500之后，SLIC和FSLIC曲线越来越靠近，证明本文算法的欠分割错误率没有因为迭代过程的变化而受影响。GB算法的曲线在N=200时发生了波动，但其总体错误率均高于本文算法。三者平均边界命中率对比见图4b。改进算法与原始算法的边界识别率总体持平，在N大于500时改进算法分割效果优于原始算法。

综合图4可以得出，由于迭代过程的优化，避免了许多超像素畸形扩张，不管是低光照度的逆光还是高光照度的顺光阴影部分，改进方法的边界保持性能优良。

图4　边界召回率结果Fig.4　Analysis of recall rate

3.2.3超像素分割运行效率对比与分析

图5为运行效率评测试验，采用GetTickCount命令自动计时，精度为毫秒级。本文算法应用一个带权值范数像素和鲁棒性很高的不等式条件大大减少了冗余计算，省去了大量非必需的由距离计算和对比计算的聚类搜索。从图5可以很直观地发现，当N>100后，3种超像素分割算法的运行速度整体趋势都是随着超像素总数的增加而相应减少；本文提出的FSLIC算法优于具有良好分割结果的GB超像素分割算法以及传统分割算法，同时分割效率显著提高，算法运行时间至少比原始算法缩短了20%，比GB算法缩短了50%。

图5　运行时间分析Fig.5　Analysis of execution time

3.3算法整体分割性能分析

从目标图像分割的边界保持性来评价FSLIC算法的可靠性。GB算法是目前该领域公认的能较好保持图像边界、速度较快的超像素分割算法[29]。BP神经网络算法、小波变换分水岭算法(WT)和支持向量机算法(SVM)属于传统算法。其中BP神经网络算法采用3层(输入层、输出层和隐含层)和3×3邻域像素，利用线剖面技术提取颜色特征，利用对比度和相关性提取纹理特征，经过100次循环，目标值与实际输出的误差降至0.001时终止，获得了有效的网络权值，经过35次训练达到稳定[30-31]。分水岭算法采用了基于二级小波变换方法[33]。支持向量机算法提取HLS颜色空间的H和S通道值作为颜色特征，以圆方差、椭圆方差、紧密度和周长平方面积比作为形状特征，参照文献[32]中基于粒子群优化确定的支持向量机中惩罚参数C及核函数K，用其得到的最佳参数构造了SVM分类器。BP神经网络算法和支持向量机算法是人工选取100幅苹果图像作为训练样本集，训练样本集分别为高照度强光样本集、低照度背光样本集、光照不均匀的多云样本集、多果邻接样本集和严重粘连样本集，每类训练样本集均由20幅恶劣光照条件下的苹果图像组成。

本文算法以及GB算法所选模型为条件随机场模型。所选样本分为两类：目标苹果类和非目标类。苹果属于目标类，树枝、树干、树叶、地面、天空等属于非目标类。

样本数据类别通过软件标记获取。软件标记的过程为：将数据库中图像加载到软件中，手动选取苹果类在图像中统一标记为红色，同时利用软件反向选取并自动标记其余非目标苹果类为绿色，最后输出标记成功的图像，如图6所示。试验中模型训练迭代次数最大值Nmax取值为30。

图6　手工标记过程Fig.6　Handed labeling process

3.3.1定性分析

不同算法的分割结果对比如图7所示，从左到右依次为原图、FSLIC算法、GB算法、BP算法、WT算法、SVM算法。

图7　苹果图像分割结果对比Fig.7　Comparison of segmentation result

图7a、7b是与前一节相同场景的对比试验图像。在单果图像的同一光照场景下，应用FSLIC算法、GB算法以及SVM算法的分割效果接近，而BP算法和WT算法效果相对较差。但当图像为多果邻接时,本文算法明显优于其他算法，如图7b中5个苹果互相遮挡或邻接，应用FSLIC算法最终可将苹果遮挡部位和邻接部位的边界较清晰地区分出来,而其他4种算法进行分割后的邻接目标粘连，甚至背光部分目标缺失。

对比经过FSLIC算法和GB算法后的图像，尤其图7b、7e，可以看出，GB的分割效果较差，很可能是因为FSLIC算法对聚类的重复归属步骤减少，同时超像素分割步骤中GB算法得到的超像素大小和形状不规则，导致后续处理过程中对形状特征不敏感，形成了更多的错分域。

为了进一步验证FSLIC算法对遮挡边界和邻接边界的鲁棒性，进行了光照较均匀的阴天和光照度动态变化的晴天(顺光和逆光)对比试验。图7c为阴天光照度为10.23 klx的图像，由各个算法分割结果可以看出，FSLIC算法有效避免了遮挡造成的分割目标粘连现象，邻接被遮挡部分仍可以分辨出前后端苹果的邻接边界。同时为了验证本文算法对阴影和高光图像的影响，晴天逆光光照度为23.20 klx和顺光光照度为29.21 klx的整体分割结果，如图7d、7e所示，由此结果可见本文算法在晴天顺光和逆光条件下的最终分割结果对于阴影和高光部分不敏感，边界保持性较好。FSLIC算法在分割过程中利用预先候选聚类消除(PCCE)方法减少了分割结果的冗余错误，优化了分割结果，同时省去了大量非必需的由距离计算和对比计算产生的聚类搜索，避免了在恶劣光照下图像阴影和高光现象的干扰，同时也因为预先候选聚类的消除使得多果实之间的连带效应减弱。从图7整体来看，本文提出的FSLIC算法不仅在超像素分割的前期减少了时间维度，更重要的是在复杂多变的光照下，对阴影、高光、多果邻接和多果遮挡等复杂随机的场景具有很强的鲁棒性，为下一步的果实定位提供了可靠的图像边界保持条件。

3.3.2定量分析

本节所用图像数据库为30幅具有恶劣极端条件的苹果图像，极端条件包括：高照度强光条件、低照度背光条件、光照不均匀的多云条件、多果邻接和严重粘连条件。

全局错误率[36](Global consistency error, GCE)是一种比较严格的分割质量衡量标准,由MARTIN于2001年提出。该算法统计各个分类的错分像素,然后将错分像素之和除以图像总像素,GCE越小表明错分像素越少,分割效果越好。假阳性率是指背景被错分为目标的比率，假阴性率是指目标被错分为背景的比率，其值越低则说明目标提取的精度越高[37]。通过对数据库中图像进行测试并计算分割结果，得到的假阳性率(False positive rate，FPR)、假阴性率(False negative rate, FNR)以及全局错误率数据结果如表1。

表1　5种算法的FPR、FNR和GCE对比分析Tab.1　Analysis of FPR, FNR and GCE of five algorithms　%

图8　5种算法的分割性能对比Fig.8　Segmentation performance comparison of five algorithms

图8为5种算法的分割性能对比柱状图，纵坐标为错误率。在FPR柱形图中，本文算法错误率最低，WT分水岭算法是传统分割方法中效果较好的，其FPR错误率低于基于超像素的GB算法。在FNR和GCE柱形图中可以看出，2种基于超像素的分割算法(GB算法和FSLIC算法)的FNR和GCE均低于传统分割算法(BP算法、WT算法以及SVM算法)；与BP算法和WT算法相比，传统SVM算法在FNR和GCE中表现优异，但错误率高于基于超像素的分割算法。综上也可直观看出，对于处理极端条件的图像，本文算法与其他分割算法对比，全局错误率最低，其分割效果优于本试验中其他4种性能优良的分割算法。

表1中5类苹果图像分割算法的GCE、FPR和FNR都较高，其原因主要是样本全部选择了具有恶劣光照条件和多果粘连较严重的苹果图像，而在广义上的自然图像中，此类样本仅占全体样本总量的30%左右。在非结构化的果园中，时间段的不同会导致太阳光源照射角度的相对变化、阴影现象、高光

反射现象以及苹果之间的重叠遮挡粘连现象，使采集样本时产生的高光阴影和粘连位置角度不尽相同；树枝、树叶、天空、土地等与目标之间的相对位置分布随机性较大，使得5种算法测试样本背景被错分为目标的比率与目标被错分为背景的比率差异明显。FNR和FPR主要用于算法分割质量性能对比，全局错误率判断标准较严格，可以更全面地衡量算法分割质量的优劣。

4　结束语

在简单线性迭代聚类算法的基础上提出了FSLIC算法。FSLIC算法在分割过程中借助Cauchy-Schwarz不等式优化迭代步骤，利用预先候选聚类消除(PCCE)方法减少了分割结果的冗余错误，优化了分割结果，同时省去了大量非必需的由距离计算和对比计算产生的聚类搜索。通过试验验证及分析，FSLIC算法在较好保持图像边界命中率和抗高光和阴影较优分割效果的同时，使超像素分割的运行速度是原始算法的近1.2倍；同时对比基于超像素的GB算法以及3种分割效果较好的常规分割算法(BP算法、WT算法和SVM算法)，结果表明，本文算法在复杂多变的光照下，对阴影、高光、多果邻接和多果遮挡等随机场景有更优良的分割效果。

1熊俊涛,邹湘军,陈丽娟,等.基于机器视觉的自然环境中成熟荔枝识别[J].农业机械学报,2011,42(9):162-166.

XIONG J T, ZOU X J, CHEN L J, et al. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery,2011,42(9):162-166.(in Chinese)

2蔡健荣,赵杰文.自然场景下成熟水果的计算机视觉识别[J]. 农业机械学报, 2005,36(2):61-64.

CAI J R, ZHAO J W. Recognition of mature fruit in natural scene using computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005,36(2):61-64.(in Chinese)

3陈丽娟. 基于机器视觉的自然环境下的目标定位研究[D]. 广州:华南农业大学,2012.

CHEN L J. Research on targets locating in natural environment based on machine vision[D]. Guangzhou: South China Agricultural University,2012.(in Chinese)

4ZHAO D A, LV J D, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011,110(2): 112-122.

5HANNAN M W, BURKS T F, BULANON D M. A real-time machine vision algorithm for robotic citrus harvesting[C]∥2007 ASABE Annual International Meeting, ASABE Paper 073125,2007.

6HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160-171.

7BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of fuji apples[J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

8宋怀波，张传栋，潘景朋,等. 基于凸壳的重叠苹果目标分割与重建算法[J]. 农业工程学报,2013,29(3)：163-168.

SONG H B，ZHANG C D, PAN J P, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the CSAE, 2013, 29(3): 163-168.(in Chinese)

9石雪强,程新文,李春福,等. 自然环境下苹果彩色图像分割研究[J]. 安徽农业科学,2011,39(30): 18993-18995，19004.

SHI X Q, CHENG X W, LI C F, et al. Research on apples’ color image segmentation in natural environment[J]. Journal of Anhui Agricultural Sciences, 2011,39(30): 18993-18995，19004.(in Chinese)

10熊俊涛,邹湘军,王红军,等. 基于Retinex图像增强的不同光照条件下的成熟荔枝识别[J]. 农业工程学报,2013, 29(12):170-178.

XIONG J T, ZOU X J, WANG H J, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the CSAE, 2013, 29(12): 170-178.(in Chinese)

11武涛,袁池,陈军. 基于机器视觉的猕猴桃果实目标提取研究[J]. 农机化研究,2012,34(12):21-26.

WU T, YUAN C, CHEN J. Research on the object extraction of kiwifruit based on machine vision[J]. Journal of Agricultural Mechanization Research, 2012,34(12):21-26.(in Chinese)

12屠珺,刘成良,李彦明,等. 基于光照无关图的苹果图像识别方法[J]. 农业工程学报,2010,26(增刊2):26-31.

TU J, LIU C L, LI Y M, et al. Apple recognition method based on illumination invariant graph [J]. Transactions of the CSAE, 2010, 26(Supp.2): 26-31.(in Chinese)

13ZHANG Y, LI X, GAO X, et al. A simple algorithm of superpixel segmentation with boundary constraint[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016,(99): 1.

14宋熙煜,周利莉,李中国,等. 图像分割中的超像素方法研究综述[J]. 中国图象图形学报,2015,20(5):599-608.

SONG X Y，ZHOU L L，LI Z G，et al． Review on superpixel methods in image segmentation[J]． Journal of Image and Graphics，2015，20(5): 599-608.(in Chinese)

15WANG J, WANG X Q. Simple and efficient superpixels using edge-weighted centroidal voronoi tessellations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(6):1241-1247.

16QIN F, GUO J,LANG F. Superpixel segmentation for polarimetric SAR imagery using local iterative clustering[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 13-17.

17孙巍,郭敏. 基于SLIC与条件随机场的图像分割算法[J]. 计算机应用研究,2015(12):3817-3820,3824.

SUN W, GUO M. Image segmentation based on SLIC and conditional random field[J]. Application Research of Computers,2015(12):3817-3820,3824.(in Chinese)

18周俊,朱金荣,王明军. 基于条件随机场的梨园场景图像分割方法[J]. 农业机械学报,2015,46(2):8-13.

ZHOU J, ZHU J R, WANG M J. Pear orchard scene segmentation based on conditional random fields[J]. Transactions of the Chinese Society for Agricultural Machinery,2015,46(2):8-13.(in Chinese)

19HSU C Y, DING J J. Efficient image segmentation algorithm using SLIC superpixels and boundary-focused region merging[C]∥International Conference on Information, Communications & Signal Processing, 2013:1-5.

20BAI X D, CAO Z G, WANG Y, et al. Image segmentation using modified SLIC and Nystrom based spectral clustering[J]. Optik—International Journal for Light and Electron Optics, 2014, 125(16):4302-4307.

21ABDEL-HAKIM A E,LZZ M, EL-SABAN M. Graph-based superpixel labeling for enhancement of online video segmentation[C]∥IEEE Second International Conference on Image Information Processing, IEEE, 2013:101-106.

22ACHANTA R, SHAJI A, SMITH K, et al. Slic superpixels, EPFL 149300[R]. Ecole Polytechnique Federal de Lausssanne,2010.

23张晓平. 几种新超像素算法的研究[J]. 控制工程,2015(5):902-907.

ZHANG X P.Study on several current superpixel algorithms[J]. Control Engineering of China, 2015(5):902-907.(in Chinese)

24VOLOVICH I V. A cauchy-schwarz inequality-based criteria for the non-classicality of sub-Poisson and anti-bunched light[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 380(1-2): 56-58.

25REN C Y, REID I. A real-time implementation of SLIC superpixel segmentation [R]. Oxford: University of Oxford, 2011.

26ZHANG G, JIA X, HU J. Superpixel-based graphical model for remote sensing image mapping[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(11): 5861-5871.

27TIAN Z Q, LIU L Z, ZHANG Z F, et al. Superpixel-based segmentation for 3D prostate MR images[J]. IEEE Transactions on Medical Imaging, 2016, 35(3):791-801.

28徐丽. 面向图像标记的条件随机场模型研究[D].西安：长安大学,2013.

XU L. The research on conditional random fields models for image labelling[D].Xi’an: Chang’an University,2013. (in Chinese)

29PEDRO F F, DANIEL P H． Efficient graph-based image segmentation[J]. International Journal of Computer Vision,2004,59(2): 167-181．

30王津京,赵德安,姬伟,等. 基于BP神经网络的苹果图像分割算法[J]. 农机化研究,2008(11):19-21.

WANG J J, ZHAO D A, JI W, et al. Segmentation of apple image by BP neural network using in apple harvesting robot[J]. Journal of Agricultural Mechanization Research, 2008(11):19-21.(in Chinese)

31张亚静,李民赞,乔军,等. 一种基于图像特征和神经网络的苹果图像分割算法[J]. 光学学报,2008,28(11):2104-2108.

ZHANG Y J, LI M Z, QIAO J, et al. Segmentation algorithm for apple recognition using image features and artificial neural network[J]. Acta Optica Sinica, 2008,28(11):2104-2108.(in Chinese)

LIU Z F, XU Q W, LI C L. On image segmentation based on wavelet transformation[J]. Computer Applications and Software,2009,26(4):62-64.(in Chinese)

34ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

35张飞飞,孙旭,薛良勇,等. 融合简单线性迭代聚类的高光谱混合像元分解策略[J]. 农业工程学报,2015,31(17):199-206.

ZHANG F F, SUN X, XUE L Y, et al. Hyperspectral mixed pixel decomposition policy merging simple linear iterative clustering[J]. Transactions of the CSAE, 2015, 31(17): 199- 206.(in Chinese)

36MARTIN D, FOWLKES C, TAL D. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]∥Proceedings of the 8th IEEE International Conference on Computer Vision, 2001,2:416-423.

37宋怀波,屈卫锋,王丹丹,等. 基于光照无关图理论的苹果表面阴影去除方法[J]. 农业工程学报,2014,30(24):168-176.

SONG H B, QU W F, WANG D D, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the CSAE, 2014, 30(24): 168-176.(in Chinese)

FSLIC Superpixel Segmentation Algorithm for Apple Image in Natural Scene

Xu Weiyue1，2Tian Guangzhao1，2Ji Changying1，2Zhang Bo1，2Jiang Sijie1，2Zhang Chun1，2

(1.CollegeofEngineering,NanjingAgriculturalUniversity,Nanjing210031,China2.IntelligentAgricultureEquipmentKeyLaboratoryinJiangsuProvince，Nanjing210031,China)

Real time efficiency is one of the bottleneck problems in the field of image processing, especially in the natural scene of the agricultural robot vision system. Nowadays superpixel segmentation algorithm was proposed as the high robustness to deal with the random uncertainty in natural scene. Simple linear iterative clustering(SLIC) has drawn much attention due to its outstanding performance in terms of accuracy， speed, anti-shadow and anti-highlight. In this paper, by applying the Cauchy-Schwarz inequality, we derived a condition to leave unnecessary operations from the cluster inspection procedure. In the proposed algorithm, we reduced the redundant computation by using a robust inequality condition based on weighted L2-norm of pixel and cluster center representation. Then we put up with an advanced algorithm: FSLIC algorithm. We built a database with 2000 apple images in almost all natural conditions. Several kinds of extreme situations were chosen: high intensity of illumination light condition, low intensity of illumination backlight condition, uneven illumination of cloudy condition, adjacency and severe adhesion condition. The error rate curves of the insufficient segmentation, the hit rate curves of the boundary and execution time were analyzed with the 500 apple images; the GCE, FNR and FPR were detected with the 30 images in extreme condition. In the experimental results, it was confirmed that the GCE in Graph-based and FSLIC algorithm was reduced by 13% than BP algorithm, WT algorithm and SVM algorithm, the GCE in FSLIC algorithm was reduced by 19% than the traditional algrithms. The hit rate of the boundary in FSLIC algorithm was increased by 21.7% and the speed was 1.83 times than Graph-based algorithm.

apple image; superpixel segmentation; natural scene; simple linear iterative clustering

10.6041/j.issn.1000-1298.2016.09.001

2016-06-01

2016-07-06

国家自然科学基金项目(31401291)、江苏省自然科学基金项目(BK20140720、BK20140729)和中央高校基金科研业务费专项资金项目(KYZ201325)

徐伟悦(1990—),女,博士生,主要从事图像处理研究,E-mail： wyxu_1990@126.com

姬长英(1957—),男,教授,博士生导师，主要从事农业机器人研究,E-mail： chyji@njau.edu.cn

TP391.4

A

1000-1298(2016)09-0001-10