张经纬，贡 亮，黄亦翔，刘成良，龚霁程，潘俊松

(上海交通大学 a.机械与动力工程学院；b.农业与生物学院，上海 200240)



基于随机森林算法的黄瓜种子腔图像分割方法

张经纬a，贡 亮a，黄亦翔a，刘成良a，龚霁程a，潘俊松b

(上海交通大学 a.机械与动力工程学院；b.农业与生物学院，上海 200240)

针对黄瓜表型测量中图像识别问题，为解决黄瓜种子腔与果肉图像灰度差别不大情况下的分割难题，提出了基于随机森林算法(Random Forest, RF)的黄瓜种子腔图像分割方法。首先，通过颜色空间变换，提取样本在RGB、HSV、YCbCr模型下的9个颜色分量；接着，基于灰度共生矩阵提取样本的能量、熵、对比度、相关性的均值与标准差等8个纹理特征。结合纹理与颜色特征，运用随机森林算法构建像素分类器，实现了种子腔的粗分割。为了提高分割质量，对粗分割的图像进行形态学处理得到最终分割图像。最后，与K-均值聚类(K-means)算法、支持向量机(Support Vector Machine ,SVM)算法做对比。实验表明：随机森林分割算法正确识别率高达95%，错误识别率在10%之内，处理时间1.6 s左右，分割质量上优于其它两种算法。

黄瓜；育种；图像分割；随机森林；K-均值聚类；支持向量机

0 引言

黄瓜是我国主栽蔬菜作物之一，在保护地生产中具有高效益。黄瓜品质的好坏不仅影响到鲜食的价值，而且也影响商品的经济效益。与瓜长、瓜粗、果色等黄瓜外观品质性状相似，种子腔也是黄瓜表型检测的重要指标,决定瓜把长度与果肉厚度。测量黄瓜种子腔相关参数，构建基因型-表型图谱，对于黄瓜优质品种培育意义重大[1]。

传统的表型检测依赖人工测量，效率低、盲目性大、劳动密集，主要靠手工与经验，存在许多的不足。近些年，基于机器视觉的表型观测平台兴起，解决了表型手工测量随机性强、主观偏差大及工作效率低的瓶颈问题。

常用的果实图像分割与识别方法有两类：一类是基于颜色、纹理等特征的阈值分割，如胡婵莉等[2]采用色差法分割识别苹果；李二超等[3]使用颜色与纹理结合的阈值分割算法识别黄瓜。阈值分割算法简单、快捷，但仅适合分割待测区域与背景差别较大的图像。黄瓜种子腔与果肉差别并不明显，仅依靠简单的颜色分割与纹理分割，难以取得满意效果。另一类是基于模式识别的方法，需要用到各种分类器。如司永胜等[4]使用基于颜色与纹理特征的k-means算法实现了绿色苹果的识别；王海清等[5]提取几何特征与纹理特征，利用SVM算法实现黄瓜的分割。K-means聚类算法是一种无监督的分类算法，对初始值与噪声十分敏感。SVM算法是一种有监督的分类算法，不适合处理大规模训练数据样本。

随机森林(Random Forest ，RF)是一种集成学习方法，2001年由 Breiman提出[6]，并迅速成为机器学习领域的新的研究热点。随机森林可以处理高维数据，预测精度高，训练速度快[7]。近些年，随机森林算法被广泛运用于医学图像处理、遥感图像分析[8]及城市测绘分类等领域。

本文基于结构化环境下黄瓜的颜色与纹理特征，利用随机森林法对黄瓜种子腔进行了分割，有效解决了种子腔与果肉颜色相似情况下的识别难题。

1 颜色空间分析与特征提取

1.1 HSV颜色空间

在彩色图像处理中，RGB颜色模型应用广泛。RGB模型把所有颜色看作是红、绿、蓝三基色的组合，3个颜色分量之间高度相关，所以易受光照变化等环境因素干扰。HSV颜色模型重新映射了RGB模型。其中，H代表色相 (Hue)、S代表饱和度 (Saturation)、V代表明度(Value)。H、S分量可以消除亮度信息的影响，比RGB空间有很大的优越性。考虑本研究中由于光照不均匀，黄瓜周围会产生阴影，影响黄瓜的分割效果，故可采用S通道抑制阴影。同时，利用S通道分割黄瓜与背景，形成模板去除背景，提高处理效率。

1.2 YCbCr颜色空间

YCbCr是一种基于人眼感知的颜色空间，常用于优化彩色视频信号。与HSV类似，YCbCr适用于光照变化的场合。其中，Y表示明视度(Luminance)；Cb和Cr两个分量表示色调(Chrominance)。相比于HSV的非线性，YCbCr 颜色空间是RGB的线性变化，因此空间坐标表达形式比较简单，不存在信息丢失问题，有较高的运算效率，广泛应用于果蔬的分割与识别研究。在本研究中，由于Y通道种子腔与果肉对比度较大，因此采用Y通道来提取黄瓜的纹理特征。

1.3 图像特点分析

选取45幅实验室结构化环境下剖开的黄瓜图像，在每一幅图像上任意选取6个样本像素点，种子腔与果肉各3个。根据135组样本数据，绘制种子腔与果肉H、S、V、Y、Cb、Cr、R、G、B等9个颜色通道的对比图。图1显示了其中3个颜色通道的像素点灰度分布。在HSV颜色空间的S通道中，果肉的像素灰度值比种子腔偏大，但差别不明显；在YCrCb颜色空间的Y通道中，种子腔的像素灰度值比果肉更大且集中，但仍难以找到合适的分割阈值。直观上，黄瓜整体偏绿，种子腔和果肉颜色深浅有所差别，但是在RGB模型的G通道，种子腔和果肉像素点重合区域较大。除此之外，在其余的6个颜色通道，种子腔与果肉的样本像素灰度值都有重叠，依靠单一通道单一阈值难以进行有效分割。因此，颜色特征需与其他特征如纹理特征相结合。

食品产业在近年来得到了迅速的发展，在成绩背后，除了业界不断推动新品销售之外，还有另外一个重要的原因——行业内紧跟年轻消费者的需求，从包装的材质、外观甚至店铺整体销售环境上做出了升级。

图1 样本像素点的灰度

2 纹理特征提取

通常来说，图像的纹理特征指图像颜色或灰度级的分布与变化与颜色特征类似，纹理特征是反映图像性质的重要特征。在众多纹理特征提取方法中，基于统计算法的灰度共生矩阵[9]广受欢迎。该矩阵通过计算距离相距为l、方向相距为θ的两个像素灰度级的二阶联合条件概率密度P(i,j|l,θ)获得。其中，重要的参数包括能量、熵、对比度及相关性等。

在本研究中，黄瓜种子腔与果肉间纹理特征差别较大。为了提高分割的准确性，本文采取重叠窗口的方法获取黄瓜的局部纹理特征。即以目标像素为中心创造一个9×9的窗口，以窗口内所有像素构建灰度共生矩阵，获取能量、熵、对比度，以及相关性的均值μ1、μ2、μ3、μ4和标准差σ1、σ2、σ3、σ4，作为目标像素的纹理特征，直到所有黄瓜像素点遍历完毕。

3 黄瓜种子腔的识别与分割

3.1 随机森林法

决策树预测先从决策点开始，不断对分类的属性测试，根据属性值选择输出分支，到达结果节点，实现分类[10]。

随机森林法是以决策树为基预测器的组合分类模型。决策树模型表示为{h(X,Lk),k=1,...} 。其中，X代表输入向量；{Lk}是独立同分布的随机向量，用于控制树的生长。随机森林先利用bootstrap从原始训练集抽取k个样本，并建立k个决策树模型，从而形成分类模型序列{h1(X,L1),h2(X,L2),...hk(X,Lk)}。在给定的自变量X下，每个决策树会预测一个结果。对分类问题，随机森林的预测结果取决于各个决策树结果的简单多数投票。其公式为[11]

(1)

其中，H(x)为随机森林分类模型；C为分类的标签；I(x) 为示性函数。

随机森林解决了决策树创建不稳定、过拟合等问题，在分类精度上比单株的决策树有明显的提高。此外，与其他主流分类算法比较，随机森林具有能够处理高维数据及分类速度快等特点。

3.2 形态学处理

对随机森林初步分割过的黄瓜图像进行二值化处理，图像中仍然残留一定的噪声。总的来看，噪声分为粘连噪声与孤立噪声。其中，粘连噪声主要存在于种子腔边界，这些交界处颜色相近、纹理特征不明显。因此，需要使用多种形态学处理方法消除噪声，提高分割精度。

孤立噪声可通过交替使用开闭运算进行形态学滤波来消除。对内部较大的孔洞，形态学滤波难以处理。考虑到黄瓜种子腔是一块完整的区域，可以采用孔洞填充操作处理。对面积较大的噪声，则需要使用阈值面积消除法，去除面积小于一定阈值的区域。在本研究中，由于黄瓜边缘颜色与籽粒相近，纹理特征也受到影响，部分区域孤立噪声较大，使用阈值面积消除法可以有效解决。

4 实验结果与分析

实验选取的黄瓜样本(15CP-3)取自国家设施农业工程技术研究中心崇明岛基地，剖开后在暗箱中进行图像采集。采集所用的相机为中国大恒公司生产的MER-500-7UC型数字摄像机，图像的分辨率为600像素×800像素。实验软件基于matlab R2015a，计算机的配置为处理器Intel(R) i5-4200U @1.60Hz，内存4GB，硬盘500GB。

选取45张剖开的黄瓜图像，35张做训练样本，10张作测试样本，每张训练样本选取320个代表像素点，按照图2所示的算法流程进行处理。选取黄瓜图像的H、S、V、Y、Cb、Cr、R、G、B等9个颜色特征，以及能量、熵、对比度、相关性的均值μ1、μ2、μ3、μ4和标准差σ1、σ2、σ3、σ4等8个纹理特征，归一化处理后，使用RF算法进行处理。为了直观表述分割效果，采用基于区域的分割评价方法[12]，定义正确识别率为预测结果中确实属于种子腔的像素数量与真实种子腔总像素数量的比值。错误识别率为将果肉误分割为种子腔的像素数量与真实果肉像素数的比例。

分类树数目是RF的一个重要参数。一般来说，随着分类树数目增多，正确识别率升高，错误识别率降低直至收敛，同时预测时间增多。对文中训练集的同一黄瓜图像，以50棵为间隔，选取350～800棵分类树进行测试。不同的分类树数目对正确识别率和错误识别率有一定的影响，但是差别不大，预测时间都在1.1～2.7s之间。综合考虑，可以选择常用的默认分类树数量(即500棵)，正确识别率为89.67%，错误识别率为17.19%，预测时间为1.6s。

图2 黄瓜种子腔分割算法框图

为了更好地表示分割结果，对于RF算法初步分割的测试集中的黄瓜图像进行后续形态学处理，处理结果如表1所示。分析数据可知：黄瓜初步分割的平均正确识别率为90.53%，错误识别率为19.41%，处理时间为1.6 s。经过后续形态学处理后，平均正确识别率为95.55%，错误识别率为9.94%。可以看出：正确识别率有了很大的提高，而错误识别率控制在10%之内，分割效果较为理想。

为了显示本文方法的优越性，对同样的测试集选取常用的K-means和SVM算法进行分割对比实验。K-means是无监督的分类器，具有简洁、快速的特点。使用模板去除背景后，对测试集图片每个像素点提取17个颜色和纹理特征并聚类成种子腔与果肉两类。SVM是有监督的分类器，有较好的鲁棒性，适合小样本学习[13]。数量较多或者特征维数较多时，SVM的训练与预测时间会显著增加。因此，本文先使用relief算法对样本集进行特征选择。由实验可知：明度V、能量均值μ1、能量标准差σ1和对比度标准差σ3为影响最大的4个特征。从前文训练集中随机选取3 000个带有4个选取特征的像素点作为新的训练集，采用径向基核函数，由交叉验证法获得核函数参数σ2为4，惩罚参数C为1.52。图3为3种算法的分割效果图，样本取自测试集。其中，种子腔的像素为白色，果肉与背景的像素为黑色。可以看出，经过3种算法初歩分割及后续形态学处理后，种子腔区域被较为完整地分割出来，但不同算法的分割效果有很大的差异。其中，后两种算法分割的区域与种子腔实际面积相比较大。表2为K-means和SVM算法对测试集的具体处理结果。结合表1可知：在3种算法中，K-means算法分割的种子腔正确识别率最高，基本可以达到100%，但是存在严重的过分割问题，其错误识别率在40%左右。究其原因，果肉部分颜色分布区间差异较大，靠近种子腔区域的浅绿色果肉颜色上更接近种子腔，纹理特征不明显，被误分割为种子腔。此外，在实验过程中，K-means算法不稳定，其性能依赖于聚类中心的初始位置，识别率和运行时间受到很大影响。作为有监督的分类器，SVM分割效果较K-means有很大提高。但是，从表3中可以看出：样本7的分割效果极差。相对于其他样本，样本7的黄瓜水分较少，种子腔部分整体偏暗，种子腔下半部的纹理特征不明显。除去样本7，SVM分割种子腔的正确识别率为94.17%，错误识别率为22.36%，误分割区域还是较多。在处理时间方面，K-means算法具有很大的优势，平均在0.4 s左右，但是存在不稳定的问题。相对于无监督的K-means算法，RF和SVM算法的预测时间略长，分别在1.6 s和2.3 s左右。RF算法处理速度优于SVM算法，不需要像SVM算法一样进行特征选取预处理，简单高效。

表1 基于Random Forest算法的分割效果

图3 分割效果图

图片序号K-means正确识别率/%K-means错误识别率/%处理时间/ms处理后正确识别率/%处理后错误识别率/%SVM正确识别率/%SVM错误识别率/%处理时间/ms处理后的正确识别率/%处理后的错误识别率/%199.2746.58378.3100.0043.3493.7625.74263599.9327.31398.0742.56493.7100.0044.4863.0920.13240078.9918.43398.6040.98351.1100.0036.9895.5022.67233798.2822.00498.4544.91483.3100.0042.2187.7826.24297693.4025.80599.2441.00464.9100.0038.0392.1219.72232898.8819.62697.6748.70379.2100.0046.7888.4829.32268196.6130.05797.5439.72303.6100.0037.5533.133.42207733.332.63890.3341.35337.399.9838.3683.6419.34189392.0419.00997.4946.46357.5100.0041.7981.5618.48204189.7515.781099.4747.78300.4100.0040.8995.4923.16178599.6623.27

5 结论

1)针对结构化环境下黄瓜种子腔的分割问题，在提取黄瓜颜色与纹理特征的基础上，提出了基于随机森林的种子腔分割方法。与K-means和SVM算法进行对比，RF算法处理的种子腔错误识别率远远低于其它两种算法，控制在10%之内。在正确识别率方面，RF算法达到95%以上，仅次于严重过分割的K-means算法。综合所述，RF算法的种子腔分割质量优于其它两种算法。

2)经过实验验证表明，RF分割算法的处理时间为1.6s左右，满足测量平台对种子腔大批量、快速测量的要求。

3)与SVM相比，RF分割算法不需要进行特征的选择，能够高效地处理大数据量的样本；但考虑到处理时间和分割质量，还需要在有限的样本中寻找有明显作用的特征。

[1] FURBANKR T, TESTER M. Phenomics-technologies to relieve the phenotyping bottleneck [J].Trends in plant science, 2011, 16(12):635-644.

[2] 胡婵莉, 赵德安, 赵宇艳, 等. 基于极值的重叠苹果识别方法研究[J]. 农机化研究, 2016，38(3):42-46.

[3] 李二超, 李战明, 刘微容. 基于颜色和纹理特征的黄瓜果实图像分割[J]. 光学技术, 2009,35(4):529-531.

[4] 司永胜, 刘刚, 高瑞. 基于 K-均值聚类的绿色苹果识别技术[J]. 农业机械学报, 2009 (S1):100-104.

[5] 王海青, 姬长英, 顾宝兴, 等. 基于机器视觉和支持向量机的温室黄瓜识别[J]. 农业机械学报, 2012, 43(3): 163-167.

[6] BREIMAN, L. Random Forests [J]. Machine Learning,2001，45：5-32.

[7] BIAU G. Analysis of a random forests model [J]. The Journal of Machine Learning Research, 2012,13(1):1063-1095.

[8] PAL M. Random forest classifier for remote sensing classification [J]. International Journal of Remote Sensing, 2005, 26(1):217-222.

[9] Tien C L, Lyu Y R. Optical surface flatness recognized by discrete wavelet transform and grey level co-occurrence matrix [J].Measurement Science and Technology, 2006, 17(8): 2299.

[10] Mingers J. An empirical comparison of selection measures for decision-tree induction[J].Machine learning, 1989, 3(4):319-342.

[11] 方匡南, 吴见彬, 朱建平, 等. 随机森林方法研究综述[J].统计与信息论坛, 2012, 26(3): 32-38.

[12] 张石, 董建威, 佘黎煌. 医学图像分割算法的评价方法[J].中国图象图形学报, 2009, 14(9):1872-1880.

[13] 李侃, 黄文雄, 黄忠华. 基于支持向量机的多传感器探测目标分类方法[J]. 浙江大学学报: 工学版, 2013(1):15-22.

Image Segmentation of Cucumber Seed Cavity Based on the Random Forest Algorithm

Zhang Jingweia, Gong Lianga, Huang Yixianga, Liu Chenglianga, Gong Jichenga, Pan Junsongb

(a.School of Mechanical Engineering; b.School of Agriculture and Biology, Shanghai Jiao Tong University, Shanghai 200240, China)

For identifying regions of interest in the measurement of cucumber phenotype, the segmentation of cucumber seed cavity is difficult because the gray scale difference between cucumber seed cavity and flesh is not obvious. A method based on the Random Forest (RF) algorithm for image segmentation of cucumber seed cavity was proposed. First, 9 color features were taken from 3 color spaces including RGB, HSV and YCbCr. Then 8 texture features which are composed of means and standard deviations of angular second moment, entropy, contrast and correlation based on Gray-level Co-occurrence Matrix were extracted. All color and texture features were brought into the training module of Random Forest to make an image classifier which can be used for coarse segmentation of cucumber seed cavity. Morphological processing was introduced to improve the segmentation quality. Finally, the method mentioned above was compared with the K-means clustering (K-means) algorithm and the Support Vector Machine (SVM) algorithm. The test results show that the rate of right identification is up to 95% or more, the rate of false identification is less than 10% and the recognition time is about 1.6 s by using the Random Forest algorithm for cucumber seed cavity segmentation, which is superior to the other two algorithms.

cucumber; breeding; image segmentation；random forest; K-means clustering; support vector machine

2016-10-19

“十二五”国家科技支撑计划项目(2014BAD08B01)；上海交通大学“Agri+X”基金项目(Agri-X2015002)

张经纬(1991-)，男，江苏徐州人，硕士研究生，(E-mail)zhangjingwei19918@163.com。

刘成良(1964-)，男，山东临沂人，教授，博士，(E-mail)chlliu@sjtu.edu.cn。

TP391.41；S603.6

A

1003-188X(2017)10-0163-06