基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

2017-04-25贺付亮郭永彩

农业工程学报 2017年6期

贺付亮，郭永彩，高潮，陈静

贺付亮1,2，郭永彩1※，高潮1，陈静3

（1. 重庆大学光电技术及系统教育部重点实验室，重庆 400044；2. 西南大学电子信息工程学院，重庆 400715；3. 重庆市北碚区农业委员会，重庆 400700）

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性，克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难，该文提出了一种采用视觉显著性和脉冲耦合神经网络（pulse coupled neural network，PCNN）模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间，利用空间颜色分量的算术平均值和高斯滤波值之间的差异，构建起桑葚图像的频率调谐视觉显著图；其次，提取采集图像在HSI颜色空间的色调分量，经过均衡化处理后，与视觉显著图进行融合，实现桑葚目标的融合特征表达；最后，通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理，得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验，结果表明，该方法能够在不同光照条件的复杂背景下，有效分割出成熟果实，平均误分率为1.87%，优于结合频率调谐视觉显著性的OTSU法（17.73%）、-means聚类算法（10.69%）、基于Itti视觉显著性的PCNN分割方法（7.34%）和基于GBVS（graph-based visual saliency，GBVS）视觉显著性的PCNN分割方法（5.83%）。研究结果为成熟桑葚果实的智能化识别提供参考。

图像分割；机器视觉；模型；桑葚；视觉显著性；频率调谐；脉冲耦合神经网络

0 引言

桑葚又名桑果，是落叶乔木桑树（Morus alba Linn）的果实，是国家营养学会认定的 20 种食药同源果蔬之一，其保健作用和营养价值早为人们熟知，具有较高的市场价值[1-3]。但是，桑葚属于浆果类果实，成熟后挂果时间短，常温下12～18 h即变色、脱落和腐烂[4-5]，这就需要对桑树挂果实时监测，快速识别其果实成熟情况。然而，山丘地形的种植环境，加之人工的巡检方式，使得当前桑葚成熟的监测工作处于劳动强度大、人力成本高、效率低的状况。大面积的成熟果实无法及时监测和采摘，从而出现大量落果，给果农带来了严重的经济损失。

所以，研究利用机器视觉方法实时、准确判断果实成熟度，帮助成熟果品及时监测、采摘和储存，对于获得最佳的果实采摘率，提高桑葚的有效利用率和果农的经济效益都有着重要的意义。

近年来，对成熟果实的智能化识别研究已经成为智慧农业技术关注的热点之一[6-8]。不少学者在苹果、葡萄和草莓等果品上，利用图像分割技术，结合果实形状、颜色等特征的识别方法（包括OTSU法、-means法、模糊C均值聚类法、反向传播（back propagation，BP）神经网络法、径向基（radial basis function，RBF）神经网络法等），实现了成熟水果的智能化判断[9-15]。但同时，当前这些方法也存在着局限。 OTSU等非监督分类方法在复杂背景下小目标分割的效果不佳，BP、 RBF等神经网络监督分类方法存在着需要大量数据训练，迭代运算时间长等不足。

桑葚成熟果实的视觉分割问题，相对于其他水果，具有形状小（为多数小瘦果集合而成的聚花果[16-17]），挂果分布无规律，图像背景存在大量复杂干扰因素等特点，所以直接应用当前方法，效果不佳。针对上述问题，本文以采摘环境中桑葚的挂果图像为研究对象，提出了一种结合频率调谐的视觉显著性和脉冲耦合神经网络的成熟桑葚目标视觉分割方法，以期为成熟桑葚果实的智能化识别提供参考。

1 材料与方法

1.1 桑树挂果图像采集

桑树挂果图像的采集地点在重庆市北碚区天府镇果桑生态园，平均海拔为600 m，处于山坡地形，规模化种植了龙桑、红果等各类果桑，面积达200 hm2。课题组于2016年5月桑葚成熟期间，利用Canon EOS70D数码相机采集了200余幅的桑树挂果图像，包括90幅龙桑，90幅红果和20余幅白玉王。拍摄时间为白天，包含了阳光照射充足的晴天和无太阳直射的多云阴天等天气条件。拍摄光照为自然环境光照，在4种情况下对成熟桑葚进行成像，包含了晴天太阳光均匀照射，晴天太阳光非均匀照射（采集图像出现较强的背景光点干扰），晴天遮阴（桑葚处于叶片等遮盖物阴影下），阴天光照（没有太阳直射，光照不足但相对均匀）。拍摄图像分辨率为3 648×5 472像素，拍摄距离为30～80 cm。本文算法进行试验时，会将所采集图像压缩至720×1 280像素，这样可进一步集成到“桑葚生长远程智能监测物联网系统”中，匹配其监控摄像头的分辨率。

1.2 成熟桑葚分割方法

本文提出的成熟桑葚图像分割方法流程如图1所示。首先对采集图像进行颜色空间分量的提取，分别选取Lab颜色空间三分量和HSI颜色空间的色调（hue，）分量。然后利用整幅图像在Lab空间上各分量的算术平均值与每一个像素点经过高斯滤波后所获值之间的差异，得到原图像基于频率调谐的视觉显著性表达。另一方面，对色调分量进行均衡化处理，处理后的结果与显著图进行特征融合，从而形成脉冲耦合神经网络模型（pulse coupled neural network，PCNN）的输入图像。最后，经过改进的分层阈值化PCNN模型和相关形态学处理，得到成熟桑葚的识别结果。

1.2.1 颜色空间的选取

自然天气光照条件下获取的桑树挂果图像，受环境影响，存在着光照不均匀、阴影遮挡和色温变化等特点，使得成熟桑葚的颜色特征表达应选取合适的颜色空间。

CIE Lab颜色空间是由国际照明委员会（commission internationale de l’eclairage，CIE）制定的一种数字化描述的均匀色彩空间，该色彩空间基于人眼对自然颜色的感知形成[18]。其中，表达了亮度层分量，表达了红/绿轴上的颜色分量，表达了黄/蓝轴上的颜色分量。通过3个分量的几何距离差异，可以较好的区别出同一图像中不同的颜色区域，且3个分量相互之间独立性高，所以适合于做目标显著性的特征表达。因此，本文在此空间引入了对成熟桑葚目标的频率调谐视觉显著性描述，使之成为识别目标的特征之一。色调是HSI颜色空间中的分量，该分量在此空间中单独控制颜色，具有光照不变性。可以用来弥补在Lab空间上，表达成熟桑葚显著性时受光照不均匀所带来的影响。

本文方法所涉及的Lab、HSI颜色空间的相关分量获取均通过数码相机的CMOS传感器所获取的RGB颜色空间模式表达的JPEG图像转换得来。

1.2.2 频率调谐的视觉显著性表达

频率调谐（frequency-tuned，FT）是图像的视觉显著性的一种检测方法，由Achanta等学者在2009年从图像频率成分分析的角度提出，定义了在Lab空间下整幅图像的颜色均值与每一个像素点经过高斯滤波后所获得的颜色值之间的差异，来表达其视觉显著性[19-20]：

其中，

（2）

这里，高斯滤波器是利用了多个高斯差分的结合成为带通滤波器，这样就形成了一个多尺度边缘检测器，表达为：

将此方法应用于成熟桑葚目标的特征表达中，如图2所示。所获得的视觉显著图，能够有效捕捉到各颜色空间分量的剧烈跳变点，充分表达出形状小且不规范的桑葚成熟果实与周围叶子、枝干以及未成熟桑果等背景之间的颜色差异，如图2b所示。这种图像频率调谐的视觉显著性表达，利用了图像平均信息，是一种全局对比度的描述方法，能够在Lab颜色空间清晰的表达出成熟桑葚的边缘轮廓，从而为成熟桑葚有效分割提供了丰富的特征信息。

a. 原始图像 b. 对应的频率调谐视觉显著性图

1.2.3 色调分量均衡化与特征融合

光照问题是机器视觉技术中面临的主要难题之一，光强变化会改变采集图像的灰度值，从而影响到成熟桑葚分割的准确性。在本文方法中，因为利用到Lab空间中光强表达的亮度分量去构建桑葚图像的视觉显著图，所以该特性会受光照不均匀的影响。因此，这里提出引入HSI颜色空间中分量融合到桑葚目标特征表达中，该色调分量的特点就是能从人的视觉感知表达目标的颜色特征，同时不受光照影响。

对于分量，本文首先进行了对比度受限自适应直方图均衡化（contrast limited adaptive histogram equalization，CLAHE）调整[21-23]，目的在于增强图像局部的颜色对比度，可以更多捕获成熟桑葚目标与背景之间的细节差异。另外，该方法对比普通的直方图均衡算法，使用了对比度限幅，可以克服图像均衡化过程中噪音过度放大的问题。

桑树挂果图像的均衡化分量与频率调谐视觉显著图两个特征通过式（5）进行融合，表达为

1.2.4 改进分层阈值化PCNN模型

脉冲耦合神经网络模型（pulse coupled neural network，PCNN）是由Eckhorn等学者模拟哺乳动物视觉皮层构建提出的，近年来国内外学者对其改进和简化[24-27]，形成了适合于图像目标检测的模型。这里为了适应成熟桑葚挂果图像特点，使之在复杂的种植环境中，有效分割出多个小目标，笔者提出了改进的分层阈值化PCNN模型来实现目标分割。式（6）～（10）描述了其单个神经元离散迭代模型的工作机理：

（7）

（8）

（10）

整个分层阈值化PCNN模型是按照式（6）～（10）式构建神经元网络模型，并迭代对输入图像进行点火分割，输出特征相似的桑葚目标对象。式中为反馈输入，这里定义为桑树挂果图像的均衡化分量与频率调谐视觉显著性之间融合后，所形成图像矩阵的每一个元素值；为连接输入，为连接权矩阵,为邻域内其它神经元上一次迭代的脉冲输出；为该神经元内部活动项，则为活动项的耦合强度系数；为迭代分割的脉冲输出；为动态阈值，是控制每一次图像分割输出的关键。这里改进了它的设置方法，提出了利用每一次迭代分割后输出目标区域内的均值通过系数衰减后形成得到。其中，表达为

PCNN模型属于人工神经网络模型，但它不需要训练，就能根据任务自适应地实现非线性化分类。即将本文提出的桑树挂果图像融合特征图输入到改进分层阈值化PCNN模型时，该模型会自动建立起对应图像像元720´1 280个神经元，通过上述迭代运算，实现对相似特征神经元的集体触发点火，从而产生一系列的输出图像，最后通过最小交叉信息熵规则筛选，形成了成熟桑葚的分割区域。

1.2.5 成熟桑葚目标的输出

在成熟桑葚区域分割出后，目标图像还会呈现出果实不完整和一些残留噪声，包括桑葚特有的聚花果形态小颗粒果实之间的分割空隙、树叶遮挡后不完整桑果等，如图3a所示，该图像为原始图像图2a在经过特征融合，并由改进分层阈值化PCNN模型区域分割后得到的结果。本文利用形态学膨胀和腐蚀组合运算，在该结果上去除独立噪声，平滑连通成熟桑葚目标区域，最后完成成熟果实的输出，如图3b和图3c所示。

a. 输入图像a. Input imageb. 去除噪声的结果b. Results after noise removalc. 平滑连通的成熟桑葚区域c. Ripe mulberry regions after smoothing and connecting

2 试验与结果分析

2.1 试验环境与参数选择

为了验证所提出方法在成熟桑葚视觉分割中的性能，选择如下平台进行试验：

硬件配置：Intel® Core™i7-3520M 2.90 GHz CPU，8GB RAM，NVIDIA Quadro NVS 5200M 显卡的计算机。

软件环境：采用Window 7操作系统，在Visual C++ 2015编程环境中实现，由C/C++语言编写，具有较好的移植性，可进一步用于其他硬件平台应用。

改进的分层阈值化PCNN模型的参数设置是根据成熟桑葚目标分割的特点，参考文献[25]和[27]并通过多次试验调整得到。确定了式（7）中邻域空间连接权矩阵，由中心像素的8邻域边界像素距离决定，取式（12）：

2.2 成熟桑葚分割结果

试验对象为晴天均匀光照、晴天非均匀光照、晴天遮阴和阴天光照等4种光照条件下拍摄的桑树挂果图像，每一种选取50幅进行试验，每一幅图像分辨率为720´1 280像素。每一幅试验图像上不仅包含了呈现为紫红或紫黑色颜色特征急待摘取的桑葚成熟果实这一识别目标。同时，还存在了绿色同形态的未成熟桑葚、绿色桑叶、褐灰色桑树枝干以及颜色与成熟桑葚相近的深红色土壤等大量背景干扰。试验目标设计为，在自然环境的桑树挂果图像中，有效分割出成熟桑葚，完整提取果实目标。

另外，试验还选取了目前广泛采用的果实图像非监督分割算法：基于频率调谐视觉显著图的OTSU法、利用颜色空间分量聚类的-means法，以及分别用桑葚图像的Itti视觉显著图[28-29]、GBVS视觉显著图[30-31]替换本文采用的频率调谐视觉显著图，所形成的PCNN模型法等共计4种分割方法，与本文算法在成熟桑葚目标的检测效果上进行对比。

其中，-means法参考文献[9]和[10]，在Lab颜色空间上进行聚类，参数取为3。

图4～7展现了所选取方法在试验图像上所获得的一些典型结果，同时就这些结果本文将展开进一步的分析。

2.3 结果分析

从图4～7的分割结果可以看到：

1）本文方法能够从大量桑叶、桑树枝干的复杂背景图像中准确提取到桑葚成熟果实，典型如图4f、图5f、图6f和图7f所示。而OTSU法和-means法受图像中桑叶和桑树枝干等干扰因素影响较大，易出现较多目标误分割。基于Itti视觉显著图和GBVS视觉显著图的PCNN分割方法，效果相对较好，但不及本文方法，在图5和图6中表现尤为明显。

a. 原始图像b. OTSU方法的分割结果c. K-means方法的分割结果d.Itti显著图分割结果e.GBVS显著图分割结果f. 本文方法的分割结果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

2）与其他方法比较，本文方法能够有效区别出未成熟的绿色桑果与成熟的紫红或紫黑色桑果，特别如图4和图6这样的近景图像表现更为明显。

3）本文方法能有效克服非均匀光照带来的强光点影响，典型如图5a中右上方的太阳强光和图6a中正下方枝干上的直射光并未在本文算法上造成误分割结果。而基于Itti视觉显著图、GBVS视觉显著图的PCNN分割方法却受光照影响较大，在有强光光斑的图像中分割效果较差，如图5d、图6d和图5e、图6e展示结果所示。OTSU法和和-means法同样在非均匀光强下表现不佳。

4）本文方法能够克服颜色与成熟桑葚相近的深红色土壤的影响，典型如图7f图所示。

综上，从分割效果直观看出，本文方法能够在不同自然光照条件下，从桑树挂果的复杂背景图像中，有效鉴别出成熟桑葚。

2.4 性能指标评价

为了进一步客观地验证本文方法的有效性，选用了文献[26]中的误分率（misclassification error, ME）来对图像分割性能指标进行评价。

表1展示了对比方法在晴天均匀光照、晴天非均匀光照、晴天遮阴和阴天光照等4种光照条件下桑葚图像分割的平均误分率，每一种包含了50幅图像的平均结果。从分割性能的平均指标上看，非均匀光照的光斑对各类试验算法的分割结果都有一定影响，特别在晴天遮阴光照条件下影响最大。但从整体情况上看，本文方法在不同光照条件下均有较好的性能指标，适应光照变化的能力最强。

表1同时也展示了不同对比试验方法在200幅测试图像上的平均运行时间。从时间指标上来看，本文算法相对于OTSU法和-means法，要耗时一些，但时间花费不是太高，与-means方法接近。基于Itti视觉显著性和GBVS视觉显著性的PCNN分割方法，由于在其视觉显著图的计算复杂度上相比于频率调谐方法要大，所以花费时间比本文算法更长。

但同时，本文方法也存在一些问题：1）当桑葚果实出现被桑叶遮挡或者相互遮挡重叠的时候，会出现分割不完整的问题，如图8b所示。2）另外，对于白玉王这类成熟与未成熟果实之间颜色差异较小的品种，分割效果不理想，如图8d所示。这些问题也是今后课题研究需要关注的方向。

表1 对比方法在不同光照条件下50幅桑葚图像的平均误分率和在200幅试验图像上平均运行时间

a. 遮挡桑葚原始图像a. Original image of occluded mulberriesb. 遮挡桑葚图像分割结果b. Segmentation result of occluded mulberries imagec. 成熟白玉王原始图像c. Original image of ripe “bai yu wang” mulberriesd. 白玉王桑葚图像分割结果d. Segmentation result of “bai yu wang” mulberries image

图8 遮挡的桑葚和成熟白玉王的视觉分割

Fig.8 Visual segmentation results of occluded mulberries and ripe “bai yu wang”mulberries

3 结论

本文提出了一种成熟桑葚目标的视觉分割方法，该方法利用了图像目标在Lab颜色空间的频率调谐视觉显著图和在HSI颜色空间的均衡化分量的融合特征，在脉冲耦合神经网络模型中实现了有效的、鲁棒的成熟桑葚识别。通过在晴天均匀光照、晴天非均匀光照、晴天遮阴和阴天光照等4种光照条件下200余幅桑葚图像的试验分析，结果表明：1）本文方法对于光照变化具有一定的鲁棒性，能在不同天气的光照条件下，较为准确的提取成熟桑葚目标，最大平均误分率也仅为2.78%（晴天遮阴光照条件）；2）本文方法为非监督分类方法，不需要大量样本图像训练，即可实现桑葚的有效分割；3）本文方法能够适应成熟桑葚的图像分布特点，能够克服桑葚采摘环境中复杂背景干扰，对比当前果实分割的OTSU法（17.73%）、-means法算法（10.69%）和基于Itti视觉显著性（7.34%）、GBVS视觉显著性的PCNN分割方法（5.83%），具有较好的效果，总体平均误分率为1.87%。下一步研究工作中将进一步在实时硬件平台上优化该方法，使之应用在“桑葚生长远程智能监测物联网系统”中，实现桑葚成熟果实采摘的智能提醒和产量估计。

[1] 徐子棋，饶良懿，朱金兆，等. 水淹胁迫下饲料桑苗的生长及光合响应[J]. 农业工程学报，2015，31(22)：105－114.Xu Ziqi, Rao Liangyi, Zhu Jinzhao, et al. Growth and photosynthesis characteristics of mulberry under flooding stress[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 105－114. (in Chinese with English abstract)

[2] Dimitrijevic D S, Kostic D A, Stojanovic G S, et al. Phenolic composition, antioxidant activity, mineral content and antimicrobial activity of fresh fruit extracts of Morus alba L.[J]. Journal of Food & Nutrition Research, 2014, 53(1): 22－30.

[3] 曾令树. 果桑的利用价值与发展现状概述[J]. 蚕学通讯，2015，35(3)：22－25. Zeng Lingshu. An overview of utilization value and development status of mulberry[J]. Newsletter of Sericultural Science, 2015, 35(3): 22－25. (in Chinese with English abstract)

[4] 丁红星，李敏通，彭俊，等. 桑葚振动采摘参数的试验研究[J]. 农机化研究，2016，38(10)：183－212. Ding Hongxing, Li Mintong, Peng Jun, et al. Experimental study on the vibration parameters of mulberry picking[J]. Journal of Agricultural Mechaniz-ation Research, 2016, 38(10): 183－212. (in Chinese with English abstract)

[5] 赵玲玲，姜文利，张岩，等. 不同天然生物保鲜液对桑葚贮藏品质的影响[J]. 保鲜与加工，2015，15(4)：26－31. Zhao Lingling, Jiang Wenli, Zhang Yan, et al. Effect of different natural biological preservative solution on storage quality of mulberry[J]. Storage & Process, 2015, 15(4): 26－31. (in Chinese with English abstract)

[6] 周金辉，马钦，朱德海，等. 基于机器视觉的玉米果穗产量组分性状测量方法[J]. 农业工程学报，2015，31(3)：221－227.Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[7] 柳琪. 农机行业下一个热点将是农业机器人[J]. 农业机械，2016(6)：41－45. Liu Qi. Agricultural robots will be the next focus in agricultural machinery industry[J]. Agricultural Machinery, 2016(6): 41－45. (in Chinese with English abstract)

[8] Nandi C, Tudu B, Koley C. A machine vision technique for grading of harvested mangoes based on maturity and quality[J]. IEEE Sensors Journal, 2016, 16(16): 6387－6396.

[9] 苗中华，沈一筹，王小华，等. 自然环境下重叠果实图像识别算法与试验[J]. 农业机械学报，2016，47(6)：21－26. Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(6): 21－26. (in Chinese with English abstract)

[10] 贾伟宽，赵德安，刘晓洋，等. 机器人采摘苹果果实的-means和GA-RBF-LMS神经网络识别[J]. 农业工程学报，2015，31(18)：175－183. Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175－183. (in Chinese with English abstract)

[11] 罗陆锋，邹湘军，熊俊涛，等. 自然环境下葡萄采摘机器人采摘点的自动定位[J]. 农业工程学报，2015，31(2)：14－21. Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[12] 徐黎明，吕继东. 基于同态滤波和均值聚类算法的杨梅图像分割[J]. 农业工程学报，2015, 31(14)：202－208.Xu Liming, Lü Jidong. Bayberry image segmentation based on homomorphic filtering and-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 202－208. (in Chinese with English abstract)

[13] 陈科尹，邹湘军，熊俊涛，等. 基于视觉显著性改进的水果图像模糊聚类分割算法[J]. 农业工程学报，2013，29(6)：157－165. Chen Keyin, Zou Xiangjun, Xiong Juntao, et al. Improved fruit fuzzy clustering image segmentation algorithm based on visual saliency[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(6): 157－165. (in Chinese with English abstract)

[14] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5): 1186－1195.

[15] 张红旗，王春光，李海军. 基于遗传算法的草莓图像FCM分割方法研究[J]. 农机化研究，2015，37(4)：55－57. Zhang Hongqi, Wang Chunguang, Li Haijun. The research of strawberry image FCM segmentation method based on genetic algorithm[J]. Journal of Agricultural Mechanization Research, 2015, 37(4): 55－57. (in Chinese with English abstract)

[16] 徐伟芳，王爱印，舒平，等. 几种常见桑树病害的识别与防治[J]. 蚕学通讯，2015，35(2)：22－30. Xu Weifang, Wang Aiyin, Shu Ping, et al. Identification and control of several diseases commonly occurred in mulberries[J]. Newsletter of Sericultural Science, 2015, 35(2): 22－30. (in Chinese with English abstract)

[17] 陈诚. 桑椹品质特性分析与研究[D]. 南宁：广西中医药大学药学院，2011：11－12.

[18] 严春来. 彩色图像分割算法的研究[D]. 成都：电子科技大学计算机科学与工程学院，2008：10－11.

[19] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]// Conference on Computer Vision and Pattern Recognition. IEEE, 2009: 1597－1604.

[20] Achanta R, Süsstrunk S. Saliency detection using maximum symmetric surround[C]// Conference on Image Processing. IEEE, 2010: 2653－2656.

[21] Josephus C S, Remya S. Multilayered contrast limited adaptive histogram equalization using frost filter[C]// Recent Advances in Intelligent Computational Systems. 2011: 638－641.

[22] 杨卫中，徐银丽，乔曦，等. 基于对比度受限直方图均衡化的水下海参图像增强方法[J]. 农业工程学报，2016，32(6)：197－203. Yang Weizhong, Xu Yinli, Qiao Xi, et al. Method for image intensification of underwater sea cucumber based on contrast- limited adaptive histogram equalization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 197－203. (in Chinese with English abstract)

[23] 姬伟，陶云，赵德安，等. 基于CLAHE的苹果树树枝迭代阈值分割方法研究[J]. 农业机械学报，2014，45(4)：69－75. Ji Wei, Tao Yun, Zhao Dean, et al. Iterative threshold segmentation of apple branch images based on CLAHE[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(4): 69－75. (in Chinese with English abstract)

[24] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Computation, 1990, 2(3): 293－307.

[25] Chen Y, Park S, Ma Y, et al. A new automatic parameter setting method of a simplified PCNN for image segmentation[J].IEEE Transactions on Neural Networks, 2011, 22(6): 880－892.

[26] Gao C, Zhou D, Guo Y. An iterative thresholding segmentation model using a modified pulse coupled neural network[J]. Neural Processing Letters, 2014, 39(1): 81－95.

[27] Zhou D, Zhou H, Gao C, et al. Simplified parameters model of PCNN and its application to image segmentation[J].Pattern Analysis and Applications, 2016, 19(4): 939－951.

[28] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11): 1254－1259.

[29] Liu L, Yu X, Ding B. A fast segmentation algorithm of PET images based on visual saliency model[J]. Procedia Computer Science, 2016, 92(1): 361－370.

[30] Schölkopf B, Platt J, Hofmann T. Graph-based visual saliency[C]// Conference on Advances in Neural Information Processing Systems. MIT Press, 2010: 545－552.

[31] Zhu D, Wang B, Zhang L M. Airport detection based on near parallelity of line segments and GBVS saliency[J]. Journal of Infrared & Millimeter Waves, 2015, 34(3): 375－384.

Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network

He Fuliang1,2, Guo Yongcai1※, Gao Chao1, Chen Jing3

(1.400044,; 2.400715,; 3.400700,)

In the planting environment, it is difficult to detect the ripe mulberry targets automatically by machine vision because of the small shape, irregular distribution of fruits, non-uniformly illuminating condition and complex background interference. This paper presents a visual segmentation approach of ripe mulberries based on frequency-tuned (FT) saliency map and the pulse coupled neural network (PCNN) model in order to improve the segmentation precision and robustness for ripe mulberries. Firstly, the captured mulberry image is transformed into Lab color space. This color space is designed by the perception of the human eye in the natural color. Consequently, the color feature of the target can be expressed by 3 independent components i.e.,, and. Next, the FT saliency map of mulberries can be computed by a multiscale edge detector. And it typically distinguishes differences between the region of ripe mulberries and the complex background in Lab color space. This saliency is illustrated as the difference matrix which includes the Euclidean distance of each pixel between the Lab vectors in the Gaussian filtered image and the average Lab vectors in the original image. Thereafter, the hue feature is extracted from the HSI (hue, saturation, intensity) color space of the captured mulberry image, and then equalized by contrast limited adaptive histogram equalization (CLAHE), which can enhance the color contrast of the mulberry image without being affected by illumination changes. And the feature image of mulberries is generated by fusing the FT saliency and the hue feature, as an input of the improved multilevel threshold PCNN model. Furthermore, the region of ripe mulberries can be detected by this PCNN model, which is a bio-inspired neural network and derived from synchronous dynamics of neuronal activity in a mammal visual cortex. This model is able to cause the adjacent neurons with similar inputs to pulse synchronously, and be appropriate to segment the small target from the complex background. Finally, the segmentation result of the ripe mulberry is acquired by morphology repair operation, and it ensures the integrity of the target region and the independent noise removal. In order to verify the effect of the method proposed in this paper, there were 200 test images captured from the mulberry ecological park of the Tianfu Town, Chongqing City, China in May, 2016. The acquisition time was often on sunny day and cloudy day, aiming at obtaining images under different lighting conditions, such as balanced illumination, imbalanced illumination and backlight. These images were collected by the Canon EOS70D digital camera with 3 648×5 472 pixels, and zoomed into 720×1 280 pixels to apply to the remote intelligent monitoring system of mulberry growth. The algorithm programming development platform is Visual C++ 2015. The experimental results point out that the average misclassification error (ME) by our method is only 1.87%, infinitely superior to the OTSU method with FT saliency (17.73%), the-means method (10.69%), the improved multilevel threshold PCNN method based on Itti saliency map (7.34%), and the PCNN method based on graph-based visual saliency (GBVS) image (5.83%). The average segmentation time of a test image based on our method is 2.562 3 s. Consequently, our approach is effective to segment the ripe mulberries in the complicated background and different lighting conditions.

image segmentation; computer vision; models; mulberry; visual saliency; frequency-tuned; pulse coupled neural network

10.11975/j.issn.1002-6819.2017.06.019

TP391.41

1002-6819(2017)-06-0148-08

2016-08-31

2017-01-06

教育部博士点基金（20130191110021）；中央高校基本业务费专项资金资助（XDJK2013C157）

贺付亮，男，重庆人，讲师，主要从事农业信息化及测控技术研究。重庆西南大学电子信息工程学院，400715。Email：lighter@swu.edu.cn

郭永彩，女，重庆人，教授，博士生导师，主要从事光电技术及智能化仪器、数字信号处理研究；重庆重庆大学光电技术及系统教育部重点实验室，400044。Email：ycguo@cqu.edu.cn