王建仑，韩 彧，赵霜霜，郑鸿旭，何 灿，崔晓莹，徐 云，陈建树，王淑婷

(中国农业大学信息与电气工程学院,北京 100083)

1 引言

分割是图像分析在农业应用中的重要环节。准确和完整的植物叶片的边缘信息为进行正确的作物生物量的获取提供目标区域。例如，生长状态的检测，研究测定植物叶片叶绿素含量、病虫害预警，以及叶片的三维重建和植物叶面积的计算等。草莓因其生长周期短、病害少、易于管理、具有较高的营养价值和经济价值高等优点而在温室广泛栽培，温室草莓叶片的图像分割对数字化生产管理研究有重要意义。

目前，已经进行了大量的在特定的光照环境下的叶片图像分割研究。关于图像的形状，纹理特征和反射吸收光学性质的研究方法至今已不计其数。本文提出了一种基于小波分析的自然光下的草莓叶片分割方法。本研究的目的是设计一个快速准确的草莓叶片边缘检测算法，用于在温室自然光条件下的捕获的远程视频流中的叶片图像分割。在本课题组以往的研究中，集成了图像增强、边缘检测、阈值、形态学处理等多种图像处理方法，对复杂背景下枣叶进行了分割，取得了令人满意的结果。然而，叶片光反射、卷曲、叶脉和纹理等对枣树叶片分割与对草莓叶片分割相比其影响较小，所以自然光下的草莓叶片分割算法应该考虑更多的影响因素。

一些研究人员用彩色图像阈值分割方法自动识别普通玉米和草莓叶病，并指出了自动阈值分割结果取决于拍摄光的均匀性和目标与背景之间的差异。通过分析病变叶片与正常玉米叶片的色相通道直方图，利用先验知识得到的单峰特性可以获得更有效的分割阈值。还有研究首先标记的是连通区域结构完整性大于0.9的豆和杂草植物冠层图像，采用Gustafsen-Kessel方法进行其他连通区域的绿色通道聚类，结构完整性用于选择遗传算法的适应度函数来重组这些片段，并重复上述过程直到所有连通域被标记，最终获得的目标区域是最后的标示区域。一些研究人员研究了近红外遥感图像分析方法。红绿通道形态聚类首先采用自然光照条件下的作物的CCD图像，然后通过原始图像与形态学开运算后的图像之间的几何差异比较得到叶脉信息，其中形态学开运算通过结合中心和聚类信息用以确保作物图像中心位置，最终得到了分割结果。还有利用Otsu法和形态学侵蚀法研究植物叶片的内部和外部标记，然后利用标记物控制植物叶片和背景的分水岭。

由于在温室的非均匀光照条件下的光辐射和反射，获得的草莓叶片图像灰度显著不相同，真正的草莓边缘与其它纹理清晰的伪边缘冲突，真正的叶片边缘与其的叶脉及背景中某些东西可能具有相同的梯度变化，因此单一的分割方法用于草莓叶片图像是不可行的。

在本研究中，考虑光照条件、叶片目标的形状和复杂的叶片背景这三者与分割算法的关系，提出了在自然光下基于多尺度分析草莓叶片的边缘检测方法，分析了在不同尺度空间下不同的边缘和纹理特征。该方法结合尺度空间、canny边缘检测、Otsu阈值分割和形态学处理方法，获得了完整和精确的草莓叶片边缘结果。

2 材料与方法

在这项研究中使用的草莓图像（图1）是CMOS摄像头在自然光温室里获得的。

图1 自然光温室草莓图像

2.1 多尺度空间

多尺度图像分析被称为数学显微镜，在分析过程中，可以分别从不同层次尺度空间中的细节和抽象重建不同点近似图像。重建图像被用来分析图像的不同的特征，并获得目标区域的边缘。由于小波变换具有比傅立叶变换更好的局部时频分析特性，因此小波变换在选择方向、小波函数选择和时频分辨率选择上更具灵活性。小波变换在图像特征提取、目标识别、信号处理等领域有着广泛的应用。在小波分解中可以捕捉到图像的水平、垂直、对角线细节和近似小波分解系数。利用近似小波分解系数可以重构任意尺度下的高尺度空间和低尺度空间上的边缘近似图像。通过分析这些在高低尺度上重建的边缘近似图像，可以推断出适当的分割方法。一般来说，如图2所示的两个叶片图像样本处理图，如果尺度较大，那么重建图像中保留的信息都较小，而且重建的图像比较模糊，同时叶脉纹理较少。

图2 在1～3层尺度中较高和较低尺度小波分解重建的草莓叶子图像的近似边缘对比

可以观察到，Otsu分割的较高尺度重建图像结果，虽然内部叶片孔洞随着静脉纹理的下降而降低，但是目标和背景的之间的粘连增加，并且目标位置变得模糊。随着尺度的增大，canny算子检测到的尺度重建图像的边缘变少。显然，仅在一个尺度空间通过canny和Otsu一种分割不能获得完整的和准确的边缘。

本研究中，基于不同尺度间重建图像的差异，用四层daubechies 5（‘db5’）小波分解构建基于不同尺度的边缘提取算法。多尺度分析步骤如下所示。

1）对含有纹理特征最多的第一层小波分解重建图像进行Otsu分割，得到准确的目标区域，然后对二值图像结果进行形态学腐蚀，以减少粘连，得到叶片外区域模板，并在第一层尺度空间中去除叶片图像边缘的外部伪canny边缘。

2）对纹理特征较少的第三层重建图像进行Otsu分割，得到粗略的叶片区域，然后将该粗略的叶片区域作为掩模。在掩模区域内第三层重建图像被第二次Otsu分割为前景和背景，对该前景和背景分别进行形态学处理和逻辑运算，然后可以得到的叶内部区域模板用以擦除叶片图像边缘内部相应映射空间区域的伪canny边缘。

3）最后，通过逻辑运算，得到了无外部和内部canny伪边缘干扰的精确完整的草莓叶片canny边缘图像。

2.2 伪canny边缘的消除

一些因素显然影响分割，如光线不均匀，叶片之间或叶片与杂草等之间的重叠或接触，卷曲的叶子形状等，所有这些因素都可能会导致叶片前景区域和背景区域的纹理细碎和叶片图像边缘内部灰度级不均。而具有同样的表面法向量的叶片图像的不同部位有相似的灰度级差，这可能会导致许多类似的canny边缘。用canny算子分割叶片图像时，结果图像中会有许多纹理边缘，有的是真实的叶片边缘，有的则在真实的叶片边缘之内外。通过上述分析，本研究将第一层小波分解重建图像中的canny伪边缘划分为三类：

1）叶片图像边缘外部的伪canny边缘被当作是第一类伪边缘，它存在于4层“db5”小波分解空间中第一层小波分解重建图像的Otsu分割结果二值图像的背景区域中。

2）叶片图像边缘内部的一部分canny伪边缘被当作是第二类伪边缘，它的映射区域是第三层小波分解重建图像在该层的掩模中的第二次Otsu分割的结果二值图像的前景区域，该区域具有较高的亮度。

3）叶片图像边缘内部的另一部分内部canny伪边缘被当作是第三类伪边缘，它的映射区域是第三层小波分解重构图像在掩模中的第二次Otsu分割的结果二进制图像的背景区域，该区域具有显著的灰度差异特征。

本文考虑三种不同区域之间的差异，构建了不同的处理方法，以获得最终的真实叶片边缘，排除这三种区域内的canny伪边缘。

2.2.1 外部轮廓过程

叶片图像边缘的准确度取决于四层‘db5’小波的第一层小波分解重建图像的Otsu分割过程，以及擦除叶外部伪边缘的过程。上述分割的背景区域被用作第一类canny伪边缘区域模板，以消除冗余的外部canny伪边缘，然后使用形态学算子将模板与实际叶边缘保持几个像素的差距，以避免使用模板时造成不完整的叶片图像边缘。

因此，将第一类canny伪边缘擦除的流程分为三个步骤。

1）重建小波分解后的第一层灰度图像。

2）对第一层小波分解重建图像进行canny边缘检测和Otsu分割，以获得第一层重建图像的canny边缘图像和二值区域图像。

3）将第一层小波分解重建图像的Otsu分割背景区域作为第一类canny伪边缘区域模板，通过形态学和逻辑运算擦除叶外部区域中的canny伪边缘。

由于第一层小波分解重建图像纹理较复杂，对它进行Otsu分割可能会导致如图4b的叶片内部区域中的孔洞。因此将该区域分割的前景用2像素半径的圆形结构元形态学腐蚀和填充，再用4像素半径的圆形结构元腐蚀，然后用8像素半径的圆形结构元将结果中最大面积连通区域提取，进行形态学膨胀，将所获得的结果的背景区域作为外部模板图像。该模板距离叶片真实边缘2个像素。多次腐蚀-填充的作用是避免扩大叶片图像边缘内部孔洞，并且断开叶片和背景之间的粘连，来提取到完整的叶片图像区域。多次腐蚀填充并膨胀得到外部模板的流程如图3和图4所示。

从图4可以看出，对二进制区域直接用6像素结构元腐蚀可能导致由叶片内部纹理产生的叶片内部区域孔洞膨胀，进而造成叶片内部的碎片。而多次腐蚀可以在不加剧内部纹理孔洞的情况下分离粘附，获得完整的叶片区域。

图3 外部轮廓模块流程图

图4 外部轮廓提取步骤

2.2.2 内部轮廓过程

将第三层小波分解重建图像进行首次Otsu分割，前景区域用6个像素半径的圆形结构元形态学腐蚀和填充孔洞，以确保掩模在叶边缘内部，将结果中的最大连接域作为掩模。因为第三层重建图像具有较少的纹理，使得作为掩模的Otsu分割前景的叶片区域更加完整，同时允许结果中可能存在背景的一些黏合。

图5 内部轮廓步骤

将第三层小波分解重建图像在掩模区域内第二次进行Otsu分割，获得的前景区域为第二类伪canny边缘区域，背景区域为第三类伪canny边缘区域。

叶片处理和流程的步骤如图5和图6所示。

（a）小波分解第三层重建图像f2；（b）“（a）”的OTSU阈值分割结果f5；（c）通过6个像素半径的圆形结构腐蚀“（b）”；（d）填充“（c）”中的空洞并用3个像素半径的圆形结构元腐蚀结果；（e）用3个像素半径的圆形结构元膨胀前景区域中的最大连通区域“（d）”；（f）将结果“（e）”的最大连通区域作为掩模f8，在掩模下对第三层小波分解重建图像进行第二次OTSU阈值分割的结果f9；（g）掩模下2次分割后图像背景区域f10（其中不包括“（f）”的前景区域）；（h）用叶片图像内部canny边缘连接“（f）”中的图片分割碎块，形态学填充后提取最大连通区域作为第二类canny伪边缘区域（叶片内部高亮区）f11；（i）用相应的叶片内部细化canny边缘缝合“（g）”，形态学填充后提取最大连通区域作为第三类canny伪边缘区域f16（叶片内部灰度不均匀区）；（j）对“（h）”和“（i）”进行逻辑AND运算的结合区域f17；（k）对“（j）”形态学填充后腐蚀获得的小于叶片图像边缘2个像素的内部模板f18。

整个内部轮廓模块的流程图如图6所示。

图6 内部轮廓模块流程图

（1）叶内均匀区域

将第三层小波分解重建图像进行第一次Otsu分割，以分割结果的前景作为掩膜。在掩模内对第三层小波分解重建图像进行第二次Otsu分割。用第一层小波分解重建图像的叶片图像边缘内部的canny边缘缝合第三层小波分解重建图像第二次Otsu分割的前景区域，再对该前景区域进行形态学运算获得的最大区域是第二类canny伪边缘区域，该区域是具有均匀灰度的内部高亮区域。第二类伪边缘处理模块的步骤如下：

①对第三层小波分解重建图像进行第一次Otsu分割，形态学填充，然后将结果中最大连通区域作为掩模。

②在掩模区域内对第三层小波分解重建图像进行第二次Otsu分割得到前景区域图像。

③将第二次Otsu分割的前景区域图像与第一层小波分解重建图像的canny边缘进行逻辑XOR运算，以缝合前景中碎片，经过形态填充，选择最大的连通区域作为第二类canny伪边缘区域模板。

④用第二类canny伪边缘区域模板与第一层小波分解重建图像的叶片图像边缘内部的canny边缘进行逻辑AND运算来擦除叶片边缘内部高亮区域的canny伪边缘。

第二类canny伪边缘区域的处理流程图如图7所示，处理步骤的实例图如图8所示。

图7 第二类canny伪边缘区域（高亮区）处理模块流程图

图8 第二类canny伪边缘区域处理的实例图

（a）第一层小波分解重构图像f1；（b）第一层小波分解重构图像canny边缘检测结果f3；（c）外模板f4；（d）去除外部canny伪边缘的图像f7；（e）第三层小波分解重构图像f2在掩模下第二次OTSU分割结果图像f9；（f）用“（d）”与“（e）”逻辑异或运算，用边缘连接分割区域前景中的碎片；（g）对“（f）”填洞；（h）选取“（g）”中的最大连通区域，作为第二类canny伪边缘区域f11

（2）叶内不均匀区域

第三层小波分解重建图像的第二次Otsu分割的背景区域是第三类伪canny边缘区域，这是灰度不均匀的叶片内部区域，灰度接近背景进而可能导致叶片区域与背景区域粘连。第三类伪canny边缘区域处理模块的步骤如下：

①用4像素半径的十字交叉结构元对第一层小波分解重建图像的叶片内部canny边缘进行形态学膨胀，以连接细碎的叶片内部canny边缘。然后对膨胀后的叶片内部canny边缘无限细化，获得薄而连接的近似的叶片内部canny边缘。

②将第三层小波分解重建图像在其自身第一次Otsu分割得到的掩膜内进行第二次Otsu分割，对获得的背景区域进行形态学腐蚀，得到一系列该背景区域碎片。将近似的叶片内部canny边缘与上述完整的背景区域进行形态学AND运算，得到的canny连接线和完整的背景区域外部轮廓线一起将腐蚀后的背景区域碎片缝合，并断开了叶片内部区域与外部区域的的粘连。

③将上述结果形态学填充，选取最大连通区域作为第三类canny伪边缘区域。

第三类canny伪边缘区域的处理流程图如图9所示，处理步骤的实例图如图10所示。

（3）完整精确的叶片canny边缘的获取

将第二类和第三类canny伪边缘区域进行逻辑运算，获得完整的叶片内部区域。将组合区域形态学腐蚀，结果作为完整的内部模板，它比实际叶片边缘小一到两个像素。

然后利用第一层小波分解重建图像的canny边缘图像与内部模板和外部模板进行逻辑运算，从而擦除内外部canny伪边缘，获得整个叶片边缘的canny边缘线。

图9 第三类canny伪边缘区域（纹理区）处理模块流程图

图10 第三类canny伪边缘区域处理的实例图

2.2.3 要点阐述

（1）最大连通区域

原始图像被程序（通过可变的预设剪切框）自动剪切成叶片大小相似的子图像。如果被剪切出的子图像中的确含有一片完整的叶片，那么子图像中完整叶片的面积占优并居中。根据子图像的灰度条件，可以假设Otsu分割子图像的前景中的最大连通区域是子图像中的叶片区域；如果背景是叶面积，则第一类canny伪边缘区域的背景和前景的处理过程将被交换。

（2）产生第二类和第三类canny伪边缘区域的原因

叶片并不是平面，第二类canny伪边缘区域产生的原因是叶面稍微折叠或卷曲，使得灰度受照度影响，出现高亮光区域。第二和第三类canny伪边缘区域都是叶内部区域，是第二次Otsu分割第三层小波分解重建图像的前景和背景。叶片内部的第三类canny伪边缘区域的灰度接近叶片边缘外部区域，即该区域的叶片边缘两侧内部区域与外部区域灰度梯度不显著，而该区域纹理特征与叶片外部显著性相似，这是粘连主要原因（如图2所示，图a中的第一行）。

（3）第二类和第三类canny伪边缘区域的相关操作

（a）叶片内部模板比第一层小波分解重建叶片图像真实边缘的canny线小一个或两个像素。根据照度条件的不同，该模板可能包括与叶片内部区域粘连的一些叶片外部的区域。进行叶片内部区域处理的内部模板获取将分为如下两个阶段。

（b）首先将第三层小波重建图像的Otsu分割前景区首先作为掩模，对第三层小波重建图像在该掩模下再次Otsu分割，所获前景区域是叶片内部的第二类canny伪边缘区域，所获背景区域是第三类canny伪边缘区域。

（c）将两类区域由分别提取的相应区域内的近似canny边缘线缝合，然后将两类区域合并，得到完整的内部模板，并且将叶片外部区域的粘连断开。

叶片内部区域模板与第二类和第三类canny伪边缘区域的处理流程和步骤如图5、6和7、8、9、10所示。

2.3 完整的算法过程

草莓叶边缘提取的一般算法步骤如下，流程如图11和12所示。

（1）将彩色子图像变为灰度图像，然后使用维纳滤波算子对子图像进行噪声处理。

（2）去噪图像f0用4级“db5”小波分解，重建四层“db5”小波分解的第一层图像f1和第三层图像f2。

（3）检测f1的canny边缘，对f1和f2进行Otsu阈值分割，结果分别命名为f3，f4和f5。

（4）叶片外部区域模板f6是对第一层小波分解重建图像进行Otsu阈值分割，通过外部轮廓模块流程获得的。其目的在于擦除外部canny伪边缘。叶片内部区域模板f18是对第三层小波分解重建图像进行Otsu阈值分割，通过内部轮廓模块流程获得的，旨在消除内部canny伪边缘。

（5）为了获得完整精确的叶片canny边缘图像，首先用逻辑运算f7 = f3＆（～f6），来擦除叶片外部canny伪边缘。

（6）再用逻辑运算f18 =（～f17）＆f7，来擦除叶片内部canny伪边缘，以得到最终叶缘图像f18。

整个算法过程由图11中的两个叶片样本图像处理实例描述，流程步骤如图12所示。

图11 小波重建叶片图像处理的全过程实例图

3 结果与讨论

在这项研究中，所有草莓叶图像都是通过CMOS摄像头在自然光温室中拍摄的。

基于上述所有实验结果可知基于小波分析的方法有效地解决了自然光温室中叶片照度引起的灰度不均匀、叶片重叠和卷曲等问题对草莓叶片分割的影响。由于尺度分析操作耗费了计算机系统的大量计算资源，所以简化上述分割方法以避免小波尺度分析计算产生的问题；同时对上述实验推导的小波分析方法加以改进，可以对原始灰度图像进行直接有效的分割。

图12 多尺度算法提取草莓叶片边缘的总流程图

3.1 不同分割方法的比较

图13通过一组比较实验，显示了本文推导的分割方法与其他常用方法的区别。

比较实验结果如下：

Gauss Laplace差分算子检测到的边缘主要表现为细碎和断裂。叶片边缘外部区域中的叶子、树枝等与叶片图像边缘内部区域存在着严重的粘连，如图13（b）。

canny方法可以检测连续和唯一的单像素边缘，但其边缘结果包含由内部纹理，叶柄和树枝引起的许多其他显著的梯度变化引起的伪边缘，如图13（c）。

直接分水岭法存在过度分割的严重现象。淹没在噪声或其他信号中的边缘是由于不均匀的照度引起的，如图13（d）。

改进的分水岭分割方法基于形态学标记。与直接分水岭分割方法相比，已经大大改善，但由于自然光温室草莓叶片图像成像条件和背景复杂，因此的改进的分水岭方法存在将目标分割成多个不规则片段的现象，如图13（e）。

Otsu分割方法可能会导致叶片内部区域与叶片外部区域的粘附，以及叶片内部区域的孔洞。这是由于部分叶片外部区域与叶片内部区域的纹理灰度差异小，以及待分割目标叶片图像的内部灰度不均匀纹理状况引起的，如图13（f）。

图13 不同分割方法的比较实验结果

小波包方法可以获得连续但局部叶片内部区域与外部区域粘连的边缘；同时这种方法比其他方法消耗更多的计算资源，如图13（g）。

本研究推导出的算法可以在自然光中获得草莓叶片的完整和准确的边缘，边缘受到外部背景，内部纹理和不均匀照明的干扰较小。实际叶片图像边缘内部的或外部的canny伪边缘几乎完全被擦除，如图13（h）。

比较实验结果表明，本研究的算法效果显著。

3.2 简化分割算法

由于尺度操作耗费了大量的计算资源，所以考虑对原始灰度图像直接应用尺度分析算法。本文改进了上述基于尺度重构的分割算法，将其应用于分割原始灰度图像。

简化的分割过程继承了上述多尺度分析过程导出的分割方法，仅将canny伪边缘区域划分为两类。一个是对叶片图像边缘外部的canny伪边缘区域的处理，与上述第一层小波分解重建图像中的外部canny伪边缘区域处理相同。另一个是对整个叶片图像边缘内部的canny伪边缘区域的处理，仅采用上述第三层小波分解重建图像中的第三类伪边缘区域处理方法对整个内部区域处理。简化算法实例如图14所示分割效果显著。

图14 基于直接应用小波分析过程的简化分割算法过程

在简化算法中，我们充分考虑了分割的复杂性，但是如果叶片内部区域的纹理特征太复杂，而外部模板可用，但不十分理想（图14（d）），那么分割效果就会受到影响。在尺度分析中，第三层小波分解重构图像也可以通过Otsu分割，将背景区域进行处理以获得完整的外部模板以替代第一层小波分解重构图像处理获得的外部模板。但是，如果不用尺度分析计算，同时对原叶片子图像处理获得的叶片图像边缘的内部区域不完整（外部模板也不完整），则在简化的分割方法中不能完全去除canny伪边缘，获得完整的叶片边缘。如果发生这种情况，边缘提取过程中应该采用小波分析过程来处理复杂叶片外部纹理条件下的叶片边缘提取算法。

4 结论

通过实验证明，提取草莓叶边缘的多尺度算法是有效的，本文主要的贡献如下：

（1）提出在自然光条件下，多尺度小波分析研究草莓叶片图像边缘的提取方法。在此过程中用Otsu算子将第一层小波分解重建的叶片图像的canny伪边缘分为三大类，它们分别是叶片图像边缘外部区域、叶片图像边缘内部的高亮灰度均匀区域和叶片图像边缘内部的不均匀灰度区域。

（2）在不同尺度空间的重建图像的相应映射图像空间区域（三类区域）中，推导出不同的方法来去除canny伪边缘，以获得完整和准确的叶片边缘。

（3）在第三类区域的处理过程中，建立了一种新的水平和垂直方向均为4个像素的十字交叉线性结构单元，用于形态学腐蚀二进制图像。

（4）利用相应空间映射区域的canny边缘线缝合Otsu分割碎片，将需要处理的前景或背景区域整体化，同时可以断开叶片图像边缘内部区域和外部区域的粘连。

（5）简化的算法可以直接用于分割叶片的原始图像。以节省尺度分析耗费的计算资源。实验表明，除了发生一些不完整的外部模板情况时不能避免使用尺度分析方法之外，本文的简化算法是有效的。

如前所述，自然光条件下，草莓叶片图像边缘提取算法的应用展望可以表述如下：可用于叶病害分析，叶面积计算，营养状况监测和生长状况监测，可以在今后的工作中实现果园数字化管理。