石昌友 王美丽 刘欣然 黄慧丽 周德强 邓干然

摘 要：针对不同种类甘蔗表面多样性和复杂性等因素导致甘蔗图像的茎节难以识别问题，提出一种基于机器视觉且适合各种类型甘蔗的茎节识别方法。首先，通过迭代拟合法从原始图像中提取甘蔗目标区域，并估计甘蔗目标与横轴的倾斜角度，根据倾斜角度参数旋转甘蔗目标成近似平行横轴姿态;然后，利用双密度双树复小波变换（DD-DTCWT）对图像进行分解，使用不同层次的垂直和近似垂直方向的小波系数重构图像;最后，运用图像直线检测算法对重构图像进行检测，得到甘蔗茎节部位的边缘线，对边缘线的密度、长度、相互距离信息进一步验证便可实现甘蔗茎节的识别和定位。实验结果显示甘蔗茎节完整识别率达到92%，约80%的茎节的定位精度小于16个像素，95%的茎节的定位精度小于32个像素，所提方法在不同的图像背景下，都能够成功地对不同类型的甘蔗进行茎节识别，并且定位精度高。

关键词： 甘蔗茎节识别;机器视觉;双密度双树复小波变换;直线检测算法

中图分类号： TP391.4

文献标志码：A

文章编号：1001-9081（2019）04-1208-06

Abstract： The sugarcane node is difficult to recognize due to the diversity and complexity of surface that different types of sugarcane have. To solve the problem， a sugarcane node recognition method suitable for different types of sugarcane was proposed based on machine vision. Firstly， by the iterative linear fitting algorithm， the target region was extracted from the original image and its slope angle to horizontal axis was estimated. According to the angle， the target was rotated to being nearly parallel to the horizontal axis. Secondly， Double-Density Dual Tree Complex Wavelet Transform （DD-DTCWT） was used to decompose the image， and the image was reconstructed by using the wavelet coefficients that were perpendicular or approximately perpendicular to the horizontal axis. Finally， the line detection algorithm was used to detect the image， and the lines near the sugarcane node were obtained. The recognition was realized by further verifying the density， length and mutual distances of the edge lines. Experimental results show that the complete recognition rate reaches 92%， the localization accuracy of about 80% of nodes is less than 16 pixels， and the localization accuracy of 95% nodes is less than 32 pixels. The proposed method realizes node recognition for different types of sugarcane under different background with high position accuracy.

Key words： sugarcane node recognition; machine vision; Double-Density Dual Tree Complex Wavelet Transform （DD-DTCWT）; line detection algorithm

0 引言

甘蔗播種面积占中国糖料播种面积的87%以上，在世界排名第3位，而且甘蔗种类丰富[1]。传统甘蔗种植方式需要大量的劳动力并产生大量的时间成本，因此甘蔗种植机械化和智能化是甘蔗农业的迫切需求，而甘蔗茎节识别是其中关键技术之一。但甘蔗种类多，甘蔗表皮形态复杂、无序和多样，给视觉识别带来比较大的技术挑战。

国外学者Moshashai等[2]利用灰度图像阈值分割的方法对茎节识别问题进行初步研究。陆尚平等[3]把甘蔗图像HSV（Hue， Saturation， Value）颜色空间的S分量和经过阈值分割的H分量的反图像进行运算，然后基于支持向量机对甘蔗图像的茎段和茎节进行分类;乔曦[4]利用甘蔗图像的边缘线信息间接实现甘蔗茎节识别;黄亦其等[5]通过传统边缘检测算子操作得到二值化图像，最后利用Radon变换识别茎节部位边缘线;张卫正等[6]基于沿包含茎节的甘蔗长轴方向灰度上有明显上升的特性识别甘蔗茎节。然而，上述研究还存在着不同程度的问题：1）茎节检测只满足特定种类甘蔗，不能适用于不同表皮颜色的甘蔗茎节识别;2）茎节识别不完全，不能够很好找到甘蔗图像中的所有茎节;3）甘蔗茎节完整识别率有待进一步提升。

小波变换是数字图像处理领域重要的图像时、空频变换技术之一。Kingsbury[7]提出的复小波变换（Complex Wavelet Transform， CWT）弥补了离散小波的平移敏感性缺点;随后Selesnick[8]提出的双密度双树小波变换可以把信号分解更精细，增加了信息量;Selesnick等[9]提出了双树复小波具有抗混淆性、近似平移不变形和更多方向选择性的特点。随后，学者们又提出双密度双树复小波变换（Double-Density Dual Tree Complex Wavelet Transform， DD-DTCWT）。各类型小波技术被广泛应用于视觉图像处理领域[10-16]。

近年来，图像边缘线检测的研究相继发表[17-20]。图像边缘线是重要的图像信息，在图像目标识别[21]、机场图像识别[22]、图像建模[23]、地面交通图像识别[24]等被广泛运用。

本文提出的甘蔗茎节识别方法：首先，利用甘蔗表皮粗糙、纹理混乱特点，实现在不同的图像背景条件下提取甘蔗目标区域;然后利用小波分解与重构技术把甘蔗图像变换成一系列甘蔗茎节信息突出、明显的图像组;最后采用图像边缘线检测算法获得甘蔗茎节部位的边缘线信息。

1 数据材料

1.1 甘蔗图像数据

甘蔗实物由中国热带农业科学院农业机械研究所（广东省湛江市）提供，选用数码相机（Canon-EOS6D），分别在白天和晚上两个不同背景光条件下的多种背景场景下拍摄。拍摄前，人为增加一定的图像干扰因素例如阴影、干扰线条、噪声等。最后拍摄的甘蔗图像经软件进行了10°、20°、30的顺时针和逆时针旋转，最终甘蔗图像集包含着多种姿态的甘蔗图像。部分甘蔗图像如图1所示。

从甘蔗图像集中随机选出300张图，每个甘蔗茎节部位被一个刚好能够覆盖的人工标记区域标记。这组被标记的甘蔗图像作为本研究实验数据，用于识别率、茎节定位精度的定量评价。

1.2 甘蔗茎节定位精确度量

横轴的像素距离可用来度量甘蔗茎节定位误差。以茎节的标记区域的中心点为基准位置，定位误差计算公式如下：Accuracy=1N∑Ni=1xi-xc（1）

其中：xi、xc、N分别表示茎节的识别横坐标、茎节的基准横坐标和算法识别茎节的横坐标个数。在茎节识别率评估时，本文把定位误差超过120个像素的情况视为伪识别。如果整幅图像的所有茎节都被识别，且没有产生伪识别，这种情况被定义为完整识别。

2 方法

2.1 甘蔗目标区域提取

甘蔗目标提取算法流程如图2所示。首先，修改Canny算子的双阈值抑制，双阈值的较大阈值设置为当前图像的梯度图中80%的像素的梯度值的平均值，另一较小的阈值设置为大阈值的0.8倍。二值化图像的背景区域白点像素稀疏，而甘蔗目标区域的白点像素具有较大的局部密度和一定强度的连续性，整体趋势近似线性。

在甘蔗目标趋势迭代拟合之前，应用局部密度抑制法过滤背景区域的过长的干扰线。局部密度根据式（2）计算：

然后，应用迭代拟合方法得到目标区域的趋势。步骤如下：①根据式（2）计算得到密度图像，以给定步长和列块宽度对密度图像进行列块采样。②对于所有采样列块，取其列块内的最大密度值的像素为候选拟合坐标点。③基于拟合坐标点进行线性拟合。④删除部分离拟合结果直线距离最远的拟合坐标。⑤统计以当前拟合直线为基础，通过连续整数次纵向平移直线得到局部图像块的白点像素数。⑥判断像素点数的连续变化幅度，如果变化平缓，迭代结束;否则，使用剩余的坐标点从③开始再次迭代。

最后，提取目标区域。步骤如下：①根据拟合的结果直线，通过连续整数次纵向平移直线得到局部图像块模板。②分别往上、下两个方向平移局部图像块模板。③对于每一次模板的平移，在原二值图像截取板相对应区域，并纵向投影截取区域。④判断投影向量是否存在过长的连续零值序列。⑤在同一平移方向，如果连续多次模板平移后都出现过长连续零值序列，停止模板平移。所有模板平移过的位置为甘蔗目标区域，否则从②开始再次迭代。

图3是甘蔗目标提取算法运行结果，图3（b）为目标区域提取结果，图3（c）中星型直线为目标倾斜度估计结果。

2.2 双密度双树复小波变换

2.2.1 小波分解

双密度双树复小波变换对信号进行分解，具有平稳性、抗混叠性和平移不敏感性等特点。双密度双树复小波变换利用两个不同尺度函数和四个不同的小波函数，经下采样技术实现。如下的两个尺度函数和四个小波函数构成了一个复尺度函数和两个复小波函数：

双密度双树复小波变换能够把信号分解成32个方向的信息。如图4所示，左右两部分分别是两个棵树的方向，上下两部分分别是实部和虚部两个分支方向。

2.2.2 小波重构

由于甘蔗图像经形态调整步骤之后，甘蔗茎节部位边缘线近似垂直于横轴。所以本研究只要选择方向為±75°和±90°的小波系数重构图像。本研究对多种重要的重构策略对茎节识别结果的影响进行深入探索，并分析了多幅重构图像不同融合策略的效果。实验结果表明融合三幅重构图像的策略可以获得更优的识别效果。这三幅重构图像由第1、2、3层，第1、2、3、4层和第1、2、3、4、5层高频系数分别重构。

2.3 甘蔗茎节识别

学者von Gioi等[17]提出一种图像直线检测算法LSD（Line Segment Detector），本研究使用LSD算法对重构图像作边缘线检测。

LSD算法通过统计检验法判定梯度方向基本一致的像素群是否为边缘线。每个像素群可由一个最小的矩形完全覆盖。给定线段域Area，其矩阵中心计算公式如下：

图像多分辨率是提高图像处理算法适应性的经典技术，常用的图像分辨率缩放比率是2，为提高LSD算法的鲁棒性，本研究使用LSD算法的三层空间金字塔版本，图像空间金字塔的缩放比例是1/2。

2.4 甘蔗茎节信息优化

直线检测的结果有可能携带有茎节部位以外的干扰线条。需要对其修正和优化。甘蔗茎节信息优化算法流程如图5所示。

首先，使用目标区域掩码过滤掉不在掩码范围的点，并去掉斜率角小于60°的直线和删除过长和过短直线。然后，计算剩余直线的平均长度作为甘蔗茎节高度值，选择两倍茎节高度为茎节之间的最小间距，每对相邻的茎节距离至少要大于最小茎节间距;最后为每条直线分配优先级，按照优先级从高到低顺序验证每条候选线。线的优先级通过式（11）计算：

3 实验与结果分析

3.1 甘蔗茎节识别

实验分成四组，甘蔗茎节完整识别率和本文算法执行时间等实验数据如表1所示，平均完整识别率为92%，本文算法在每张图像的平均运行时间是1.96s。实验说明本研究选择的甘蔗茎节部位边缘线可用来作为甘蔗茎节识别的根据，具有良好的茎节识别效果。因为任何类型的甘蔗的茎节部位附近都有生长带、根带、叶痕覆盖带、甘蔗种芽多个不同的甘蔗区域，不同区域带有明显的分界线，并且分界线方向、形态较为一致，而甘蔗茎段部位只有横向的芽沟，维管束或者是杂乱的蜡粉或图案。实验结果中还有少部分的甘蔗图像的茎节没有被完全识别或者产生了伪识别。这是因为有少数甘蔗的茎节附近的分界线很模糊，LSD算法无法识别;或者因为甘蔗茎段部位因其他原因遗留有一定长度和方向的刮痕，本文算法产生误判。

实验输入图像分辨率比较大，但是本文算法在每张图片的平均执行时间开销却只有1.96s。这是因为甘蔗目标提取算法有效提取出甘蔗目标，缩小了后续处理步骤的输入规模。

图6是茎节识别效果样例，从中可看出：本文算法可以成功地对不同背景下对不同类型的甘蔗进行甘蔗识别，而且成功避免了图像背景区域的阴影、边界线、干扰线影响。

3.2 甘蔗茎节定位误差分析

本文算法的定位误差统计结果如图7所示。大约80%的茎节的定位误差小于16个像素，大约95%的甘蔗茎节的定位误差在32个像素之内，定位误差小于48像素的茎节比例高达97%。这是因为甘蔗茎节部位与甘蔗茎段是由明显的竖型的边缘线分割，茎节附近的边缘线和茎节本身在物理位置上比较接近。另外有小部分的茎节精确度大于32个像素，原因是有少部分的甘蔗，它们的茎节区域相对较大，茎节部位的边缘线茎节中心有一定距离。还有很少的一部分识别错误，其原因主要有两点：1）茎节边缘线太过模糊、不成型;2）茎段部位偶然会有相对突出的竖型的干扰线，本文算法在茎节识别定位时候，产生误判。

3.3 Canny算子阈值参数讨论

有两个参数用于确定Canny算子的双非最大值抑制阈值。记参数为α、 β分别用于确定较大值阈值和较小阈值。分别对不同的参数取值进行了实验，实验结果如图8所示。

甘蔗茎节的识别率随着参数α、 β增大而增加，当参数增大到一定值时，甘蔗茎节识别效果变得越来越差。原因是当参数α、 β的值被设置为较小值时，甘蔗原始图像中梯度轻微的变化的像素点都被认定为边缘像素点，二值化结果图像中会引入了大量的边缘点，这会影响茎节的识别率;相反，当参数α、 β的值被设置为较大值时，甘蔗原始图像中梯度较大的变化的像素点才被认定为边缘像素点，二值化结果图像中遗漏了部分茎节部分附近的边缘线，所以茎节的识别效果变差。

3.4 小波重构策略讨论

本研究对所有重要的重构策略进行了实验验证，并对比各重构方案下的茎节识别率。重构策略信息如表2所示，表的每一种融合策略是一组实验。表的每行是该融合策略下的某一次小波系数组合策略。表2中的数字是小波从第一次分解到最后一次分解的依次层次编号。

小波系数不同重构策略的茎节识别效果如图9所示。只使用单一重构图像时，最高完整识别率为72%;融合两幅重构图像时，最高完整识别率为76%;融合三幅重构图像时，最高完整识别率达到92%，此时三幅重构图像分别由最高三层、最高四层、最高五层的四个方向高频系数重构而得。

实验结果说明小波分解的四个方向的高频系数对于茎节识别任务具有很高的价值。组合多幅重构图像时，其识别率得到有效提升。原因是甘蔗表面平滑程度不一样，纹理粗细、走向、深浅差别大。组合多重构图像方法能够很好地适应这些复杂多变的甘蔗表皮情况。图9还说明，使用较少层次的小波系数重构，其识别率不理想，原因是图像信号的噪声往往存在于小波分解最开始的前几层的小波系数里，这些噪声会影响茎节识别率;使用太多层次的小波系数重构，由于小波的下采样过程会造成信息丢失，重构结果中只包含非常明显的图像边缘信息，甘蔗茎节识别率同样不理想。

此外，如增加分解层数，双密度双树复小波要求较大的图像尺寸和更多计算时间，所以小波分解为五层比较合理。

3.5 对比实验

文献[5]方法与本文方法的对比实验效果如图10所示。本文方法完整地识别了图像中的所有茎节，茎节定位更为精确，而文献[5]方法只能识别甘蔗图像中最明显的一个甘蔗茎节。进一步对比可以发现，当甘蔗目标在图像中有一定倾斜度时，或者背景中有一定强度的竖型干扰直线时，文献[5]方法就会识别错误。原因是文献[5]方法只是简单检测图像中大约处于竖型状态的最长直線，而没有进一步排除非茎节区域的干扰直线，也没有考虑当甘蔗目标在原始图像中处于一定倾斜角度姿态时的情况。

4 结语

本文提出一种基于双密度双树复小波和图像直线检测技术的甘蔗茎节识别方法。首先，利用甘蔗表面的粗糙、混乱纹理等特征实现把甘蔗从图像背景中提取出来;其次，调整甘蔗目标，使得甘蔗目标与横轴近似平行，再通过双密度双树复小波变换对图像进行分解，并选择特定方向小波系数重构甘蔗图像;最后，运用LSD算法对重构图像作边缘检测，对图像的边缘结果信息进行分析实现甘蔗茎节定位识别。实验结果表明，本文算法可以在不同背景条件下成功对不同类型甘蔗的茎节进行识别。但是，如果甘蔗图像的背景相当复杂，经过二值化后，图像背景中的白点像素分布过多过密，将会降低茎节的识别率。这种情况有待更进一步探索解决方法。

参考文献（References）

[1] 韦巧， 杨宝玲， 高振江.我国甘蔗产业化现状浅析[J]. 农机化研究， 2015， 37（4）： 247-253. （WEI Q， YANG B L， GAO Z J. Analysis of current situation of sugar cane industry [J]. Journal of Agricultural Mechanization Research， 2015， 37（4）： 247-253.）

[2] MOSHASHAI K， ALMASI M， MINAEI S， et al. Identification of sugarcane nodes using image processing and machine vision technology[J]. International Journal of Agricultural Research， 2008， 3（5）： 357-364.

[3] 陆尚平， 文友先， 葛维， 等.基于机器视觉的甘蔗茎节特征提取与识别[J]. 农业机械学报， 2010， 41（10）： 190-194. （LU S P， WEN Y X， GE W， et al. Recognition and features extraction of sugarcane nodes based on machine vision [J]. Transactions of the Chinese Society of Agricultural Machinery， 2010， 41（10）： 190-194.）

[4] 乔曦. 基于计算机视觉的甘蔗种茎切割防伤芽系统的研究[D]. 南宁： 广西大学， 2013： 24-36. （QIAO X. System of sugarcane cutting device to protect the bud based on computer vision[D]. Nanning： Guangxi University， 2013： 24-36.）

[5] 黄亦其， 乔曦， 唐书喜， 等. 基于Matlab的甘蔗茎节特征分布定位与试验[J]. 农业机械学报， 2013， 44（10）： 93-97. （HUANG Y Q， QIAO X， TANG S X， et al. Localization and test of characteristics distribution for sugarcane internode based on Matlab[J]. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（10）： 93-97.）

[6] 张卫正， 董寿银， 齐晓祥， 等. 基于图像处理的甘蔗茎节识别与定位[J]. 农机化研究， 2016， 38（4）： 217-221. （ZHANG W Z， DONG S Y， QI X X， et al. The identification and location of sugarcane internode based on image processing[J]. Journal of Agricultural Mechanization Research， 2016， 38（4）： 217-221.）

[7] KINGSBURY N. Image processing with complex wavelets[J]. Philosophical Transactions of the Royal Society A： Mathematical， Physical and Engineering Sciences， 1999， 357（1760）： 2543-2560.

[8] SELESNICK I W. The double-density dual-tree DWT[J]. IEEE Transactions on Signal Processing， 2004， 52（5）： 1304-1314.

[9] SELESNICK I W， BARANIUK R G， KINGSBURY N. The dual-tree complex wavelet transform[J]. IEEE Signal Processing Magazine， 2005， 22（6）： 231-239.

[10] 黃学优， 张长江. 双树复小波域的MRI图像去噪[J]. 中国图象图形学报， 2016， 21（1）： 104-113. （HUANG X Y， ZHANG C J. MRI denoising based on dual-tree complex wavelet transform[J]. Journal of Image and Graphics， 2016， 21（1）： 104-113.）

[11] CHEN S， QIU B， ZHAO F， et al. Fast compressed sensing MRI based on complex double-density dual-tree discrete wavelet transform[J]. International Journal of Biomedical Imaging， 2017， 2017： 9604178.

[12] YASIN A S， PAVLOVA O N， PAVLOV A N. Speech signal filtration using double-density dual-tree complex wavelet transform[J]. Technical Physics Letters， 2016， 42（8）： 865-867.

[13] HU H F. Illumination invariant face recognition based on dual-tree complex wavelet transform[J]. IET Computer Vision， 2015， 9（2）： 163-173.

[14] KRISHNA M H， KUMAR G S. A noise based hybrid thresholding for enhanced noise reduction using double density dual tree complex wavelet transform[C]// Proceedings of the 2015 13th International Conference on Electromagnetic Interference and Compatibility. Piscataway， NJ： IEEE， 2015： 208-211.

[15] ZHANG Y， BI S. Quantum-inspired remote sensing image denoising with double density dual-tree complex wavelet transform[C]// Proceedings of SPIE 9299. Bellingham， WA： SPIE Press， 2014： 199-229.

[16] 武士想， 尚鵬， 王立功. 小波-Lagrange方法进行医学图像层间插值[J]. 中国图象图形学报， 2016， 21（1）： 78-85. （WU S X， SHANG P， WANG L G. Inter-slice interpolation for medical images by using the wavelet-Lagrange method[J]. Journal of Image and Graphics， 2016， 21（1）： 78-85.）

[17] von GIOI R G， JAKUBOWICZ J， MOREL J M， et al. LSD： a fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（4）： 722-732.

[18] BURNS J B， HANSON A R， RISEMAN E M. Extracting straight lines[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 8（4）： 425-455.

[19] AKINLAR C， TOPAL C. EDLines： a real-time line segment detector with a false detection control[J]. Pattern Recognition Letters， 2011， 32（13）： 1633-1642.

[20] SALAN Y， MARLET R， MONASSE P. The multiscale line segment detector[C]// RRPR 2016： Proceedings of the 2016 Reproducible Research in Pattern Recognition， LNCS 10214. Berlin： Springer， 2016： 167-178.

[21] WEI H， YANG C， YU Q. Contour segment grouping for object detection[J]. Journal of Visual Communication and Image Representation， 2017， 48： 292-309.

[22] TANG G， XIAO Z， LIU Q， et al. A novel airport detection method via line segment classification and texture classification[J]. IEEE Geoscience & Remote Sensing Letters， 2015， 12（12）： 2408-2412.

[23] IZADI M， SAEEDI P. Three-dimensional polygonal building model estimation from single satellite images[J]. IEEE Transactions on Geoscience & Remote Sensing， 2012， 50（6）： 2254-2272.

[24] BAE G Y， HA J M， JEON J Y， et al. LED traffic sign detection using rectangular Hough transform[C]// Proceedings of the 2014 International Conference on Information Science & Applications. Piscataway， NJ： IEEE， 2014： 1-4.