冯青春 陈建 成伟 王秀

摘要： 针对温室番茄智能化管理需要，研究茎秆、叶片和绿果等3类相近色目标的多波段图像融合方法，以凸显目标与背景亮度差异，提高目标视觉识别效率。根据其各自在300～1000 nm范围的反射光谱特征差异，建立了针对其光谱数据分类的Lasso正则化逻辑回归模型。基于模型的稀疏解特征，确定具有较大权值系数的450、600和900 nm等3个波段作为最优成像波段，在此基础上构建了温室番茄植株多波段图像在线采集系统。结合最优成像波段下相近色目标图像特征分析，提出了基于NSGA-II的多波段图像加权融合方法，以增强特定目标与近色背景物体的图像亮度差异。最后通过现场试验对多波段图像融合效果进行评估。结果表明，分别以茎秆、叶片和绿果器官作为识别目标，通过多波段图像融合处理后，目标与背景之间的图像灰度差异绝对差值相应达到单波段图像的2.02、8.63和7.89倍，即被识别目标与其他近色背景的亮度差异显著增强，且背景物的亮度波动得到抑制。本研究结果可以为农业环境近色目标视觉识别相关研究提供参考。

关键词： 农业机器人;番茄植株;相近色目标;光谱特征;图像融合;NSGA-II

中图分类号： TP751，TP242.6 文献标志码： A 文章编号： 202002-SA001

引文格式：冯青春， 陈建， 成伟， 王秀. 面向番茄植株相近色目标识别的多波段图像融合方法[J]. 智慧农业（中英文）， 2020， 2（2）： 126-134.

1 引  言

中国是番茄生产和消费大国，种植面积达105万公顷[1]，人均年消费量约21 kg[2]。近年来随着劳动力成本上涨，番茄种植管理的雇工费用已上涨至总生产成本比例约45%[3]，人力成本过高已成为限制番茄种植效益增长的客观因素。鉴于机器人在智能探测和复杂操作方面的独特优势，针对温室番茄采摘、整枝、授粉以及喷药等劳动密集、操作复杂的种植管理环节，研发能够代替人工作业的农业机器人，是从工程技术角度应对当前形势的有效途径[4，5]。准确获取作业对象的视觉特征是机器人智能化作业的必要前提。对于不同管理环节，番茄植株茎、叶和果既可能是作业对象，也可能是背景干扰。然而温室内植株丛生密布、杂乱无序，且番茄茎、叶和绿果为相近色器官，基于宽泛的可见光图像信息，难以实现植株特定对象的准确识别。

鉴于植物茎、叶、果等不同器官的构成物质成分差异，根据其特定波段光谱特征进行分类和识别，是当前解决植物相近颜色目标视觉识别问题的有效途径[4]。光谱特征数据是目标光谱反射强度在频域分布情况的体现[6]。吴伟斌等[7]通过分析750～1000 nm波段柑橘叶片光谱反射率与其重叠层数的相关性，研究了重叠叶片面积测量方法。Ma等[8]根据692、705和743 nm波段光谱特征，对于豌豆角内部虫害信息进行识别。王海青等[9]以690～950 nm区间作为特征波段，对黄瓜、茎和叶光谱数据进行了分类。白敬等[10]选取710、755、950和595 nm作为探测油菜田间杂草的最优波段。由于单一的光谱特征数据缺少目标空间信息，难以作为视觉伺服控制依据，多用于病虫害、杂草种类和叶片密度等生物组织成分、生理特征分类。通过成像技术获得的光谱图像数据是目标光谱反射特征与其空间位置信息的综合体现，可作为机器人对目标识别和精准对靶作业的依据。Gan等[11]根据橘子彩色图像和热图像特征，对绿橘果实与叶片进行区域分割，准确率达到95.5%。Bac等[12]以甜椒植株447～900 nm区间内6个波段的图像为输入，建立二叉树分类模型，成功识别其茎、叶、果像素。Li等[13]和袁挺等[14]根据黄瓜与叶片在800 nm波段图像的亮度差异，研究了丛生叶片背景下黄瓜果实的识别算法，识别准确率达到95%。然而当前基于光谱特征图像对目标识别分类方法中，主要以目標最强反射波段作为成像波段，仅强调突出目标区域图像亮度，缺少对背景弱反射波段图像的融合，无法充分达到凸显强反射目标、淡化弱反射背景干扰的目的。

针对温室番茄茎、叶和绿果等相近色目标视觉识别难题，本研究根据其各自光谱特性差异筛选最优成像波段，构建多波段图像采集系统，并结合不同波段图像特征，提出多波段图像融合方法，以充分凸显目标与背景差异，提高相近色系目标识别效率。本研究可为温室番茄采摘、整枝和授粉等智能化管理作业的视觉信息获取提供技术支撑。

2 番茄相近色器官光谱特性分析

2.1 茎、叶、果光谱特性测量

鉴于当前主流工业摄像机的敏感波段为300～1000 nm，本研究重点针对该波段区间内番茄茎、叶、果的反射光谱特征进行采集和分析。如图1所示光谱数据采集系统，其中光谱信息采集单元选用Ocean Optics公司QE65 Pro光谱仪，其测量光谱范围为185～1100 nm，分辨率为0.8 nm，搭配Ocean Optics公司HL-2000型卤钨光源作为辐射源，其光谱范围360～2400 nm。采集系统安装于暗箱内，以减少外界杂光干扰。测量过程中通过光纤探头支架调节探头安装高度，其与被测对象保持恒定距离，克服探测距离差异引起的光谱反射强度测量误差。

3 温室番茄植株图像在线采集

3.1 多波段图像采集系统

为了获取番茄植株相近色器官在最优成像波段区间成像信息，设计了多波段图像采集视觉系统，如图4所示。选用acA1300-60 gmNIR摄像机（Basler公司）为成像单元，其敏感波段为300～1000 nm。摄像机镜头前加装±20 nm带通滤光片（浙江光益科技），其中心波长与选定的成像波段相对应，分别为450、600、900以及950 nm，带宽±20 nm。滤光片呈圆周阵列分别安装于Edmund 56-658型滤光片转轮内。通过旋转转轮可以切换摄像机镜头前的滤光片，以采集不同波段的图像。光源选用200 W卤素灯，在摄像机视场形成5000 lx辐射强度，以克服实验环境光照波动的影响。

3.2 图像灰度补偿矫正

由于在同一光源辐射环境下，不同波段的光照强度各不相同，且摄像机成像芯片对不同波段的敏感程度也不同，为了使得图像亮度与目标光谱反射强度相对应，需要采集的不同波段图像进行亮度矫正[17]。本研究利用D65（白色）标准色板作为参照，近似认为其对各成像波段具有相同的反射特性。标准色板可由机械装置推送进入靠近番茄植株的摄像机视场特定位置。通过触发采集方式，摄像机对于同一波段下番茄植株和标准色板各采集一幅图像，且采集过程中摄像机曝光参数保持不变。鉴于摄像机在可见光波段具有较强感光性能，以600 nm图像中色板灰度g_600为参考亮度。设波段j图像内色板的灰度为g_j，则该波段图像亮度的增益系数J_j=g_600/g_j。对波段的番茄植株图像灰度用系数J_j进行线性矫正[18]，则认为矫正后图像亮度与成像物体自身反射特性精确对应。

4 多波段图像融合

4.1 相近色目标多波段图像特征分析

对同一视场区域的番茄植株，采用上述多波段图像采集系统获取4幅不同波段的图像，如图5所示。其视场大小为300 mm×300 mm，分辨率为350×350像素。图像中主要包括番茄茎秆、叶片、绿果，以及植株间隙透过的高亮光斑等4类像素区域。

为验证各类像素区域图像特征与其光谱特性的对应关系，分别在4个波段图像中的4类目标像素区域取500像素，其像素灰度平均值、灰度值区间分别統计如图6所示，其中柱的高度表示像素平均灰度、上下误差线表示灰度最大和最小值。由统计结果可得，番茄茎、叶和果的图像区域亮度随着成像波长增加而增加，即在长波区域植株反射的强度更大，与图2中光谱反射强度曲线变化趋势相符合。在450和600 nm波段绿果亮度大于叶片，在900 nm波段则情况相反。由于茎杆反射率有较大（图2），其在各个波段图像中亮度均保持相对突出。此外，在600 nm波段植株果实表面的镜面反射，使得其图像亮度波动范围较大。此外，透射的太阳光在短波图像中形成了明显光斑区域，在长波图像区域亮度却不明显。由于900和950 nm图像亮度特征相似，为了提高数据处理效率，在图像融合算法中仅对450、600和900 nm波段图像数据进行处理。

观察融合结果图7可知，针对番茄茎、叶、绿果特定目标进行多波段图像融合处理后，其与相近色背景目标的像素亮度均呈现明显差异。在原始最优成像波段和融合结果图像中，茎秆、叶片和绿果区域分别选取500个像素，计算绿果-叶片、茎杆-绿果以及茎杆-叶片之间的灰度差异SAD如图8所示，其中融合1、2和3分别表示以茎杆、叶片和绿果为凸显目标的融合图像。以融合1为例，与原始图像相比，其内部茎杆目标与背景（叶片和绿果）之间的SAD增加、背景叶片-绿果之间SAD减少，即融合后目标茎杆与背景之间差异增加、背景中两类物体的差异减小。若以目标-背景与背景-背景SAD比值r_SAD表示相近色目标与背景的综合相对差异，融合1、2和3中的r_SAD分别为4.98、8.84和12.11，分别是单波段图像中最大值的2.02倍（相比450 nm图像）、8.63倍（相比450 nm图像）和7.89倍（相比900 nm图像）。

采用Otsu自动阈值分割算法[18]对融合图像进行阈值分割，所得二值图像如图9所示，其融合图像中茎杆、叶片和果实像素的识别准确率分别为71.14%、60.32%和98.32%。可见多波段图像融合后，通过常规自动分割算法可以将相近色目标主要区域从背景中分割出来。尽管如此，针对茎秆和果实的分割结果显示，果实表面的镜面反射区域成为主要的错误分割区域，因此克服表面光滑的番茄果实表面镜面反射，以改善目标成像效果，是进一步研究的重点工作。

6 结  论

为了实现温室番茄植株茎秆、叶片和绿果等3类相近色目标的视觉识别，本研究提出了多波段图像在线采集和融合方法，以凸显目标与背景图像亮度差异。基于Lasso正则化逻辑回归模型的稀疏解特征，对茎、叶、绿果300～1000 nm波段光谱数据进行特征提取，确定了450、600和900 nm为最优成像波段。由多波段图像在线采集系统获得的相近色目标图像亮度的相对关系，与其光谱反射强度保持一致。基于NSGA-II多目标优化算法，获得对3个最优成像波段图像加权融合系数。以茎秆、叶片和绿果为目标，其融合图像中目标-背景灰度SAD和背景-背景灰度SAD比值分别是单波段图像的2.02、8.63和7.89倍。因此，多波段图像融合可显著提高相近色目标和背景亮度差异并有效抑制背景物体的亮度波动。

参考文献：

[1] 郑伟. 番茄主产区农户生产投入产出调查分析[J]. 农村经济与科技， 2019， 30（9）： 112-114.

ZHENG W. Investigation and analysis of farmers' production input-output in tomato main producing areas. Rural Economy and Technology， 2019， 30（9）： 112-114.

[2] 董文阁， 董莉， 刘念， 等. 日光温室番茄套作菜豆接番茄茬口高效栽培模式[J]. 辽宁农业科学， 2018（5）： 89-90.

DONG W， DONG L， LIU N， et al. Efficient cultivation mode of planting string beans with tomato stubble in solar greenhouse[J]. Liaoning Agricultural Science， 2018（5）： 89-90.

[3] 范琳， 陆学文， 沈建新. 江苏省设施番茄成本收益研究[J]. 江苏农业科学， 2014（9）： 478-481.

FAN L， LU X， SHEN J. Study on the cost and benefit of facility tomato in Jiangsu province[J]. Jiangsu Agricultural Science， 2014（9）： 478-481.

[4] MIRANDA J， PONCE P， MOLINA A， et al. Sensing， smart and sustainable technologies for Agri-Food 4.0[J]. Computer in Industry， 2019， 108： 21-36.

[5] BECHAR A， VIGNEAULT C. Agricultural robots for field operations： Concepts and components[J]. Biosystems Engineering， 2016， 149： 94-111.

[6] 黄文江， 师越， 董莹莹， 等. 作物病虫害遥感监测研究进展与展望[J]. 智慧农业， 2019， 1（4）： 1-11.

HUANG W， SHI Y， DONG Y， et al. Progress and prospects of crop diseases and pests monitoring by remote sensing [J]. Smart Agriculture， 2019， 1（4）： 1-11.

[7] 吴伟斌， 冯灼峰， 洪添胜， 等. 基于近红外反射的柑橘重叠叶片叶面积指数测量系统[J]. 农业机械学报， 2013， 44（1）： 179-184.

WU W， FENG Z， HONG T， et al. Measurement system for citrus LAI based on near-infrared reflection[J]. Transactions of the CSAM， 2013， 44（1）： 179-184.

[8] MA Y， HUANG M， YANG B， et al. Automatic threshold method and optimal wavelength selection for insect-damaged vegetable soybean detection using hyperspectral images[J]. Computers and Electronics in Agriculture， 2014， 106： 102-110.

[9] 王海青， 姬长英， 陈坤杰. 基于光谱分析技术的黄瓜与茎叶识别研究[J]. 光谱学与光谱分析， 2011， 31（10）： 2834-2838.

WANG H， JI C， CHEN K. Research on identification of cucumber， stem and leaf based on spectrum analysis technology[J]. Spectroscopy and Spectral Analysis， 2011， 31（10）： 2834-2838.

[10] 白敬， 徐友， 魏新华， 等. 基于光谱特性分析的冬油菜苗期田间杂草识别[J]. 农业工程学报， 2013， 29（20）： 128-134.

BAI J， XU Y， WEI X， et al. Weed identification from winter rape at seedling stage based on spectrum characteristics analysis [J]. Transactions of the CSAE， 2013， 29（20）： 128-134.

[11] GAN H， LEE W， ALCHANATIS V， et al. Immature green citrus fruit detection using color and thermal images[J]. Computers and Electronics in Agriculture， 2018， 152： 117-125.

[12] BAC C， HEMMING J， HENTEN E. Robust pixel-based classification of obstacle for robotic harvesting of sweet-pepper[J]. Computers and Electronics in Agriculture， 2013， 96： 148-162.

[13] YUAN T， LI W， FENG Q， et al. Spectral imaging for greenhouse cucumber fruit detection based on binocular stereovision[C]// 2010 ASABE Annual International Meeting. Pittsburgh， Pennsylvania， USA： ASABE， 2010.

[14] 袁挺， 紀超， 陈英， 等. 基于光谱成像技术的温室黄瓜识别方法[J]. 农业机械学报， 2011， 42（S1）： 172-176.

YUAN T， JI C， CHEN Y， et al. Greenhouse cucumber recognition based in spectral image technology[J]. Transactions of the CSAM， 2011， 42（S1）： 172-176.

[15] MATSUI H. Sparse group lasso for multiclass functional logistic regression models[J]. Communications in Statistics： Simulation and Computation， 2019， 48（6）： 1784-1797.

[16] HECTOR G， CARLOS M， FRANCESC F. Accelerated proximal gradient descent in metric learning for kernel regression[C]// Proceedings of International Workshop on Artificial Intelligence and Pattern Recognition. Berlin， German： Springer， 2018.

[17] 馮青春， 陈建， 李翠玲， 等. 基于光度立体视觉的蔬菜秧苗叶片形态测量方法[J]. 农业机械学报， 2018， 49（5）： 43-50.

FENG Q， CHEN J， LI C， et al. Measurement method of vegetable seedling leaf morphology based on photometric stereo[J]. Transactions of the CSAM， 2018， 49（5）： 43-50.

[18] FENG Q， WANG X， LI C， et al. Color correction of seedling leaf image under various sunlight illuminations in greenhouse[J]. International Agricultural Engineering Journal， 2018， 37（3）： 164-170.

[19] 李浩， 刘根， 焦起超， 等. 基于NSGA-II的产品服务系统多目标优化配置设计[J]. 机械设计与制造， 2019（8）： 201-206.

LI H， LIU G， JIAO Q， et al. Multi-object optimal configuration design of product-service system based on NSGA-II[J]. Machinery Design & Manufacture， 2019 （8）： 201-206.

[20] REZOANA B， KHAN R， SIDDIQUE B. Digital image enhancement in Matlab： An overview on histogram equalization and specification[C]// Proceedings of 2018 International Conference on Innovation in Engineering and Technology. Piscataway， New York， USA： IEEE， 2019.

[21] SIDDIQUE B， REZOANA B， KHAN R. Digital image segmentation in Matlab： A brief study on OTSU's image thresholding[C]// Proceedings of 2018 International Conference on Innovation in Engineering and Technology. Piscataway， New York， USA： IEEE， 2019.

Abstract： Considering at the robotic management for tomato plants in the greenhouse， it is necessary to identify the stem， leaf and fruit with the similar color from the broad-band visible image. In order to highlight the difference between the target and background， and improve the identification efficiency， the multiple narrow-band image fusion method for identifying the tomato’s three similar-colored organs， including stem， leaf， and green fruit， was proposed， based on the spectral features of these organs. According to the 300-1000 nm spectral data of three organs， the regularized logistic regression model with Lasso for distinguishing their spectral characteristic was built. Based on the sparse solution of the model’s weight coefficients， the wavelengths 450， 600 and 900 nm with the maximum coefficients were determined as the optimal imaging band. The multi-spectral image capturing system was designed， which could output three images of optimal bands from the same view-field. The relationship between the organs’ image gray and their spectral feature was analyzed， and the optimal images could accurately show the organs’ reflection character at the various band. In order to obtain more significant distinctions， the weighted-fusion method based NSGA-II was proposed， which was supposed to combine the organ’s difference in the optimal band image. The algorithm’s objective function was defined to maximize the target-background difference and minimize the background-background difference. The coefficients obtained were adopted as the linear fusion factors for the optimal band images.Finally， the fusion method was evaluated based on intuitional and quantitative indexes， respectively considering the one among stem， leaf and green fruit as target， and the other two as the backgrounds. As the result showed， compared with the single optimal band image， the fused image greatly intensified the difference between the similar-colored target and background， and restrained the difference among the background. Specifically， the sum of absolute difference （SAD） was used to describe the grey value difference between the various organs， and the fusion result images’ SAD between the target and the background raised to 2.02， 8.63 and 7.89 times than the single band images. The Otsu automatic segmentation algorithm could respectively obtain the recognition accuracy of 71.14%， 60.32% and 98.32% for identifying the stem， leaf and fruit on the fusion result image. The research was supposed as a reference for the identification on similar-colored plant organs under agricultural condition.

Key words： agricultural robot; tomato plant; similar-colored organ; spectral feature; image fusion; NSGA-II