APP下载

数字图像监测作物生长特征的研究进展

2021-03-24赵欣欣陈焕轩韩迎春李亚兵

中国农学通报 2021年4期
关键词:数字图像数码相机覆盖度

赵欣欣,陈焕轩,韩迎春,李亚兵,,冯 璐,

(1棉花生物学国家重点实验室郑州大学研究基地/郑州大学,郑州450000;2中国农业科学院棉花研究所/棉花生物学国家重点实验室,河南安阳455000)

0 引言

近年来农用耕地面积逐渐减少[1],充分地利用有限的土地资源实现作物产量最大化成为农业科技工作者的主要目标。新品种的选育和栽培技术的发展为作物产量和品质不断提高起到了积极的作用。然而,粗放式、经验化的管理模式仍存在着管理成本高、资源利用效率低的问题[2]。作物长势是农业情报信息之一,直接反映作物的生长情况并可用于估算作物的最终产量,因此,对作物长势进行准确监测可诊断和估测农作物早期产量[3],指导田间数量化管理,从而实现作物生产潜能的最大化以及土地资源的科学化管理。

随着图像处理技术的快速发展,应用计算机视觉技术对作物进行长势监测成为可能。数字图像技术能够实现小范围作物生长特征的监测,对作物的长势监测意义重大,尤其对中国以零散小户种植为主要模式的农业生产更具影响。同时,数字图像在作物信息采集方面具备收集信息量大、采集速度快、分析精度高等优势,可避免传统方法中由于人与人间认识差异、视觉疲劳以及主观判断等造成的误差,节约了劳动力,简化了信息采集过程。利用数字图像对作物生长特征进行监测已经成为现代作物栽培学的发展方向,它既能在宏观上对作物生产计划的制定起到导向作用,又能在微观上对作物管理起到指导作用,具有重大的科学意义。笔者对数字图像监测作物长势的基本原理、数字图像的获取方法、处理算法以及利用数字图像进行作物生长监测的研究进展进行综述,总结当前研究中存在的问题,旨在为进一步利用数字图像实现对作物的精准管理提供参考。

1 数字图像监测作物长势基本原理

1.1 作物的生长特征

作物生长有关特征指标是作物生产管理的主要依据。作物生长特征可从作物的个体与群体特征2个层次描述[4]。作物生长的特征参数包括个体特征参数(株高等)、群体特征参数(覆盖度)以及综合参数(叶面积指数、生物量)[5-6]。

1.2 数字图像的基本原理

作物的许多生长特征都是视觉特征。不同波长的电磁波刺激人的视觉器官感知色彩[7]。人眼中的3种锥体细胞光谱吸收的峰值在红、绿、蓝三色光波长范围内。任何颜色都可以通过红、绿和蓝三色按不同的比例合成。同样,绝大多数单色光也可分解成红、绿和蓝三色光,即三基色原理。红绿蓝三基色是相互独立的,任何一种基色都不能由其他2种颜色合成。

利用普通数码相机获取的作物图像为真彩图像,又称RGB图像,它采用二进制表示颜色,以数字方式记录作物图像,将图像信号转化为数字信号,直接生成数字图像,图像中每个像素都分成R、G、B 3个分量。数码相机所采集到的作物图像的颜色可反映叶片对白光的吸收和反射情况,而图像数字化则解决了人眼难以识别过小颜色差异的问题,使得利用作物颜色进行定量监测成为可能。数字图像具有保持图像清晰度、图像信息损失低、便于储存、可使用计算机实现图像处理、分析和信息提取等特点[8-9]。数字图像是使用数字阵列表示的图像,该阵列中的每一个元素称为像素,图像是像素的二维排列。

2 数字图像获取方法

2.1 数字图像的采集平台

数码相机作为最便携的数字图像采集设备,已经广泛应用于玉米[10]、棉花、小麦[11]、水稻[12]、甜菜[13]等多种作物图像的采集,通过图像处理来分析作物的生长特征和生理指标。根据不同的需要和应用环境,利用数码相机采集数字图像的平台大致可分为固定式采集平台和移动式采集平台,而移动式采集平台又包括地面移动装置和无人机[14]。固定式采集主要是固定数码相机等便携设备的位置,定时定点进行图像采集,存在适时性不高、监控区域有限、监控效率低等问题。随着农业信息化的不断发展,人力驱动式、车载式的可移动平台逐渐出现[15-21]。人力驱动式平台主要指需人力移动的手持式或手推车等采集设备;车载式平台主要指安装在农用拖拉机上的图像采集设备。车载式平台可以更多角度更大范围地采集作物的数字图像,但移动本身会对作物形态造成影响,进而影响图像采集的效果,另外拖拉机等自身占用空间过大且移动路线单一也限制了图像的采集[14,21]。大型自动化室内外表型采集平台利用自动控制技术和机器视觉技术相结合可较准确采集作物的表型参数,但制作成本和维护费用过高限制了其应用范围[22]。随着无人机平台向农业领域的渗透,美国国家航空航天局最早采用无人机获取作物数字图像,随后无人机采集图像得到广泛应用[23-24]。按照不同的平台构型可将无人机分为固定翼无人机、直升机和多旋翼无人机。进行无人机选择时,要根据作业的要求,充分考虑续航时间、载荷量、飞行控制系统等方面的因素[25]。

2.2 数字图像的获取技术

数字图像的获取和成像都有一定的限制条件,受外界温度、光照等各种环境因素影响[26]。需针对具体环境,采取适宜方法,以提高采集和分析的精确度。

在现有的研究中,国内外学者在拍摄图像时对拍摄时间、环境以及拍摄高度和角度进行了不同的选择,具体研究进展见表1。

表1 数字图像获取研究进展

2.2.1 地面数字图像获取方法 在大田环境下利用数码相机采集作物冠层图像时,天气状况、相机设置、拍摄时间、作物冠层结构差异、相机与地面角度和高度、图像存储格式及分辨率等因素都会引起图像信息的差异,造成分析结果的不准确。

众多学者在拍摄天气和拍摄时间的选择上没有太多差异,一般是在晴朗无风的中午或者下午。虽然大量学者进行了不同拍摄方法的研究,但是关于如何采集大田作物数字图像仍没有一个明确的拍摄标准,值得指出的是,已经有一些学者比较了不同采集方法的差异,并提出关于采集的一些建议。Bumgarner等[34]测定生菜冠层时,比较了室外拍摄和温室拍摄2种图像获取方式,认为试验图像的分析最好能按照采样的时间分别进行,且最好在一天的同一时间进行。Rasmussen等[35]利用数码相机在锄草后作物土壤覆盖度评估的研究中,对比了光照情况和拍照角度对评估结果的影响,并建立了照片采集的标准。贾良良等[36]在利用相机进行小麦氮素营养诊断研究中,认为冠层角度、太阳光照强度、图像存储格式及分辨率、农田灌溉与否等都不会影响到利用照片的色彩参数对小麦进行营养诊断。刘继承和姬长英[5]在对水稻生长监测的研究中提到,采集水稻群体图像时,应选择无风天气,避免图像模糊降低识别性,光线不宜太强或太暗。

2.2.2 低空数字图像获取方法 地面人工拍摄费时费力,拍摄范围有限,无人机的出现为高效便捷获取作物数字图像提拱了支撑。无人机平台主要利用无人机搭载轻型数码相机来获取数字图像。无人机获取数字图像除受传感器本身属性影响外,还与飞行参数、拍摄参数有关。常规无人机的飞行参数包括飞行高度、飞行速度、飞行轨迹规划等,如飞行高度决定地表分辨率,航拍飞行高度越高,在同等时间内拍摄的面积越大,图像的像素越高,容易加剧混合像元效应。拍摄参数包括ISO值、快门速度、光圈等。如果快门速度无法与飞行速度协调,可能造成拍摄图像模糊或者覆盖率不足。因此,通过无人机获取作物图像需要实现多参数之间的相互调整配合,保证无人机图像获取平台实现最佳效果。在进行无人机航线规划时,要充分考虑内因(相机分辨率、无人机续航时间、法定飞行高度等)和外因(航线方向、图像重叠度、飞行速度等)。航线方式可分为Z字形、环绕形、不规则多边形和自由飞行。Z字形的飞行方式是大多数场景都适用的,最适合相对平坦的面积较大的区域;环绕形可用于三维模型的构建,在农业中需要测株高时,这种方法特别适用,可在物体周围完成一个椭球体任务;在遇到复杂的地形和飞行边界限制时可采用不规则多边形飞行。植物种植具有季节性,为避免遗漏图像信息,在飞行时需要特别注意图像的重叠率,至少保证75%的航向重叠率和60%的旁向重叠率。

关于数码照片的采集方法国内外学者已经做了大量研究,提出了一些有关拍摄时间、角度、环境以及分辨率等的建议。但对于不同作物不同时期的生长特性进行监测,应该有针对性地提出具体的监测方法,这需要研究不同作物的科研工作者通过实践逐步完善。

3 数字图像分析方法

3.1 分析软件

数字图像对作物监测研究的始于20世纪60年代,但是早期无法解决土壤和作物颜色识别和判断的问题。20世纪90年代以来,随着高分辨率数码相机技术的快速发展以及配套计算机软件识别技术的开发,数字图像技术得到了快速发展。数字图像的分析要借助于图像处理软件以及算法。目前常用的图像处理软件有 Photoshop(San Jose,CA,US)[37-38]、GIMP 2.2 and Image J 1.33 freeware[39]、Matlab(Natick,MA,US)[40-41]、ENVI(Boulder,CO,US)[42]、SigmaScan Pro(Chicago)[43]、winCAM(Quebec,QC,Canada)[44-45]以及Image-Pro Plus 5.1(Media Cybernetics,MD,US)[46]等。

3.2 分析方法

借助图像处理软件和算法使准确分析数字图像成为可能,可以实现非破坏性的作物生长监测。利用作物图像颜色、纹理和形态等特征参数,可使作物图像分析更加科学系统。

3.2.1 图像颜色特征

(1)数字图像颜色模型。学者们为了更加科学地对颜色进行定量和研究,针对不同需求提出了许多颜色模型。在作物长势监测上应用最为广泛的是RGB颜色模型和HIS颜色模型[47]。RGB分别代表红(red)、绿(green)、蓝(blue)3种基色,RGB颜色模型是将自然界的颜色通过选用红、绿、蓝三基色按照不同比例混合。颜色范围由每种颜色通道的位深决定,如24位RGB则有256×256×256,约1670万种颜色。0~255反映原色的亮度,颜色越深,亮度越低,值就越小。当3种原色亮度值相等时产生灰色,当3种亮度都为255时产生纯白色,当3种亮度都为0时产生纯黑色,3种色光混合产生的颜色一般比原来的颜色亮度髙,所以RGB模式采用的是色光加色法。HIS模型中H代表色调 (hue)、S 代表饱和度 (saturation)、I代表亮度(intensity),饱和度表示颜色的鲜明程度,亮度由物体反射系数大小决定。相比于RGB颜色模型,HIS颜色模型更加适应人的视觉感官,在图像处理和计算机视觉中大量算法中也可以更方便地使用[48]。RGB模型和HIS模型存在着转换关系,可以方便地进行互换,也为图像的处理提供了更多途径。

(2)数字图像颜色特征值。前人研究的图像分析方法以颜色方法居多,RGB颜色模型是数字图像最基础的算法,各种颜色都可由红绿蓝3种基本色调按照一定比例混合形成,称为三基色合成,即加色原理。RGB值的范围在0~255之间,由于RGB值为绝对的值,不同环境下差异较大,因此许多学者开始思考用比例这种相对值的方法进行区分。Baret等[49]提出了一种方法利用向下拍摄的图像中的RGB颜色来估算行播作物的绿叶面积指数。Andreasen等[50]也定义了一个参数将图像中的植物部分从土壤中分离出来,这个参数为g=256[G/(R+G+B)]。然而这个参数存在一些问题,即红色和蓝色的强度经常会改变图像本身看上去的绿色的强度。为了加强数字图像的解释性,Booth等[51]使用了一种“绿叶指数”算法,即用[(G-R)+(G-B)]/(G+R+G+B)来表示绿色植被,这样就使得绿色水平比起红色和蓝色水平更强烈。Liu和Pattey[52]通过计算图像中2G-R-B值来提取图像中的空白部分。Karcher和Richardson[53]也建议把RGB值转化为利用更加直观的灰度饱和度和亮度的HSB模型,这样减少了RGB监测不同环境时拍摄图像所引起的误差。Graham等[54]提出了HSL模型算法,即使用灰度、饱和度和光强将绿色植被从背景中分离出来。随后Karcher和Richardson将HSB值转化成一个更加稳定的深绿色指数DGCI,深绿色指数的计算方法为DGCI=[(H-60)/60+(1-S)+(1-B)]/3。

数字图像中颜色特征的提取是监测作物长势特征中最有效、应用最为广泛的方法,无论是作物覆盖度、叶面积指数、生物量、植物营养还是病害情况都会在颜色上加以体现。但在颜色模型的具体应用中,还应该结合其他特征深入研究,以提高其监测的准确性。

3.2.2 纹理和形状特征 纹理是对图像像素灰度的描述,与颜色图像相比,纹理能更好地兼顾整体与细节。在图像分析中,纹理分析有着非常重要的作用,通常包括2个方面的内容,一是抽取图片的详细纹理特征,二是根据所抽取的特征对图像进行分类。王耀南等[55]利用灰度共生矩阵进行纹理特征提取,计算黄瓜角斑病和黄瓜斑疹病纹理特征参数,证明寻找最合适的特征参量进行叶片纹理的特征值提取方法是可行的。Pydipati等[56]利用机器视觉和人工智能的技术对柑桔早期病害进行监测,使用颜色共现法(CCM)综合纹理特征、颜色特征中的饱和度和强度(HSI)对正常和感病的柑橘叶片进行统计分类,所有类别的分类准确率均超过95%。

而形状特征常与作物特征关联共同用于描述图像内容。Chesmore等[57]开发了一种用于漂白孢子的图像分析系统,可通过孢子的形态特征来区分物种,分离准确率达97%。马晓丹等[58]运用计算机图像处理技术和神经网络技术,实现了大豆叶片病斑区域的识别,图像处理技术与神经网络方法结合,识别病斑区域的准确率可达100%。

但由于作物生长情况比较复杂,单纯运用单一特征进行监测是不够的,还需颜色、纹理和形状等特征的综合研究,并进行相应的模式识别,才能够更准确地对作物生长特性进行监测。

4 利用数字图像对作物生长特征的监测研究进展

作物覆盖度、叶面积指数、生物量以及氮素营养都是作物群体生长特征的重要参数,对于监测及诊断作物群体的生长状况具有重要意义。传统的监测方法一般具有破坏性、费时费力,且精确度易受人为主观影响。随着数码设备的快速发展,许多学者已经将数字图像技术应用于作物生长监测。

4.1 利用数字图像对作物覆盖度的监测

作物覆盖度能够反映作物在生长过程中冠层的动态变化,还能侧面反映植物光合作用的强弱及蒸腾作用的大小[59]。因此,利用数字图像对作物覆盖度进行监测具有重要意义。

Chen等[60]发现利用数码相机进行覆盖度估测是最为快速且准确的,这表明利用数码相机进行覆盖度估测具有可行性。Campillo等[61]利用数字图像比较分析了多种方法以估测番茄的覆盖度,分别是面积法、轮廓法和再分类法,其中,再分类法是通过使用RGB再分类工具依据辐射水平将图像进行分类,从而估算作物的覆盖面积。此方法可以定量区分植被部分,以增加其准确性。Purcell[30]通过采集数字图像,应用SigmaScan Pro软件根据人为定义的灰度和饱和度将图片中的绿色植被和背景区分开来,并计算绿色植被部分的像素个数占整个图片像素个数的比例,初步实现对大豆冠层覆盖率的监测。通过采集数字图像并分析其相关系数可以间接反映作物覆盖度。目前常用于分析作物覆盖度的颜色指标是标准化绿蓝差异指数(NGBDI)[62],Yang等[63]利用无人机对返青期冬小麦的数字图像进行采集,提取数据并计算了NGBDI,建立了作物覆盖度的回归模型,其相关系数达到0.925,均方根误差为0.027。

数字图像的相关系数与作物覆盖度具有较强的相关性,应用该方法精确度高、误差小。此外,基于作物覆盖度与其他生长特征指标的关系,还可间接实现对其他生长特征的监测。

4.2 利用数字图像对叶面积指数的监测

叶面积是判断作物群体生长状况的重要参数,合理的叶面积有利于作物充分利用光能,进而实现作物的优质高产[64]。

前人[65-66]研究叶面积指数与作物冠层覆盖度的关系,认为可以通过估算作物覆盖度对叶面积指数进行估测。Bumgarner等[34]利用数字图像分析的方法对生菜的叶面积和生物量进行估测,利用数字图像分析计算,发现生菜的冠层覆盖率与实际测得的叶面积呈显著相关。雷咏雯等[67]分析了棉花不同生育期地面覆盖度与生物产量和叶面积指数间的关系,发现棉花冠层覆盖度指标可以有效预测叶面积系数。有部分学者通过分析数字图像的相关系数,实现对叶面积指数的监测。武聪玲等[68]利用图像处理技术,通过计算机无损测量黄瓜的叶冠投影面积预测了植株真实叶面积,预测结果达到了较好的精度。王方永和李少昆[69]利用数码相机实现了通过数字图像对冠层叶面积指数进行监测,结果表明当LAI>5时,估测的准确度降低。高林等[70]应用多旋翼无人机搭载数码相机构建监测系统对冬小麦的叶面积指数进行检测,基于无人机数码正射R、G、B 3个颜色通道提取灰度值,构建了作物群体冠层数字图像的4种数字图像特征参数,表明用该方法估算叶面积具有较高的精度。

4.3 利用数字图像对作物生物量的监测

作物的生物量直接反映了作物的长势状况,同时对光能利用、干物质生产及产量形成具有重要作用,因而生物量的实时动态监测始终是科研人员关注的热点问题之一。

Bumgarner等[34]利用数字图像进行分析,发现通过数字图像估算的冠层覆盖度与直接测得的作物生物量之间相关系数达到了0.71~0.95,表明通过作物覆盖度对作物生物量进行估测是可行的。Thorp和Dierig[71]借助数码相机,通过提取图像颜色信息并转化为HIS参数,采用Monte Carlo方法估测雷斯克勒花的覆盖度,相关性达到了0.87以上。表明利用数字图像可以对花的数目进行监测,进而可以实现对生物量进行监测。同时,对数字图像的相关系数进行分析,也可以实现对作物的生物量进行估算。刘帅兵等[72]利用色彩变换将无人机遥感图像转换为HSV信息并进行颜色分析,获取了玉米苗期的株数信息,可以用于计算田间出苗率及最终产量。武聪玲等[68]在试验温室条件下,通过数字图像对单株黄瓜幼苗的进行无损监测,预测了植株茎叶的干鲜重,与干鲜重的决定系数分别为0.874和0.914,达到了较好的精度。Bendig等[73]使用无人机搭载数码相机结合选定的植被指数和植物高度信息估计大麦生物量。Zhou等[74]进一步研究证明无人机是水稻生长和粮食产量估算的可靠平台,其获取的数字图像颜色指数与实际的籽粒产量呈对数关系。

4.4 利用数字图像对氮素营养诊断的监测

对田间作物进行快速氮素营养诊断的传统方法是,应用便携式叶绿素仪测定叶绿素(SPAD)以反映作物叶片含氮量[75]。此类方法费时费力,且偶然因素较大。通过数字图像对黄瓜缺氮情况进行营养诊断的方法具有快速、便捷、非破坏性等优点,能够满足氮素营养无损诊断的需求,可以用于实时、准确监测作物氮素营养水平。Tewari等[76]利用数码相机对水稻进行拍摄,同时对水稻的SPAD值进行测定,发现可以通过数字图像对水稻的SPAD值进行分析,结果准确且存在一定相关性。前人利用数码相机分别对玉米[77]、水稻[78]、黄瓜[75]、豇豆[79]等作物的氮素营养情况进行诊断,得到了稳定且精度较高的结果。张珏等[15]应用数码相机对甜菜进行冠层图像获取,提取图像的颜色信息,并与氮元素含量进行比对,结果表明冠层图像颜色信息与甜菜氮素营养水平存在相关性。因而,利用数字图像特征系数可以直接分析作物氮素营养水平。Baresel等[80]使用数码相机采集颜色系数,对小麦叶片叶绿素含量及氮素营养情况进行无损检测。该方法对图像进行分割及连续分析,即只对图像的绿色植物部分以及地面覆盖度较小的冠层部分进行分析,结果更加精确,且可以同时反映生物量、叶绿素含量及含氮量3个指标。

综上,无论是作物覆盖度、叶面积、生物量还是氮素营养都是对于农作物的部分指标进行监测,要对作物生产进行指导,需要综合各方面的因素。需要利用农作物长势模型,全面检测作物生长状态,综合评判。目前应用比较多的作物生长模型[81]有DSSAT、WOFOST、APSIM、AquaCrop、ORYZA等,由于作物实际生长过程的复杂性,各作物生长模型结构的不同,对温光、水肥和营养等过程的模拟各有侧重。胡泊[82]针对农作物长势评判问题,提出了基于蝙蝠算法的农作物长势评价模型,其所提取的分类规则比较符合专家对作物生长态势的评判过程,易于理解和表达。该方法比较方便和准确地描述了作物生长特征参数与其生长态势的关联情况,可直观、快速地对作物进行合理的评价。

5 总结和展望

利用数码设备对作物生长特征进行监测,很多方法已经开始应用到实际生产中,但是要达到高产高效的目的,仍有许多问题亟需解决。

5.1 获取数字图像,明确获取标准

利用小型无人机搭载数码相机来获取数字图像,存在飞行不稳定、影像容易几何形变、叶片遮盖与实际有差异、无人机载荷限制难以实现高精度地理位置的获取与记录等问题。有学者对数码设备获取图片时相机的参数设置、监测条件及时间的选择以及合适的拍摄方式和照片的保存格式等进行了研究,但是关于数字图片获取的方法仍然没有一个明确的标准,仍需进一步从可操作性、技术性和经济性上进行研究并制定相关的监测标准,实现数字图像的优质获取。

5.2 对于分析方法,具体问题具体分析

由于作物种类不同,同种作物品种不同以及同一品种生育期不同,冠层颜色参数存在很大差异,分析时的算法也存在差异,单一试验取得的结论并不具有普适性,因此在今后的研究中,可根据具体情况选取最适宜的颜色参数和算法监测不同作物生长特征。作物长势监测涉及因素很多,各种监测方法只能主要反映作物生长的某些方面,多种方法的结合将成为作物长势监测技术的重要发展方向。充分利用各种监测方法的优势,综合各种监测方法的信息,将有助于获取作物长势的比较完整的信息,也可为利用作物监测信息进行决策提供依据。

5.3 利用专家模型,多角度评判作物长势

数字图像的获取需要用到多种传感、定位技术,如何应对田间环境多变性,如何精准协调各个部件,也需要进一步研究。作物生长模型能够系统地评价作物生长,以作物生长模型为核心的研究越来越多,将辅助农业生产中的管理和决策。但由于作物生态系统的复杂性,其模拟结果仍存在很大的偶然性,对作物生长机理及过程的探索还需进一步完善,希望在图像分析技术方面作物生长模型能更广泛地应用。在数据处理方面,可以分析采集的庞大数据,同时可以剔除其中的大量冗杂信息,以最低的成本得到所需要的信息是现如今大数据时代的关键问题。

随着分辨率的不断提高和使用价格的不断降低,可以预见,数字图像技术将在作物长势监测方面发挥越来越重要的作用,而多种技术的融合和作物生长模型的改进将对作物长势监测的研究和应用起到更大的促进作用。

猜你喜欢

数字图像数码相机覆盖度
呼和浩特市和林格尔县植被覆盖度变化遥感监测
基于NDVI的晋州市植被覆盖信息提取
这个“数码相机”不一般,全球最大
低覆盖度CO分子在Ni(110)面的吸附研究
ARGUS-100 艺术品鉴证数字图像比对系统
为什么数码相机不用胶卷也能照相
基于块效应测度的JPEG数字图像盲取证
数字图像修复在图像压缩上的应用
基于DirectShow的便携式X射线数字图像采集的实现
青海湟水流域植被覆盖度时空变化分析