徐天成，吴 敏，贺冬仙，郑志安，徐辉煌，包金青

(1.中国农业大学工学院，北京 100083； 2.中国农业大学水利与土木工程学院，北京 100083；3.北京盛阳谷科技有限公司，北京 100083)

0 引言

我国作为世界上最大的农业国，截止到2020年已实现粮食产量连续17年增收，在保障自身粮食安全的前提下，农产品贸易额达2 400亿美元以上。粮食产量持续增收、农业经济稳定增长得益于不断推进的农业现代化，主要体现在农机装备自动化、智能化程度的不断提高[1]。近年来，我国农业耕种收综合机械化率稳步提升，粮棉油糖产业基本实现农业机械化，丘陵山区机械化率达55%，且仍在不断提高，设施农业、畜牧养殖、水产养殖、农产品初加工总体机械化率达到50%左右[2]。2021年中央1号文件指出，必须强化现代科学技术在农业生产过程和农机装备中的支撑作用，以农业机械智能化改变传统农业发展方式是未来农业发展的必然趋势[3]。农机装备自动化和智能化是转变农业发展方式、提高农业生产效率的重要基础，是实施乡村振兴战略的重要支撑。随着城镇化进程的加速，农业从业人员逐步实现由传统农民向职业农民的转变，走上集约化发展路径，从业人员综合素养的不断提升，进一步促进了农机装备自动化和智能化的发展[1]。农机装备进入全程全面、高质高效发展时期，农机装备智能化实现途径包括感知、决策、控制和执行，其中智能感知系统设计是关键，机器视觉技术作为人工智能的重要分支，是实现智能感知的核心，是智慧农业发展的必然关键技术之一。

机器视觉起始于20世纪50年代二维图像的统计模式识别，到80年代不断涌现的新概念、新理论推动机器视觉蓬勃发展，再到现在前沿的人脸识别、无人驾驶技术，机器视觉的快速发展，已经在工业、农业、军事和航天等诸多领域发挥着不可替代的作用。通过视觉传感器——机器视觉的“眼睛”采集到目标对象包括像素点分布、灰度值和亮度等图像信息，计算机将采集到的图像信息转变为数字信号，利用后续软件算法——机器视觉的“大脑”挑选出所需要的特征信息，与预设标准比较做出判断，发出后续动作指令。简而言之，机器视觉系统就是利用机器来代替人眼和大脑进行思考和判断。

机器视觉系统最基本的特点和最大的优势是具有高度的生产灵活性、自动化程度和效率，目前广泛应用于现代农业生产的各个环节。一个完整的机器视觉系统主要由图像采集系统和图像信息处理系统两部分组成。

本文将围绕机器视觉技术在农业工程领域的应用进展进行系统梳理和分析，比较其技术运用特点和适用性，应用在不同工程场景下的技术功能特征，综述图像采集和图像处理两大系统的有效性、经济性及未来发展趋势。

1 图像采集系统

机器视觉获取图像信息的主要方式是依靠视觉传感器，不同的视觉传感器获取到的图像信息各有差异，根据捕捉到图像的维数，主要分为两类：包含形态学特征(颜色、形状和纹理)的二维(2D)图像传感器和以获取三维立体信息、空间坐标为主的三维(3D)图像传感器[4]。针对不同的农业生产环节、作业对象和工作环境选择最合适的视觉传感器，才能在达到目的效果的同时发挥传感器的最大优势。常用的图像信息获取传感器包括单目视觉、立体双面视觉、激光主动视觉、热成像和光谱成像等。

1.1单目视觉

单目视觉传感器作为最早使用在机器视觉中的传感器，主要应用于采摘机器人目标果实识别，它由一个单目摄像机构成，一般采用CCD(Charged Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)两种类型的光学相机[5]。主要通过颜色和纹理特征来识别目标果实，在黑白相机被彩色相机取代后，有颜色的目标果实更容易被识别，如苹果、柑橘、西红柿等[4]。此外，基于单目视觉传感器的测距、抓取、无人机避障和地图构建等技术应用都趋于成熟[6-11]。

由于只有一个单目摄像头，单目视觉系统构成相对简单，经济性较好，但单目相机只能获取目标果实的二维图像信息，不能获取目标对象的三维空间坐标信息，成像效果也容易受到光照强度和相机拍摄角度等因素的影响。

1.2立体双目视觉

立体双目视觉传感器是为了获取场景的三维空间坐标和立体图像信息，在单目视觉的基础上增加一个相机，分置在同一垂直光轴上，两个相机利用三角成像原理对同一场景采集不同角度的图像信息[12]。双目立体视觉系统能有效获取到目标的空间位置信息，解决了单目视觉成像效果受光照变化影响问题，丰富的三维空间信息也使目标果实定位识别更加准确。双目立体视觉提高识别定位成功率的同时，在成簇生长果实、强光下相互粘连目标果实，以及目标果实与枝叶近色系识别难题上发挥出巨大优势，对簇生西红柿的识别率可达87.9%，同样在测距、导航、避障等领域的应用效果优于单目视觉系统[13-14]。

与单目视觉一样，双目视觉系统主要依靠颜色和纹理两大特征来识别目标果实，具有效率高、精度合适、系统结构简单和成本低等优点，但对传感器标定精度要求较高，匹配成功率受到相机畸变系数、标定图像数量、标定靶位置的影响[15]。

1.3激光主动视觉

激光主动视觉主要由激光发生器和接收器两部分构成。激光从发生器发出后对被测目标进行扫描，随后计算机接收到其反射的光线形成图像，再通过计算机算法对被测目标进行三维形貌构建，从而获取了场景深度的相关信息[4]。激光主动视觉最大的特点在于可自身发出激光，不依赖于自然光源，立体成像和三维重构不受光线、背景干扰的影响，结合红外光源和线性结构光源，实验室环境下对果柄的识别率高达97.5%[16]。对解决非结构化作业环境下目标果实识别难题，精确定位目标果实空间位置和自身大小参数，以及测量采摘机器人末端执行器位置等方面具有巨大优势。由于激光主动视觉在扫描目标果实的同时也会不可避免地引入背景元素，所以对于采摘机器人的目标果实识别还需要充分利用果实的其他相关形貌特征，如形状、纹理等。此外，庞大的图像信息扫描和测量参数对计算机后续处理能力提出更高要求，系统结构过于复杂也限制了激光主动视觉当前的广泛应用。

1.4热成像

热成像也即红外成像技术，是利用目标对象与背景物理结构、内部构造特性的不同，产生热辐射存在较大差异来识别目标对象[17-19]。热成像对温度变化尤为敏感，在补充外界光源的条件下，为夜间作业提供了可能[20]。在农业生产中，热成像方式解决了对被枝叶、树干遮挡环境中的目标果实的识别难题，同时由于热辐射所形成的热像图也不受颜色的影响，所以在叶片、目标果实同属近色系的识别中也有较好的表现[21]。

热成像技术还与其他图像信息结合应用，研究发现，将可见光图像与热像图融合，对融合后的图像进行分割处理可以高质量识别出目标果实，其识别率高于单独使用可见光图像和热像图的识别方法。但由于热成像波长较长，导致成像结果对比度低、非均匀性大、空间分辨率差[22]。此外，热成像的温度传感器也极易受到外界环境温度变化的干扰。

1.5光谱成像

光谱成像是一种集光谱探测与成像技术于一体的精密光学传感器，利用采集到的同一目标在不同窄光谱带上所辐射的信息得到一系列不同光谱带的图像。光谱相机根据分辨率的不同分为多光谱相机和高光谱相机两种，高光谱可以采集到的光谱波段远远高于多光谱相机采集到的光谱波段。随着光谱成像技术的成熟与发展，多光谱相机作为感知环境的传感器被越来越多的应用到果蔬采摘机器人上。

高光谱相机采集覆盖范围从可见光到近红外，其丰富的光谱信息可以识别被枝叶、树干遮挡的目标果实或者与背景、枝叶颜色相近的目标果实，如青柑橘、黄瓜等[23-24]。大量的光谱波段信息获取会给后期图像处理带来巨大的挑战，对计算机和算法要求较高，处理大量的信息也非常耗时，不适用于实时识别的场景中。

1.6视觉传感器应用比较分析

国内外学者对不同视觉传感器的使用特点、适用范围和应用场景进行了大量的研究，主要研究成果如表1所示。

2 图像处理

图像处理系统是整个机器视觉系统的核心，视觉传感器采集到目标对象的图像信息后经过“大脑”的提取、分析、判断发出最终动作指令。图像特征的提取是图像处理过程中最关键的步骤，在复杂的背景中将需要的目标对象分割出来是首要问题。图像分割是根据图像中不同元素间的特征差异(如边缘、颜色、纹理等)，它是由图像处理到图像分析的关键步骤，将图像分割成若干个特定具有相同特性的不同区域，不同区域间的像素信息存在明显差异。不同特点的图像分割技术被广泛应用在图像的前期处理中[35-36]。

2.1基于边缘的图像分割方法

基于图像边缘的图像分割方法是最简单、最早的图像分割方法之一，主要通过边缘检测算子寻找图像边缘，这些边缘显示了图像在灰度、色彩、纹理等方面不连续的位置，经过后续处理将边缘闭合为完整的边缘链完成分割[37-38]。边缘检测算子提取出待分割场景不同区域的边界后，对分割边界内的像素进行连通和标注。目前使用率较高的边缘检测算子有Ro-berts算子、Prewitt算子、Sobel算子和Canny算子，各算子原理及特点如表2所示。其中Canny算子被广泛应用到各种场景中。

基于图像边缘的分割算法具有对待分割对象精准定位、计算速度快及算法简单的优点。边缘分割方法局限性主要在于对一些低质量的图像处理时容易产生假边缘和空白，产生的假边缘很难被边缘分割识别和分类；对图像中的噪声也较敏感；边缘检测在大多数情况下会忽略图像中的高阶部分，这些被忽略的部分依然存在有分析价值的图像信息。

2.2基于阈值的图像分割方法

阈值分割算法是对图像分割处理的最早研究，具有原理简单且分割效果好的特点，根据待分割图像的灰度值确定分割阈值，对于目标和背景相差较大也即图像信息对比度高的图像分割中优势明显，效果最好。通常根据确定的分割阈值的个数分为单阈值分割法和多阈值分割法，结合智能技术的传统阈值分割方法可以得到更加优化的分割效果。阈值分割的核心在于最佳阈值的选取，主要解决分割阈值如何选择问题的办法分为两类：确定阈值和自适应阈值[43]。前者常用有全局阈值、大律法(Otsu阈值法)和迭代式分割法，如表3所示。后者一般适用于待分割图像中有较多杂质和灰度不均匀的情况。

灰度阈值分割算法技术已经成熟稳定，但仍存在分割复杂图像时计算量大、耗时长等问题。现有阈值分割算法受制于自身性能和适用范畴，目前尚未有普遍适用性的图像阈值分割算法。充分考虑在确保分割结果清晰准确的前提下减少分割耗时与算法复杂程度，是未来阈值分割发展和进步的方向。

2.3基于区域的图像分割方法

基于区域的图像分割方法是通过一定的规则根据颜色、纹理和灰度差异，将待分割图像中具有相似和相邻特征进行划分，划分结果为若干个互不重叠、交叉的图像区域。区域图像分割方法结合像素的相似性及在图像空间中的紧邻性两大特点，解决了其他分割方法导致图像空间不连续的问题，并且对图像中出现的噪声干扰能够进行有效的去除。

根据事先确定好的规则将一个像素点或部分区域，使周围区域不断聚合的过程称为区域生长，通过生长准则判断种子点与待生长点是否符合生长条件来扩大区域，直到生长停止。最终图像分割结果受到种子点的选取、生长条件和停止生长条件的影响，种子点也需要人为选取，增加了计算的复杂度。区域分裂合并算法则是先将整幅待分割图像分裂成若干个不同的区域，再把属于前景的区域按照一定准则合并，实现目标前景与背景分割。区域生长与区域分割合并属于互逆的两个过程，实际应用中通常两者结合使用，在进行复杂场景下分割时以获得更好的分割效果。

2.4其他图像分割方法

2.4.1聚类分割

聚类方法的核心思想是将图像信息中具有相似特征的数据以一个特定的中心点进行会聚，形成类簇，不同类簇之间存在明显差异[46]。聚类分析方法适用于灰度图像、彩色图像及纹理图像分割，k-均值聚类是最常见聚类分割方法。

k-均值聚类算法首先随机从图像中选取k个初始聚类中心，然后将图像信息中每个数据分配到与之距离最近的聚类中心形成新的数据簇，再将该数据簇的平均值作为新的聚类中心迭代，直至聚类中心不再发生变化为止。k-均值聚类算法在分割彩色图像时，具有分割精度高、适应性强的特点。但也同样存在分割结果受到初始聚类中心的影响、易出现错分割和过分割等缺陷。李寒等[47]提出了基于SOM-k-均值聚类算法的蕃茄果实识别与定位方法，通过聚类将重叠果实的轮廓分开，分别进行拟合，解决了番茄果实重叠粘连难以识别的难题，与传统方法相比准确性更高、鲁棒性更强。李玉功[48]提出一种基于改进K-means预分割和区域合并策略的彩色图像分割方法，重点解决分割数目难以确定、存在过分割和错分割、类簇数目k值难以确定，以及聚类结果过分依赖聚类中心的问题，改进后的分割算法得到优于传统算法的分割结果。

表3 不同阈值分割特点与应用场景

2.4.2分水岭算法

分水岭算法是借助于形态学理论发展起来的一种图像分割方法，图像灰度值对应地形图中的高度值。分水岭分割是一种多阈值自适应分割算法，该算法对图像中细微的灰度变化较为敏感，也因此能在边缘分割时精准定位，并且分割后的区域具有封闭性和连通性。由于分水岭分割方法十分敏感，图像噪声、相关纹理特征和外界干扰等因素会使得结果产生过分割现象。

赵梦琦[49]提出了利用SLIC分割算法预处理来抑制分水岭算法中过分割现象，图像冗余和噪声得到了一定控制和消除。杨家红等[50]将分水岭算法与区域生长法结合，针对分水岭算法在分割彩色图像时出现的过分割问题做出改进，既能去除图像噪声又保证图像边缘信息，有效利用图像自身特征信息。

2.4.3深度学习图像分割法

随着深度学习的快速发展，机器视觉领域也因此发生巨大变化，卷积神经网络(Convolutional Neural Networks，CNN)作为一种特征提取方法被引入到图像分割领域，与传统特征提取方法相比具有适应外部条件变化的能力(如识别对象形状、颜色、光照环境等)，能提取到更加抽象的特征。深度学习的快速发展，使其在农业中的应用展现出巨大的优势，目前已经在葡萄、蓝莓、草莓、杨梅、苹果、猕猴桃等水果识别中成功应用，其中经典深度学习图像分割模型包括FCN、PSPNet、DeepLab、Mask R-CNN[36，51-53]。针对不同的深度学习方法，黄鹏等[36]采用3个深度学习数据集，对以上4种方法进行了比较分析：DeepLab在所有模型中准确性最高；而Mask R-CNN在数据集的优异性能表现在像素精度可达37.10%。不同图像分割方法的技术特点如表4所示。

3 具体应用

3.1视觉传感器选择原则

单目视觉和双目视觉系统构成相对简单，主要部件仅由相机构成，相机能够获得广阔的视野，因此单目、双目视觉被广泛应用在测距、导航、避障和采摘等需要良好视野的场景下。激光主动视觉由于需要外来激光光源，导致系统设备构成较为复杂，但不受自然光照影响，作业条件要求少。热成像主要利用对温度辐射差异特性来识别目标对象，温度变化大是热成像应用的最大优势，主要集中应用于养殖业中对活体动物体温监测。采集光谱信息需要将被采集对象放入黑箱，导致光谱成像只能够在实验室或温室环境中作业，不适于过于复杂的系统，也不适用于实地生产环境。

3.2技术应用场景差异分析

单目视觉、双目视觉和激光主动视觉都只能获取到目标对象的二维信息，形状、大小、轮廓等，也就限制了其无法对目标对象内部信息进行采集，只能在空间位置、数量大小对目标对象进行作业。热成像和光谱成像均可以透过目标对象表面，获取到目标对象内部微观信息，但热成像只能测定温度这个单一指标，因此多用于生产过程中的体温监测和病虫害预防。光谱成像在果蔬、农畜产品的无损检测和品质分析上有着天然的优势，在不破坏被检测对象的同时得到可靠准确的检测结果，根据构建好的数据模型还能完成品质分级，光谱技术在农产品后续深加工生产过程中有着十分广阔的应用前景。另外，在研究香菇、菊花干燥过程中物料表面实时起皱和收缩特性时，需要监测整个干燥过程中的物料表面变化，在干燥箱内加装红外相机是最佳解决方案，实现在线实时监测[54-55]。

表4 不同图像分割算法特点比较

3.3面向农业生产环节的技术要求

(1)播种育苗阶段。基于机器视觉实现农作物大粒种子精准播种，由于南瓜、大蒜、甘蔗种苗等大粒农作物种子，具有尺寸、质量大且形状不规则等特点，不适用于一般的精量播种机[56-59]。此外，种苗生长过程中需要保持正确的生长方向，避免枝叶相互遮蔽、影响生长，因此播种机需要将作物种子按照一定的方向放置到土壤中，才能确保秧苗整齐，方便后续生产过程的机械化作业。

(2)作物生长阶段。基于机器视觉监测作物营养状况和病虫害防治，近地遥感监测系统能全程提供农作物生长信息，并根据掌握的作物长势和营养状态做出诊断，如对玉米不同生长阶段的精准施肥、棉花氮素营养状况监测、树木病虫害防治等[60-61]。

(3)采收阶段。基于机器视觉实现果蔬机械化采摘、无损检测和自动分级，传统农业生产方式采收后数量巨大的果蔬产品，需要人工进行筛选分级，不仅耗费大量时间和劳动力资源，由于人工筛选分级存在因人为主观评价标准不同导致产品质量参差不齐的问题，结合机器视觉实现采摘、检测、分级流水化生产过程将具有重要意义，现已在荔枝、红枣、苹果等果蔬上投入使用[62-63]。

3.4图像分割算法及其适应性研究

对于导航、避障、采摘、分级等不涉及目标对象细节的使用场景，图像处理算法在识别目标对象时，只需识别出轮廓就可以实现动作指令，可适当简化分割算法，避免增加计算量、图像处理耗时，提高即时性；在实现精准采摘、播种时，则需要优化图像分割效果，达到精准度要求。其具体精度要求和及时性要求如表5所示。根据不同应用场景需求结合不同算法自身特点和优势，选择合适分割算法进行图像处理。

3.5当前技术发展中的挑战

机器视觉技术在农业工程中应用的挑战仍然主要存在于图像的采集和处理两个方面，由于实际作业环境与设施农业温室大棚存在较大差距，对农作物初期秧苗阶段提出较高要求，反而增加了前期准备工作；现有视觉传感器功能单一，无法做到集多功能于一身；图像后期处理时需要在分割精度和处理时间两者之中有所取舍；识别重叠目标和复杂背景的算法过于复杂。

4 结束语

计算机、视觉传感器技术的飞速发展，促进了机器视觉在农业工程领域的广泛应用，传统农业生产中各个环节(如播种、施肥、采收等)都在逐步实现自动化、智能化，机械化作业将进一步解放生产力，提高生产效率，增加产品附加价值。此外，基于机器视觉的无损检测和品质分级必将成为现代农业中重要的一环，机器视觉在农产品后续加工、运输、包装等环节也存在巨大的应用前景。图像处理算法也随着农业生产的高质量发展提出了更高的要求，面对复杂、庞大的图像信息量，如何快速准确地提取出特征信息是后续算法优化的方向，阈值分割作为使用最多、应用最广的图像分割算法，结合去噪、腐蚀、膨胀等处理方法，努力达到在不改变分割效果的前提下提高算法的适用性。

本文综述了机器视觉系统的图像采集和图像处理两大核心构成，针对不同的软、硬件技术特点和适用性分析比较了在不同生产环节、不同应用场景及不同工作要求的应用研究。阐明了机器视觉是未来农业智能化发展的技术支撑，提出了基于多光谱图像的无损检测和品质分析具有十分广阔的研究前景。总结发现，图像信息采集主要以获取目标外部信息和内部深度信息两类为主，后期图像处理中，无论何种算法都应以提高分割效果实现目标对象获取为前提。

未来机器视觉在农业工程中的应用研究还应从如下4方面持续加强。①视觉传感器在完善所需特征信息采集的同时减少非必要信息的获取以减少后续图像处理的信息量。②在进一步优化分割结果的同时降低图像处理分割算法复杂程度，减少计算机运算量，降低耗时。③提高算法和计算机反应速度，提高即时性，实现手眼协同。④在保证性能效果的前提下简化视觉系统构成，以更好、更快地应用于生产实践。