胡玲艳， 许 巍， 秦 山， 裴悦琨， 汪祖民

(1.大连大学信息工程学院，辽宁大连 116000； 2.大连市现代农业生产发展服务中心，辽宁大连 116000)

欧洲甜樱桃[Prunusavium(L.) Moench]作为一种经济作物，因其营养价值丰富而深受人们喜爱，被广泛种植于世界各地，又被称为甜樱桃、车厘子、大樱桃[1]。欧洲甜樱桃栽培管理技术近几年不断提高，虽然带动了产业高速发展，但仍然面临着诸多问题，如欧洲甜樱桃栽培管理技术水平良莠不齐，多以散户为主；产品质量参差不齐；种植者依靠多年的经验管理，未能对种植中各项因素实现定量控制；人工成本持续升高，智能化设备需求巨大。为了解决上述问题，实现设施欧洲甜樱桃标准化、规模化、智能化生产，首要工作就是对植物生长各个周期的特征和性状即表型进行精准检测。认识植物的表型特征和性状是生物学研究的一个重要命题，缺乏详尽的表型数据，将无法深刻理解基因组和环境因素对植物表型的复杂作用[2-3]。针对樱桃的表型试验是作物优良品种选育与栽培技术研究，满足未来农业供给需求的一个关键因素。传统的植物表型分析主要由人工测量各项参数，分析规模小、效率低、误差大。计算机视觉可为自动化植物表型分析提供帮助[3-4]。在计算机视觉应用于植物表型检测与建模过程中，首先需要通过各种设备与成像技术获取植物图像，并将表型特征区域分割出来。为了实现该目的，研究人员采用了多种技术路线。一方面，运用可见光成像技术获取RGB图像，并采用原始图像分割算法[5]、色彩空间[6-7]、深度学习[8-10]等手段选取植物图像中的特征区域。此类方法所需图像采集设备简单，分割效果较好，但对植物图像拍摄背景要求较高，通常是自顶向下以土壤为背景拍摄植物冠层图像，无法适用于复杂背景下的植物表型关键特征区域分割。此外，上述研究通常针对植物生长的某一特定时期，无法将采集与分割方法普适地应用于植物生长发展的全过程中。另一方面，深度相机[11-12]、光幕阵列(LC)[13]、高光谱成像[14-15]等特殊成像设备及技术也被应用于植物图像采集中，这些设备通常配合高通量系统、滑轨、机械臂等辅助设施，采用成像设备的特性从空间中分割出植物图像。此类方法可以以较高精度实现关键特征区域的分割，但此类方法所需设备价格昂贵，且一般应用于实验室环境中。虽然实验室中的试验提高了人类对生物系统及其功能的认识，但高昂的价格与严格的试验环境阻碍了在实际种植环境中的运用。综上，在当前的植物表型研究中，缺乏一种较低成本实现全周期、高精度、高鲁棒性的图像获取及关键特征区域自动分割方法。为了更好地从欧洲甜樱桃图像中提取表型关键特征区域图像，本研究基于传统智能剪刀算法，提出一种分时重叠算法，即采用普通监控摄像头获取欧洲甜樱桃图像，通过夜间红外灯补光灰度图像中蕴含的距离信息获取初始区域，“重叠”至日间彩色图像上，自主寻找欧洲甜樱桃彩色图像中的关键特征区域。

1 数据与方法

1.1 数据准备

1.1.1 图像获取方案分析 本研究根据设备特性，选择普通监控摄像头作为欧洲甜樱桃图像采集装置。一方面，监控摄像头夜间采集红外补光灰度图像，结合照度第二定律，可获取植株各部位到摄像头的距离信息。另一方面，以农业为代表的第一产业具有附加值低且分布广泛的特点，监控摄像头作为采集装置可以以低廉的成本获取欧洲甜樱桃图像。

监控摄像头采用电荷耦合元件或互补金属氧化物半导体捕捉光信号。当可见光较强时，摄像头将光低通滤波器置于光路中，大部分红外光被过滤，摄像头采集的图像可较准确地还原被摄物的颜色与灰度信号；当可见光较弱时，光低通滤波器被自动移除，此时主要依靠红外光成像，电路将自动切换，只保留灰度信号[16]。

为了使夜间成像更加清晰，监控摄像头均配有不同亮度的红外补光灯，在照度较低时会自动开启。通常情况下，作物种植于乡村、林场、温室等光污染较少的区域，将摄像头用于采集植株夜间图像时，红外补光灯可视作唯一点光源。此时，植物各部分照度符合照度第一定律，即与光线垂直的物体表面上的照度跟光源的发光强度成正比，跟被照亮的面到光源的距离平方成反比[17]。这意味着夜间植物灰度图像中不同亮度的部分可以反映出各部分到摄像头的不同距离，这就为从同一角度日间彩色图像中分割出植物表型关键特征区域提供了基础。相比深度相机，该方法获取物体到相机的距离精度较低，但这足以在空间中分割出特征区域，且由于监控摄像头价格低廉，该方法无疑具有较高的性价比。

1.1.2 试验材料 本研究以欧洲甜樱桃美早(P.avium“Tieton”)图像作为试验数据，分割图像中的表型关键特征区域。欧洲甜樱桃美早最早由美国华盛顿州立大学研发，然后由大连市农业科学研究所从美国引入，广泛种植于我国辽东半岛与胶东半岛，是一个果大、质优、肉硬、耐贮运、丰产的早熟樱桃的优良品种。辽宁省大连市金州区樱桃产区设施樱桃全年生长期从11月至次年4月，全程环境可控，是研究樱桃表型的理想对象。

1.1.3 试验图像 不失一般性，本研究采用海康威视iDS-2DC4223IW-/GLT(S5)型号与iDS-2DC2204IW(S6)型号摄像头，搭建了一套远程图像采集装置(图1)，采集辽宁省大连市金州区6个不同温室大棚中的美早樱桃图像作为试验数据。摄像头云台转动并变焦，采集不同角度的美早樱桃植株图像。彩色图片捕获时间为15：00，灰度图片拍摄时间为18：00。从时间序列图像中随机选取9组黑白与彩色图片对作为试验材料，图像的采集日期、大棚编号、拍摄时的欧洲甜樱桃物候期、拍摄景别记录于表1中。试验图像采集于不同日期、不同大棚、不同景别，具有较强代表性。

表1 分时重叠分割算法性能

在获取最佳权重及评价算法时，须要计算欧洲甜樱桃表型关键特征实际区域与算法得出的区域的交并比(IoU)。试验中用作标准对比的欧洲甜樱桃表型关键特征实际区域是人工提取的。摄像头捕获的部分彩色图像及其对应的灰度图像、欧洲甜樱桃表型关键特征实际区域图像见图2。

1.2 分时重叠算法获取欧洲甜樱桃图像表型关键特征区域

为了自动分割欧洲甜樱桃图像表型关键特征区域，本研究对原始智能剪刀算法[18-19]进行改进设计，提出分时重叠分割算法。原始智能剪刀是一种辅助用户手动选择特征区域的交互式工具，可以从任意复杂的背景中快速提取物体。选择一个接近目标边缘的种子点，鼠标沿着物体边缘不断移动，该算法计算出一条火线(live-wire)自动贴合所需要的边界[18-19]。然而，原始智能剪刀算法的应用场景为针对单张照片交互式手动选择特征区域边界，无法自动实现从欧洲甜樱桃图像中分割出特征区域。

由图3可知，对于摄像头捕获的夜间红外补光灰度图像，采用二值化阈值处理方法提取夜间灰度图像中的空间信息。植株易受风力扰动、植物生长等影响，采用夜间灰度图确定的目标区域与日间彩色图像区域不能完全吻合，需要进一步调整选区。对于摄像头捕获的日间图像，首先建立权重图，并将二值化图像边缘轮廓作为前置条件，对日间彩色图像自动寻找关键特征区域边缘路径。采用粒子群算法求解算法中部分参数在某些条件下的最优值。分时重叠分割算法详细示意见图4-a至图 4-f，算法设计过程分析如下。

1.2.1 阈值处理并提取初始边缘 根据照度第一定律，欧洲甜樱桃植株各部分照度与被照亮的面到光源的距离平方成反比，反映在图像上即为不同亮度的区域。为了提取初始的轮廓，首先要对灰度图进行阈值处理，使图像中像素转化为黑色或白色，从而凸显出植物表型关键特征区域的轮廓，该过程被称为二值化[20]。对于图像f(x，y)，二值化后的图像g(x，y) 为

式中：T1表示二值化时的阈值下限；T2表示阈值上限，maxval表示当前图像系统的最大值。灰度值在阈值区间内的像素点全置为maxval，否则置为0，对于大部分数字图像系统maxval=255。由于在夜间灰度图像中，像素的亮度中蕴含了空间上的距离信息，故T1、T2的值可参考特征区域到摄像头的距离手动选定。

当表型关键特征区域在图像中占比较大时，还可以采用大律法(Otsu法)自动寻找1个阈值并进行分割。Otsu是一种非参数、无监督的图像分割阈值自动选择方法。通过判别准则选择一个最优阈值，最大限度地提高生成类在灰度级上的可分性[21]。

对二值图像进行形态学滤波以便更好地提取区域轮廓。首先以13×13的结构元进行形态学闭运算，填充因光照不均匀而在阈值处理后产生的细小孔洞，平滑边缘。再以9×9的结构元进行形态学开运算，进一步平滑边缘。采用基于边界跟踪的数字化二值图像拓扑结构分析获取区域边界[22]，此边界即为日间图像中欧洲甜樱桃表型关键特征区域初始边缘。令p为边界点(x，y)处的像素，C记为边界的点集，即P∈C。

图4-a至图4-c即为夜间灰度图像阈值处理并提取初始边缘的整个过程，图4-a为灰度图原图，图4-b是灰度图经过Otsu阈值处理，并进行开运算与闭运算后的图像，图4-c是获取的二值化图像边界。

1.2.2 权重图生成 从夜间灰度图得出初始边缘后，即可以此为前置条件，开始自适应地寻找日间彩色图像中的欧洲甜樱桃表型图像关键特征区域，首先需要计算含有每个像素到相邻像素路径代价的权重图。

与原始智能剪刀算法类似，对于彩色图像，从任意一个像素点s到其相邻的像素点t的局部代价I(s，t)为

I(s，t)=ωZ·fZ(t)+ωD·fD(s，t)+ωG·fG(t)。

式中：fZ表示拉普拉斯过零点代价，确保像素节点位于边缘点上；fG表示像素在x和y方向上的梯度，当有较大梯度值时，说明图像存在边缘；fD表示梯度方向代价，当2个像素具有相似的梯度方向但该方向和它们之间连接的方向接近垂直时给予高代，当2个像素具有相似的梯度方向且和它们之间连接的方向一致时给予低代价[18-19]。ωZ、ωD、ωG均表示权值，本研究通过粒子群优化算法获取最佳权值。

将计算后的局部代价权重图记为1个与原图像相同形状的矩阵A。

Apq=I(s，t)。

1.2.3 表型关键区域边缘路径寻找 由图4-d至图4-e，结合初始条件，设计算法，自主获取植物表型关键特征区域。即在获取权重图矩阵A后，结合初始边缘集合C，开始寻找最终目标边缘集合Aend，步骤如下。

Step1：选取s=1、k=2作为初始的索引，s表示集合C中第s个元素；k表示集合C中第k个元素，设初始路径计数器数列为

cn=0，n=1，2，3，4，…。

设初始最终路径点集合为

Cend=Ø。

Step2：从二值化图像的边缘中选取一个点ps作为种子点，记为

pseed=ps，pseed∈C。

从pseed的邻域内取一点pk作为自由点，记为

pfree=pk，pfree∈C∩N4(pseed)，ps=C。

其中：N4(pseed)表示像素4临域。

Step3：通过pseed、pfree的坐标(xseed，yseed)、(xfree，yfree)在权重图上定位2个节点，即矩阵A中的点Axfreeyfree、Axfreeyfree，使用Dijkstra算法[23]，得出pseed～pfree对应的节点在权重图上的最短路径，此路径即为pseed～pfree的特征区域边界段，记为数列{aN}。

Step4：将索引k向前移动1位，即

k:=k+1。

Step5：从集合C中取出第k个元素作为新的自由点，即

pfree=pk，pfree∈C∩N4(pseed)。

同“Step3”，获取pseed至新的pfree的路径，记为{bn}。

Step6：比较路径{an}和{bn}，将路径上的点按位与，则有数列{dn}：

dn=an∧bn，n=1，2，3，4，…。

此时，若在路径第n个点上an=bn，则有dn=1；否则，dn=0。

Step7：将重合的路径点所对应的计数器加1，从第1个不重合点开始，后面的路径对应点计数器置0，即设g、h、m为数列的索引，则

∃!g，dg=0，且∀h

则有

ch:=ch+1，cm=，m≥g。

其中：dg、dh分别表示数列{dn}中的元素；ch、cm表示数列{cn}中的元素。

Step8：判断路径计数器数列{cn}，将大于阈值φ的路径设为冻结路径，本已经中阈值φ通过粒子群优化算法获取。并将所述冻结路径加入最终路径点集合，同时重新选取种子点；即设i、j、l为数列的索引，则

∃!i，∀j≤i，cj≥φ；∀l>i，cl<φ。

则有

Cend:=Cend∪{bj}。

其中：cj、cl分别表示数列{cn}中的元素；

此时最终路径点集Cend中包含已冻结路径点；选取新的种子点为

pseed=pi，pseed∈C。

将路径计数器数列{cn}、路径数列{bn}中对应的已冻结路径的数值丢弃，并将未冻结的数值重新排列至前方，即

cn:=cn+i；

bn:=bn+i。

Step9：将索引k向前移动1位，并重设临时路径数列，即

k:=k+1；

{an}:={bn}。

判断寻路是否结束，若∃pk∈C，寻路继续，返回“Step4”；若∃/pk∈C，寻路结束，此时需要将路径数列{bn}中剩余路径加入到最终边界点集Cend中，即

Cend:=Aend∪{bn}。

最终，点集Cend即为目标边界点集。图4-e中蓝线为特征区域；在图4-e的局部放大图4-h中可以看出，边缘点集Cend相比初始条件点集C更加接近实际特征区域边缘；边缘点集可进一步生成欧洲甜樱桃表型关键特征区域图4-f。

1.2.4 基于粒子群算法的参数调优 在分时重叠算法中，权重图权值ωZ、ωD、ωG，冻结路径阈值φ均为可调优的参数，可将求解最优参数的过程视作1个连续非线性函数的最优化问题。针对欧洲甜樱桃图像，采用交并比(IoU)[24]描述算法适应度，计算樱桃表型关键特征实际区域与分时分割重叠算法得出的预测区域之间的交并比。根据欧洲甜樱桃植株特征与算法特性，规定解空间为ωZ∈[0.1，1]、ωD∈[0.1，1]、ωG∈[0.1，1]、φ∈{10，11，特征与算]。构建最优化问题。

minf(ωZ，ωD，ωG，φ)=IoU

s.t. 0.1≤ωZ≤1

0.1≤ωD≤1

0.1≤ωG≤1

8≤φ≤40。

本研究基于粒子群算法求解最优参数。粒子群算法是一种元启发式优化算法，通过一组简单的数学表达式来模拟粒子间的通信及在解空间中进行的搜索[25]。

2 结果与分析

2.1 最优参数获取及性能分析

分别针对不同欧洲甜樱桃图像对，采用粒子群算法求解优权重图权值及最优路径阈值，种群规模设为25，经过30次迭代，可获取最优权重(表 2)。可见，在不同角度图片欧洲甜樱桃表型关键特征区域提取任务中，最优权值存在差异。在实际科研过程中，通常须要采集不同时间跨度下的时间序列图像进行表型分析[26]。在时间序列中任取1张日间图像及其对应的夜间图像，手动选择欧洲甜樱桃表型关键特征实际区域，进而通过粒子群算法获取最优参数，该参数可运用于整个时间序列所有欧洲甜樱桃图像中。

本研究采用IoU作为分时重叠分割算法的性能度量，对比仅进行阈值处理及形态学滤波获得的二值化选区(简称“阈值处理”)与分时重叠所获选取选区(表 2)。由图5可知，阈值处理平均IoU为 0.834 6，分时重叠平均IoU为0.849 7，分时重叠分割算法获取的特征区域平均IoU优于阈值处理获取区域平均IoU。由图6可知，在大多数情况下，该算法可有效修正因植物生长等因素导致的日间图像与夜间图像的偏差，使得选区更加贴合实际的特征区域。但仍有少部分情况算法未能起效，这是因为部分图像存在日间与夜间图像局部偏差过大的情况，使得算法无法找回正确的特征区域边缘路径。

表2 分时重叠算法权重

2.2 方法对比

试验验证分时重叠分割算法性能，将各类经典自动与交互式图像分割算法与本研究方法进行对比。由表 3可知，针对日间彩色图片，经典图像分割Ostu算法平均IoU为0.382 6，经典绿色植物分割算法ExG-ExR(超绿色-超红色)[5]平均IoU为0.334 6，需要人手动参与分割的交互式图像分割算法GrabCut[7]及智能剪刀算法[18-19]平均IoU分别为0.753 3、0.850 8。分时重叠平均IoU为0.849 7，可较准确地获取植物表型关键特征区域；其IoU优于GrabCut，接近智能剪刀，表明分时重叠算法分割植物关键特征区域能力达到交互式图像分割算法相同水平。

表3 各算法IoU对比

3 结论

本研究提出并运用分时重叠分割算法，从欧洲甜樱桃图像中分割出表型关键特征区域图像，其成本低、精度高，可广泛适用于农业生产环境。第一，本研究从普通监控摄像头的特性出发，结合照度第一定律，明确植物到摄像头的距离可由夜间红外补光植物灰度图像中的亮度表征。第二，对于夜间红外补光灰度图像，对图像阈值进行处理；进行形态学滤波，消除孔洞及平滑边缘；并提取区域轮廓，轮廓中蕴含灰度图像中的空间信息。对于日间彩色图像，将轮廓“重叠”到图像上，以此作为分割前置条件，自动寻找作物本体关键特征区域边界。第三，算法中权重图权值及最优路径阈值是可以调节的参数，可将求解最优参数的过程视作一个连续非线性函数的最优化问题。构建最优化问题，采用粒子群算法求解，即可获取特定图像的最优参数，并可将参数运用于同一角度的时间序列图像中。第四，经过测试，分时重叠算法平均IoU为0.849 7，分时重叠算法可较准确地获取植物表型关键特征区域。其IoU优于GrabCut，接近智能剪刀，分割植物关键特征区域能力达到交互式图像分割算法相同水平。且与仅进行阈值处理与形态学滤波的区域相比，更加贴合实际的特征区域。

综上，分时重叠方法以较低的采集成本与训练成本，可以获取较高精度的欧洲甜樱桃表型关键特征区域分割结果，鲁棒性强，自动化程度高。在后续研究中将着重考虑获取特征区域图像后如何进一步用于农业生产实际建模，以期最终在欧洲甜樱桃种植生产调节中形成闭环研究。