大豆冠层多源图像特征点配准方法研究
2020-03-17关海鸥朱可心冯佳睿马晓丹
关海鸥 朱可心 冯佳睿 马晓丹* 于 崧
(1.黑龙江八一农垦大学 电气与信息学院，黑龙江 大庆 163319；2.黑龙江八一农垦大学 农学院，黑龙江 大庆 163319)
大豆冠层三维重建技术一直是农业信息化领域研究的热点和重点，对于大豆植株株型特征计算及品种选育具有重要意义[1]。近年来，基于可见光的双目或多目立体视觉技术已经较多地应用到植物冠层的三维重建研究中[2-3]。研究表明，非结构的自然环境中光照强度的变化是影响立体视觉系统进一步广泛应用的主要原因。三维数字化仪在植株冠层结构重建中也得到了一定的应用[4-5]，但测量相关冠层参数时对外界环境条件要求高(例如无风)，且需手动操作设备测量多项数据，尽管利用该设备能采集冠层空间位置信息，但无法同时记录冠层的颜色信息。激光扫描仪是主动成像设备，能够主动发射激光束，工作过程中受自然光照影响较小，因此可精确地捕获植株冠层空间信息，缺点是无法同时获取冠层的颜色及纹理信息。
PMD(Photonic mixer detector)相机是测量被测物深度信息的新型设备，以“高帧速”拍摄目标图像并记录其距离信息，但分辨率较低(200像素×200像素)。彩色摄像机虽然能够得到目标图像丰富的颜色及纹理等信息，但受外界光照影响较大。若将二者结合起来，可互为补充，为大豆冠层三维重建提供了一种可靠的图像获取平台[6]。
图像配准是大豆冠层三维形态重建的基础，是底层像素级的匹配，隶属于图像匹配、理解的范畴。图像匹配是指把多个输入和已有知识模型建立关联的过程，即用存储在计算机中的模型去识别未知视觉模型，最终实现对输入的解释。因此，图像匹配可以表达为综合处理已经存在的表达，并建立联系的过程。图像配准为图像像素或像素集合的图像匹配。如何在空间上对图像进行配准，从而校正相对位置平移、旋转角度位移、缩放尺度、几何变化等，就是图像配准研究的内容。研究图像配准的目的就是使表示同一目标的像素点在多源图像中进行精确坐标对准和定位，提高配准精度，使得后续融合结果包含的信息更加准确。图像配准技术已经在很多领域得到了应用，通过图像配准，可以更好地集成不同传感器信息，检测不同时间对同一场景拍摄图像的变化，以便重建高分辨图像和对从不同视角拍摄的图像进行重构等[7]。
PMD和彩色摄像机的双摄像机多源图像配准问题是保证三维重建精确度的关键，传统图像配准的重点主要集中于配准基于同一摄像机获取的图像，而基于PMD与彩色摄像机开展大豆冠层多源图像配准研究较少。因此，本研究围绕以上思路，将大豆冠层作为研究对象，在室外及室内2种环境下利用PMD相机与彩色摄像机组合获取大豆冠层多源图像，开展图像配准方法研究，旨在提高后期大豆冠层三维重建的精确性。
1 材料与方法
本研究在黑龙江八一农垦大学大豆种植实验基地(室外环境)以及电气与信息学院内(室内环境)进行数据采集工作。室外环境自然光强为965 lx，温度为28 ℃。选取垦农23、垦农29、垦农30及垦农33等4个大豆品种，将种子经过精选后进行消毒、催芽，播种于PVC材料的花盆中，花盆直径25 cm，高40 cm，内部装有20 kg土壤和沙子(m(土)∶m(沙)=2∶1)的混合基质，并施入底肥量，施肥量为：尿素50 mg/kg，磷酸二胺30 mg/kg，硫酸钾30 mg/kg。 大豆栽培时每盆种植10株，待幼苗生长到5叶期时每盆定苗3株，进入生殖期后进行追肥，肥量为底肥的1/2，每个品种3次重复且随机排列。在自然环境下，选取生殖生长初期的多分枝和少分枝不同株型的大豆植株作为试验样本。
2 视觉系统构建与图像特征描述
本研究中大豆冠层数据的采集机器视觉系统主要包括：PMD摄像机、彩色摄像机、可调三角架、数据线与笔记本电脑(图1)。其中PMD摄像机用于完成目标距离信息获取；彩色摄像机获取的彩色图像用于与PMD图像完成配准，为后续重建具有彩色信息的大豆冠层图像提供前期技术支持。双摄像机以上下组合方式固定于三角架，调整镜头使之指向同一被测物。
PMD相机采用了基于ToF(Time-of-flight)技术的连续光幅度调制原理，能够快速获取整个被测物场景多源图像。PMD相机是主动成像设备，其工作原理为：光发射器发出红外光信号，光束到达目标物体后发生反射，光探测器接收到反射光后，依据红外光在个发射和反射过程中的传播时间和速度计算PMD到目标之间的距离[8]。
图1 大豆冠层数据采集机器视觉系统Fig.1 Machine vision system of data acquisition for soybean canopies
PMD相机发射的红外波长为870 nm，帧速40帧/s，有效测量距离0.3～7 m，可快速获取目标物体的深度信息，依据与目标物体的远近，图像的成像颜色由蓝到红，依据距离信息能够有效地去除复杂背景的影响。图2为获取的大豆冠层多源图像，其中彩色图像由RGB相机获取，其他图像由PMD相机获取得到；深度图像能够表达目标物体的距离信息；幅度图像能够有效过滤背景图像干扰；标记图像能够反映图像品质；强度图像是可见光和近红外光的入射光强度均值，成像效果类似于灰度图。
图2 大豆冠层多源图像Fig.2 Soybean canopy of multi-source images
3 基于Harris特征的大豆冠层多源图像配准
图像配准包含特征空间选择、相似性度量、搜索空间和搜索算法4个环节。特征空间中含有图像显著特征，相似性度量描述配准图像间的相似性特征，搜索空间是图像配准过程几何变换模型参数的取值区间，其搜索算法为最优化过程。因此，配准本质就是自寻优过程，主要是基于灰度信息的图像配准[9-10]和基于特征的图像配准[11-12]。前者利用图像灰度信息建立配准图像之间的相似性度量，存在运算量大且速度慢的弊端；后者首先提取图像中角点、边缘信息等固定不变的特征，通过这些特征建立图像之间的映射，从而计算变换模型参数，该方法由于压缩了图像信息量，因此计算过程中运算量小且速度快。基于Harris特征的图像配准方法，与尺度不变特征变换(Scale-invariant feature transform, SIFT)算法[13]和加速稳健特征(Speed-up robust features, SURF)算法[14]相比，尽管Harris算法[15]在光照鲁棒性方面不如上述二者，但同样是应用较为广泛的一种特征点检测算法，其优势在于实现思想简单实用，计算过程耗时较短，能够较精确地检测特征明显的角点，满足了本研究中快速检测特征点的实际需求。
为了保证后续冠层三维重建的精度及彩色信息的有效性，选择强度图像为待配准图像，彩色图像为目标图像。首先分别在多源图像中提取尺度不变的Harris特征点；然后采用归一化互相关系数法以此确定匹配的同名点，采用改进RANSAC算法提纯同名点对；最后依据同名点坐标建立多源图像空间关系映射模型，实现大豆冠层的多源图像配准。
3.1 坐标变换与插值
3.1.1仿射变换
本研究采用PMD相机和彩色摄像机相结合构成多源图像采集系统，由于二者水平视角及分辨率不同，获取的彩色图像与PMD图像之间往往会存在变形，所以必须选择适合的坐标变换类型消除多源图像之间的形变。目前，应用较多的变换类型主要有刚体变换(Rigid body transformation)[16]、投影变换(Projective transformation)[17]、仿射变换(Affine transformation)[18]、以及非线性变换(Nonlinear transformation)[19]。由于彩色图像上任意直线构成的像素点映射到PMD图像上后仍然为直线，且二者为平行直线，采集获取的多源图像之间的映射关系符合仿射变换，因此采用仿射变换求解彩色图像与强度图像的坐标变换与插值。
仿射变换是平移、旋转、镜像和缩放的组合，可以分解为线性变换和平移变换。在二维空间里，点(x,y)经仿射变换到点(x′,y′)的变换公式为：
(3)
3.1.2灰度插值
以强度图像为标准，对彩色图像进行仿射变换。彩色图像仿射变换后，在新坐标系中，像素点坐标不能保证一定是整数，对于得到的非整数坐标值，需要对其进行重新采样和插值。目前插值的方法主要为最近邻插值法、双线性插值法和三次插值法，这3种方法的插值精确度由低到高，速度由快到慢，考虑到变换过程兼顾速度和精度的最佳性，选择双线性插值算法对仿射变换后的图像进行重采样。
3.2 特征点提取
Harris是基于图像灰度信息的特征点检测算子。该算子利用灰度图像微分运算和自相关矩阵检测特征点位置及灰度值。特征点判定准则是遍历图像所有像素点，若该点存在至少2个方向梯度的灰度绝对值都比自身灰度值大，则该点判定为特征点。设图像中像素点(Δx,Δy)的灰度值为(x,y)，利用以下步骤检测图像的角点。
首先，对图像进行滤波，(Δx,Δy)为像素点(x,y)位置偏移量，位置偏移后的强度值变化为：
(1)
其中，M为自相关矩阵：
(2)
然后，建立角点响应函数，CRF=detM-k(traceM)2，式中：detM=λ1λ2，traceM=λ1+λ2，λ1和λ2为M的特征值，表征自相关函数的一阶曲率；k为经验值，通常取0.05。遍历图像中每个像素点，求解CRF最大值。
最后，遍历图像中每个像素点，与相邻8连通区域像素点CRF值比较，若CRF值为其8连通区域最大值，同时其大于设定阈值，则该像素点判为特征点。
3.3 特征点粗匹配
采用基于归一化互相关系数法检测彩色图像与强度图像中的特征点对。设Ai和Bj分别为彩色图像和强度图像中的任意特征点，ω1和ω2是分别以彩色图像中的特征点Ai和强度图像中的特征点Bj为中心的尺寸等同的窗口，ui和uj分别为ω1和ω2是窗口内的灰度均值，uj为窗口的大小。因此，像素点Ai和Bj的相似度测度NCC表示为：
(3)
针对彩色图像中的特征点Ai，在强度图像中寻找与其相关性最大的特征点。同时针对强度图像中的特征点Bj，寻找彩色图像中与其互相关系数最大的点集，相关值大于指定阈值的点被确定为特征点对。
3.4 特征点精匹配
基于NCC的特征点匹配算法只能完成初始匹配，无法处理匹配过程中的重复匹配和误匹配的特征点对，所以需要对检测到的特征点对进一步提纯。RANSAC算法[20]作为经典的精匹配算法，虽然能够较为有效地剔除误匹配点对，但在对原始数据集中的数据排序，需要回到特征点匹配阶段进行。这不仅费时，也导致了模型估算不准确或抽样次数增加。为克服上述问题，在特征点匹配阶段，按照可信度将特征点对排序，从可信度高的点对开始抽取，进而减少抽样次数。
(4)
(5)
式中，第i对特征点对行标距离与列标距离分别与第j对特征点对行标距离与列标距离相等。
从抽样次数和数据检验时间2个方面考虑，本研究采用文献[21]中改进RANSAC算法，对图像特征点进行精匹配，避免传统RANSAC算法的计算效率低的不足。按照置信度值对粗匹配的特征点对进行排序，从置信度高的特征点对子集中抽取特征点对样本，进而减少取样次数及时间。该算法步骤如下：
1)记录特征点对集合中每一组特征点对的行列坐标，建立距离数组D(xi,yj)，并将行标距离及列标距离存于该数组中，同时对每类距离值数量进行统计。
2)分别求解行列坐标距离值，若距离值属于距离数组D，则该类距离值增1，否则，标记为新的距离。
3)将距离类别按照数量排序，同时将每类距离中的特征点对划分为n个集合，即E1,E2,…,En，并将其继续划分为k个子集和，即{E1},{E1,E2},…,{E1,E2,…,En}，设置k个错误比率，并计算出k个错误比率下的不同子集和的抽样次数Kki。
4)从子集和{E1}中随机选取四对特征点对，计算模型参数，抽样次数记作Ki，当Ki>Kki时，从子集{E1,E2}抽样，否则，执行步骤5)。
5)在第i子集和中，计算其模型参数的内点比例m及其欧式距离d，设定内点比例阈值为t1，欧式距离和阈值为t2，若m
6)对模型参数进行全局检验，设定V1为全局内点比例阈值，V2为全局欧式距离和阈值，若k
应用上述步骤得到的优选模型参数，即可求解出模型中所有内点。
4 试验验证
为验证本研究提出的图像配准算法的有效性，在黑龙江八一农垦大学大豆种植试验基地(室外环境)以及电气与信息学院(室内环境)开展试验验证工作。随机选择盆栽大豆植株各20盆，共计40组图像，分别用于室外和室内环境下大豆冠层多源图像配准试验。采用本研究使用的Harris特征点检测算法和改进RANSAC算法实现的大豆冠层室内环境下的配准效果及室外环境下的配准效果分别见图3和图4。
将彩色图像经过仿射变换与插值后得到与强度图像等大的图像，同时为加快配准速度，将彩色图像变换为灰度图像。图3(a)、(b)与图4(a)、(b)为分别为室内与室外环境下利用Harris算法在彩色图像和强度图像中检测到的特征点，图3(c)与图4(c)是利用归一化互相关系数法得到的特征点粗匹配效果。可以看出，粗匹配结果存在明显错误匹配和一对多的误匹配，因此必须对粗匹配特征点对进行有效提纯，才能精确地配准大豆冠层的多源图像。图3(d)与图4(d)为利用本研究提出的改进RANSAC算法提取得到的精确特征点对，通过匹配效果可以看出，错误匹配和误匹配的情况已经被有效地去除。
图3 室内环境下大豆冠层图像配准效果Fig.3 Registration effect under indoor environment for soybean canopies
图4 室外环境下大豆冠层图像配准效果Fig.4 Registration effect under outdoor environments for soybean canopies
为评估本研究提出的大豆冠层图像配准算法，分别在室外和室内2种环境下，利用本研究构建的多源图像采集设备，各采集20盆大豆冠层多源图像。将Harris算法与SIFT算法和SURF算法在特征点检测数量和运行时间上进行对比，对比结果见表1。从平均特征点检测的数量上来看，SIFT算法和SURF算法分别检测到95个和78个特征点，而Harris检测到101个特征点，其中包含了较多的冗余点，因此从特征点检测数量方面，并非越多越好。尽管Harris算法检测到冗余特征点，但正确的特征点个数足以用来匹配特征点对，并用于求解大豆冠层多源图像间的空间映射关系；在平均运行时间方面，Harris算法用时2.59 s，呈现出了较快速的优势，满足本研究快速检测特征点的需求。因此本研究选用Harris算法作为大豆冠层多源图像特征点检测算法。将本研究配准算法与经典的RANSAC算法与距离约束角点配准算法[22]在算法配准精确度方面进行比较，对比结果见表2。可以看出，本研究提出的改进RANSAC算法在配准正确率方面，相对于传统RANSAC算法和距离约束角点配准算法，在图像配准的准确率方面有很大的提高。此外，室外环境下图像配准的准确率低于室内环境，影响其准确率的因素主要在于外界光线对多源图像成像有一定的影响，导致特征点提取时出现误差，进而影响了彩色图像和强度图像配准效果。
表1 HARRIS算法与其他算法检测大豆图像特征点效果对比Table 1 Comparison of feature points detection algorithms between HARRIS and other algorithm for detection of feature points of soybean canopy images
表2 改进RANSAC算法与其他算法对于大豆冠层图像配准效果对比Table 2 Comparison of different registration algorithms between improved RANSAC and other algorithms for registration of soybean canopy images
5 结 论
本研究利用PMD摄像机与彩色摄像机构成多源图像采集系统，获取了室内及室外环境下大豆冠层多源图像，将彩色图像与强度图像作为研究对象，利用Harris算法检测图像中的特征点，并采用归一化互相关系数法完成特征点的粗匹配，同时提出了改进RANSAC算法对粗匹配特征点对进行提纯，获取了有效的图像特征点对。将本研究提出的图像配准算法与经典配准算法进行比较，在室外环境下样本组的平准正确配准率为83%，室内环境下的平均正确配准率为87%，验证了该算法的有效性。研究成果为下一步进行大豆冠层精确三维重建提供了技术支持。
