万雪芬, 杨 义, 韩 芳

(1.华北科技学院 计算机学院, 河北 廊坊 065201； 2. 东华大学 信息科学与技术学院, 上海 201620)

远程叶面积指数半球图像采集系统

万雪芬1, 2, 杨 义2, 韩 芳2

(1.华北科技学院 计算机学院, 河北 廊坊 065201； 2. 东华大学 信息科学与技术学院, 上海 201620)

为低成本远程获取植被冠层半球图像信息, 从而得到叶面积指数这一重要的生态学参数, 提出了一种远程叶面积指数半球图像采集系统.该系统采用嵌入式平台、低成本图像传感器与鱼眼镜头组成的现场节点获取植被冠层半球图像.冠层半球图像采集时节点还对环境日光辐照及温湿度进行实时监测, 以便剔除无效数据及进行节点维护.上位机与现场节点间利用3G网络进行交互.上位机对获取的冠层图像使用像素校准与超分辨率技术提高图像质量, 从而抑制由于鱼眼成像畸变与图像辨析度不足而在叶面积指数计算中引入的误差.测试结果表明, 该系统可有效地对植被冠层图像进行低成本远距离采集, 并得到误差较小的叶面积指数计算结果.

植被冠层；叶面积指数；半球图像；超分辨率

植被冠层是植被进行光合作用最主要的部分, 通过对植被冠层结构参数的测量, 可以对日光辐照截取率、光合作用效果、冠下光线时空分布等进行评估[1-2].在诸多冠层结构参数中, 用于表示植被冠层单位面积上叶面积总量的叶面积指数(leaf area index, LAI)最为重要[3-4].

叶面积指数的测量方法可分为直接法与间接法.直接法冠层测量需要对植被进行大范围的破坏性采样, 且人力、物力消耗较大, 而间接法则可避免上述问题[5].基于鱼眼镜头的半球图像叶面积指数测量技术，由于其精确性和有效性, 在国内外得到了广泛的研究[6-9].测量中, 通过采集180°范围内的植被冠层图像信息并辅以后处理算法, 即可获得冠层结构对应的叶面积指数.但是现有半球图像冠层测量技术多借助单反相机并与鱼眼镜头组合进行图像采集.测量者需要进入冠层下方手工采集图像, 单反相机与镜头也无法在外场长期安放以跟踪植被较长生长周期内的冠层变化.尤其是在一些边远地区, 较难进行植被冠层长期的人工监测.此外该方法的设备成本较高, 也无法同时自动进行分布式的图像采集.

近年来, 随着嵌入式与图像技术的发展, 远程低成本冠层半球图像采集技术成为可能.但是在对冠层图像进行采集时, 为了避免叶片对太阳辐射的散射效果使部分叶片混入天空像元, 通常在云层均匀分布的日出后1 h或日落前1 h内进行[10].冠层对光照强度也有较大影响.而低成本图像采集设备由于CCD与镜头内镜片组等的限制, 在这一条件下的成像清晰度有所下降, 并具有一定的鱼眼非对中误差.如果要得到较为精确的叶面积指数计算结果, 必须要对图像进行后处理抑制误差、提高图像品质.本文提出了一种远程叶面积指数半球图像采集系统, 该系统采用嵌入式平台结合低成本鱼眼镜头对植物冠层图像进行采集, 并监测日光辐照及温湿度数据.冠层图像与监测数据通过3G数据通道由节点传输至上位机, 最终利用鱼眼图像校正与超分辨率算法提升冠层图像品质.

1 基于半球图像的叶面积指数计算

将均匀介质中光线传播的Beer-Lambert定律引入到植物冠层光线传播模型中, 并仅考虑直射光的作用效果, 有

(1)

其中:L为叶面积指数；α为叶倾角；θ为天顶角；G(θ,α)为表示叶倾角α的单位叶片面积在特定天顶角θ方向上的投影面积, 其与叶倾角分布有关；T(θ) 为植物冠层孔隙度, 其可通过式(2)计算得到.

(2)

其中:ΓL(θ)与ΓS(θ)分别为天顶角θ时半球图像上的叶片像素数量与该天顶角对应的圆环像素数量.在利用式(1)与(2)对叶面积指数的计算中,G(θ,α)在天顶角θ∈[25°, 65°]时近似为θ的线性函数, 尤其是在天顶角θ=57°时,G(θ,α)=0.5[8].所以在利用半球图像对叶面积指数的计算中, 常依据天顶角将θ∈[25°, 65°]内的冠层半球图像以天顶角θ=57°为基准线分割成一组环形图像, 之后再利用灰度阈值方法进行二值化处理, 计算得到θ=57°时的叶面积指数.然后分别计算各环形图像中的冠层孔隙度, 最终利用在θ=57°时获得的叶面积指数获取线性区叶倾角.但是在实际图像采集中, 较低分辨率的半球图像造成叶边缘模糊, 难以有效地将叶片像元与天空像元分离, 由此在冠层孔隙度中引入误差.另外鱼眼镜头在投影成像中会由于镜头加工误差、镜头卡口安装等原因，造成同一天顶角的图像成像在距离成像中心间距不同的环上, 由此也会造成叶面积指数计算值偏离真实值.上述问题在低成本图像采集系统中更为严重, 所以需要对采集到的半球图像进行相应处理, 从而实现对叶面积指数与叶倾角计算中的误差抑制.

2 硬件设计与功能

在系统设计中, 现场节点布设于冠层下方获取冠层的图像及辅助参数.系统现场节点的硬件部分包括核心处理部分、3G通信模块、图像采集部分、辅助参数采集部分与供电部分组成, 如图1所示.

图1 现场节点结构框图Fig.1 Configuration of in-field node

现场节点核心处理部分采用STM32F407, 其丰富的内部资源, 有助于实现高集成度的系统结构[11-12].3G通信模块选用ZWD-35B型串口3G透传模块, 其上行与下行传输速率分别为1.8和3.1MiB/s.ZWD-35B与STM32F407通过RSM3485CHT单路高速隔离RS-485收发器进行通信.图像采集部分选用OV2640型与VMAX-K1A型鱼眼镜头适配器的组合.OV2640可实现200万像素的图像采集, 结合视角为180°的VMAX-K1A, 可以有效采集上半球的冠层图像.设计中还使用PMMA可调扣具用于适配VMAX-K1A与OV2640的焦距和视场, 使图像在采集时达到最优化的效果.辅助参数采集分为日光辐照参数采集及温湿度参数采集.前者用于提供冠层图像采集时的日光光线环境参考参数；后者为使用者提供设备周围温湿度信息, 以便对其进行维护.日光辐照传感器采用Davis-6450型日光辐照传感器, 该传感器依照1.67 mV-1 W/m2的比例关系将日光辐照数据转化为电压输出，以供STM32F407进行A/D采集.使用时Davis-6450置于冠层上方.环境温湿度则由STM32F407通过1-wire通信协议由AM2306户外耐候型传感器获得.系统供电部分采用DC/DC结合LDO的方式, 从而获得高效率的多电压输出.系统输入DC电压为12 V, 采用赛特12V12AH的BT-12M12AC铅酸蓄电池提供, 或在此基础上增加斯普威尔 SML05太阳能控制器与40 W多晶硅太阳能电池板的组合.前者适用于采集周期为数天的短时测量；后者适合在特定位置长时期的监测.铅酸蓄电池或太阳能供电系统提供的12 V电压一路通过电源适配器为ZWB-35B模块供电；另外一路通过隔离型LM2596 DC-DC电源模块转换为5 V, 之后分别通过TPS73033与TPS73030提供3.3与3.0 V电压输出.

由于图像数据量较大且仅在全天的部分时间段内对冠层图像采集才具有意义,所以现场节点在工作中分别为普通监测模式与图像采集模式.当现场节点在普通监测模式中, 将以5 min为周期不断地监测日光辐照数据和温湿度的变化, 获得大刻度(每5 min采样一次)的日光辐照与温湿度数据, 并将采集结果发回上位机.当接收到上位机的图像采集命令后, 节点进入图像采集模式.节点通过图像传感器OV2640以预设间隔先后获得4幅图像及该周期内的细刻度(每秒采样一次)日光辐照数据, 并通过STM32F407内部的实时时钟为数据打上时间戳.完成采集后验证图像数据有效性, 如果为有效图像则发往上位机.发送完成后返回普通监测模式.

云层快速变化与冠层中叶片受风抖动都会造成冠层下日光辐照强度改变, 这将对系统图像采集造成不利影响.前者破坏了日光辐射的均匀散射效果, 并有可能造成部分叶片混入天空像元中.而后者则会造成图像中的运动抖动模糊.现场节点在图像采集的过程中获得的大刻度与细刻度日光辐照数据，有助于实现对日照气象条件的分析.在晴朗无云与云层均匀分布的条件下, 日光辐照数据随时间的变化都为一缓变曲线.大刻度与细刻度采样数据偏差较小, 且晴朗无云与云层均匀分布可由辐照强度数据区别.而在云层快速运动时, 大刻度与细刻度采样数据有较大偏差, 且在图像采集时段内也会出现辐照强度一定程度上的波动, 如果细刻度测量结果的绝对值的平均值超过预先设定的波动容忍阈值(大刻度辐照参考值的25%), 则可判定图像数据无效.而叶片受风抖动也会造成日光辐照的快速变化.同样利用大刻度/细刻度数据比较及阈值判决的方式可判定图像数据的有效性.在上位机发来的采样控制信息中包含由大刻度数据时均插值计算得到的辐照参考值, 现场节点依照该参考值与细刻度数据及其方差实现图像数据有效性判定.如果采样时辐照气象数据不符合判定阈值, 则仅向上位机发出该时段内的细刻度日光辐照数据及报错信息.

3 上位机与图像处理

上位机软件采用C++设计, 上位机硬件采用华北工控基于Intel公司Pineview-M/D技术的3.5寸嵌入式主板EMB-3870.对于冠层图像采样, 上位机可选用自动工作模式与手动工作模式.上位机及其软件功能结构如图2所示.

图2 上位机及其软件功能结构Fig.2 Host computer and its software structure

上位机可根据现场节点的经纬度与本地时间计算出实时太阳高度角信息.在太阳高度角较小时可望获得较理想的冠层图像采样数据.所以在自动模式下软件使用者通过设定采样时对应的太阳高度角数值, 当太阳高度角满足该条件时上位机自动发出采样指令.在手动模式下则需软件使用者手工向节点发送采样指令.当上位机完成冠层图像接收后, 将其存入以当次采样发起时间命名的文件夹下, 并对其进行鱼眼图像校正与超分辨率处理.节点在普通监测模式下间隔5 min自动向上位机发送日光辐照数据与温湿度数据.当上位机接收数据后, 将其存入SQLite数据库.采用SQLite的原因是其具有简洁高效的特点, 且占用资源较低，这非常适于在低功耗工控机上运行.完成日光辐照与温湿度监测数据接收与存储后, 并将日光辐照数据与温湿度数据利用ZedGraph图标类库显示于屏幕上.此外当节点温湿度超越告警阈值后, 上位机还将向指定的邮箱中发送告警邮件以便管理者进行节点维护.

通常鱼眼镜头由于镜头工艺及相机机身接口的细微误差，会造成镜头光学中心与照片中心不重合.而低成本鱼眼镜头内部的镜片数量与加工误差限制, 图像各部分的不均衡失真变形较单反鱼眼镜头更甚[13].不过这一类型的鱼眼镜头多为定焦镜头, 具有唯一的投影方程.所以可以采用预标定的方法确定变形参数, 并加以矫正.鱼眼镜头的失真可以认为是像元在成像过程中其投影位置与真实位置的偏离.通过标定该偏离值并在拍摄图像中引入修正即可有效降低冠层图像鱼眼误差[14].在具体实施中, 可在冠层图像采集前令系统对带有十字标的马赛克墙进行拍照, 之后利用Arcgis量尺工具获得图像中各十字标离中心的像素偏离距离.在此基础上利用三次插值得到每一个像素点的偏离参考值.在获得现场节点发来的冠层图像后, 将图像像素位置依照该参考值进行修正, 由此获得校准后的图像.该方法的图片对象为在图片RGB中提取蓝色分量对应的灰度图片.图片超分辨率处理可望有效提高图片辨识效果[15].在进行图像超分辨率处理时, 需要将图片进行预处理.该过程可以和前述去鱼眼误差的操作放在同一双三次插值步骤中, 由此得到低鱼眼误差的高像素图片.随后利用下采样滤波器与上采样滤波器对该高像素图片进行操作, 并与原图对应分量相减, 得到原始图片的低通和高通部分.在高通部分中查找像素区域异常, 如果有则对该区域进行矫正, 通过该步骤可以较为部分抑制枝干对最终叶面积指数计算结果的影响.之后对双三次插值得到的高像素图片进行自相似处理, 寻找与之前得到的高通部分相似的位置.之后将高通部分纳入到该高像素图片中，再利用Sobel算子检测边缘及进行边缘平滑化处理.冠层图像处理流程如图3所示.

图3 冠层图像处理流程Fig.3 Image processing for canopy

4 测试结果及讨论

本文系统完成后于2016年4～6月间在京东地区的混栽园艺阔叶林中进行了测试, 林中树种主要为桃树、杏树、玉兰、柳树、白桦及杨树.测试中选择日照与云层分布符合标准的时段在林中多个位置进行采集, 每个时段采集4～8组数据.将本系统与利用佳能EOS 700D和适马8mm F3.5 EX DG鱼眼镜头在同一位置采集数据的分析结果进行比较, 以获得叶面积指数及叶倾角误差.图像采集中设置激光标尺与水平架以令二者的成像平面与成像中心对准.选择叶倾角作为误差评估的原因是该参数与叶面积指数紧密相关, 且其计算需依靠半球图像的各环形分割图像.其误差不仅体现了叶面积指数在G(θ,α)=0.5环形上的误差, 也体现了系统在线性区的成像效果.

在不同位置的测试中, 现场节点与移动基站之间的直线距离为200～1 300 m, 测试中系统工作稳定可靠, 数据采集及回传无异常现象发生, 数据传输成功率可达100%.系统实测功耗小于670 mW.在单独使用铅酸电池供电并设置3G模块休眠调度的情况下, 系统可连续工作一周以上；若采用铅酸电池与太阳能供电结合的方法, 其提供的能量可保证系统连续工作, 无需在使用中更换电池.

图像采集处理结果如图4所示.由图4中可以看出, 处理后的结果有较高的辨析度, 天空像元与叶片像元之间较易区分.

图4 系统在林中不同位置的图像采集处理结果Fig.4 Collecting and processing canopy images in different locations in the forest

图5中(a)、(c)、(e)与(b)、(d)、(f)分别为由未经图像处理与完成图像处理冠层半球图片所得到的结果.由图5中可以看出，处理后的图片含有更丰富的细节, 尤其是部分在处理之前细节模糊的叶片边缘与尺寸较小的冠层孔隙得以获得较为清晰地呈现.由此在一定程度上由嵌入式平台、低成本图像传感器与鱼眼镜头所组成现场节点，所采集的冠层半球图像接近由高分辨率单反相机所采集处理的效果.

图5 现场节点采集到的一组半球图像及其处理结果Fig.5 Collected canopy hemispherical images results by in-field node and corresponding processing

测试共在107个晨暮时段采集到有效数据.由于叶面积指数可由θ=57°处的环形图像数据求得, 所以在测试中取处于θ=[56°, 58°]区间的环形图像作为叶面积指数计算的依据.将由本系统获得并处理的图像中计算得到的叶面积指数值与由单反相机取得的采集处理结果进行比较, 比较中采用每个测试时段叶面积指数计算结果的平均值.二者之间的归一化误差如图6所示.

图6 系统叶面积指数与叶倾角归一化误差结果Fig.6 Normalized error results in LAI and leaf angle

此外依据θ=57°处环形图像计算得到的叶面积指数, 利用Open CV对线性区图像以θ=5°为尺度进行分割, 之后结合分割后各环形图像中的冠层孔隙度得到线性区叶倾角数值.由此对利用单反相机与本系统得到的叶倾角误差数据进行比较, 其时段归一化误差结果也示于图6中.

4～6月为植物生长期, 采集到的半球图像中叶片像元在半球图像中所占比例总体呈上升趋势, 由此在测量结果中误差也呈上升趋势.但是由图6中可以看出, 通过校准-插值方法抑制了鱼眼成像畸变误差, 及使用超分辨率提高了叶片边缘和冠层孔隙的辨识度, 算法处理后的叶面积指数及叶倾角误差都得到了一定程度的抑制.由图6中还可看出, 当叶片像元的占比较高时, 通过处理对误差的抑制程度相对于叶片像元占比较低时略高.6月底京东地区混栽园艺阔叶林已经进入生长成熟期, 其冠层结构已基本稳定, 所以其叶片像元占比不会再有明显增加, 系统的测量计算误差同样也不会出现明显增加.此外对叶倾角的计算误差结果中可以看到, 各线性区环形分割图像有较好的成像质量, 未在叶倾角计算结果中引入较大误差.测量中还发现，在同一时段的采集过程中, 如无风力与辐照的明显变化, 现场节点采集的各组冠层半球图像具有较好的一致性.依据采集处理的半球图像计算所获得的冠层叶面积指数与叶倾角基本保持一致. 测试结果表明，系统的半球图像采集处理结果已满足大多数叶面积指数测量的误差要求[16].

日光辐照与温湿度等环境参数的测量对远程半球图像的采集也有较大的意义.以2016年5月27日获得的数据为例, 示出的一日内环境温湿度与日光辐照变化的监测结果如图7所示.从图7中可以看出，监测数据可反映林间环境参数的连续变化规律.此外在现场节点的测试中(2016年4～6月间), 还多次采用胜利VC231型工业级手持式温湿度计及6450+NI USB-6210型数据采集卡的方式，在布设现场节点的相同位置获取温湿度与日光辐照参考数据.测量中通过现场节点获得的监测数据与参考数据间的温度差值不大于0.6 ℃, 相对湿度差值不大于4.7%, 日光辐照差值不大于31 W/m2, 可以较好地满足对节点维护与云层波动监测的需求.

图7 一日内环境温湿度与日光辐照变化的监测结果Fig.7 Environment temperature, humidity and solar radiation monitoring results in one day

5 结 语

本文提出了一种结合低成本嵌入式技术与鱼眼镜头成像系统的远程叶面积指数半球图像采集系统, 并讨论了通过图像校正与超分辨率处理进一步优化采集图像效果的方法.该系统可以在较低的成本下进行有较高图像质量的远程植被冠层半球图像采集.针对京东地区混栽园艺阔叶林的测试结果表明, 该系统可以长期有效地采集植物冠层半球图像, 还可对监测点周边的温湿度与日光辐照进行相应监测.

随着未来适用于移动设备的鱼眼镜头技术及嵌入式成像技术的发展, 该方法的测量精度有望得到进一步提高.在不便于进行日常人工冠层图像数据采集、需要长时期连续自动监测或对采集成本较为敏感的场合，本文提出的远程叶面积指数半球图像采集系统有望得到推广应用.

[1] WOODGATE W, JONES S D, SUAREZ L, et al. Understanding the variability in ground-based methods for retrieving canopy openness, gap fraction, and leaf area index in diverse forest systems[J]. Agricultural and Forest Meteorology, 2015, 205(3): 83-95.

[2] CONFALONIERI R, FOI M, CASA R, et al. Development of an app for estimating leaf area index using a smartphone: Trueness and precision determination and comparison with other indirect methods[J]. Computers & Electronics in Agriculture, 2013, 96(12): 67-74.

[3] LI X H, LIU Q, YANG R J, et al. The design and implementation of the leaf area index sensor[J]. Sensors, 2015, 15(3): 6250-6269.

[4] 王修信, 付洁, 王培娟, 等. 漓江上游山区水源林叶面积指数变化的遥感监测[J]. 农业工程学报, 2014, 30(2): 139-145.

[5] 刘志理, 金光泽, 周 明. 利用直接法和间接法测定针阔混交林叶面积指数的季节动态[J]. 植物生态学报, 2014, 38(8): 843-856.

[6] 胡凝, 吕川根, 姚克敏, 等. 利用鱼眼影像技术反演不同株型水稻的冠层结构参数[J]. 作物学报, 2014, 40(8): 1443-1451.

[7] LEBLANC S G, FOURNIER R A. Hemispherical photography simulations with an architectural model to assess retrieval of leaf area index[J]. Agricultural and Forest Meteorology, 2014, 194(6): 64-76.

[8] 王传宇, 郭新宇, 温维亮, 等. 田间光照条件下应用半球图像解析玉米冠层结构参数[J].农业工程学报, 2016, 32(4): 157-162.

[9] LIU Z L, WANG C K, CHEN J, et al. Empirical models for tracing seasonal changes in leaf area index in deciduous broadleaf forests by digital hemispherical photography[J]. Forest Ecology and Management, 2015, 351(1): 67-77.

[10] CAO B, DU Y M, LI J, et al. comparison of five slope correction methods for leaf area Index estimation from hemispherical photography[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(9): 1958-1962.

[11] 蒋焕煜, 张利君, 周鸣川, 等. 基于响应面法的电磁阀响应时间优化[J]. 农业工程学报, 2016, 32(9): 67-73.

[12] 武星, 沈伟良, 楼佩煌, 等. 视觉导引AGV鲁棒特征识别与精确路径跟踪研究[J]. 农业机械学报, 2016, 47(7): 48-56.

[13] 向鹏, 王立钢. 手机附加鱼眼镜头的光学设计[J]. 光学仪器, 2013, 35(6): 5-8.

[14] 彭焕华, 赵传燕, 冯兆东, 等. 利用半球图像法提取植被冠层结构特征参数[J]. 生态学报, 2011, 31(12): 3376-3383.

[15] 万雪芬, 韩芳, 蒋学芹, 等.视频监控图像的超分辨率复原研究[J]. 激光杂志, 2014, 35(3): 48-52.

[16] 温一博, 范文义, 常颖, 等. 野外叶面积指数自动测量仪器设计及应用试验[J]. 农业工程学报, 2015, 31(9): 154-160

(责任编辑: 杨 静)

Remote Hemispherical Image Acquisition System for Leaf Area Index

WANXuefen1,YANGYi2,HANFang2

(1. College of Computer, North China Institute of Science and Technology, Langfang 065201, China；2. College of Information Science and Technology, Donghua University, Shanghai 201620, China)

To get the hemispherical photography of plant canopy for leaf area index, a remote hemispherical image acquisition system is presented. Based on embedded platform, low cost image sensor and fish eye lens In-fied node is presented to achieve hemispherical image of plant canopy at distance with low cost. Solar radiation and temperature/humidity data are obtained for invalid hemispherical image elimination and node maintenance too. Host computer interacts with in-field node by 3G network. The hemispherical image calibration and super resolution are used to improve canopy image quality in host computer. Test results show that the remote canopy image collection system can collect remote canopy image with lower cost and get leaf area index evaluation results with lower error.

canopy；leaf area index；hemispherical photography；super resolution

1671-0444 (2017)03-0400-07

2016-10-10

国家自然科学基金资助项目(11572084，71371046)；中央高校基本科研业务费专项资金资助项目(3142012051)；东华大学“励志计划”资助项目(16D21040)；廊坊市科学技术研究与发展计划资助项目(2016011034)

万雪芬(1979—)，女，江苏连云港人，讲师，硕士，研究方向为图像处理及物联网技术.E-mail：calmerd@ncist.edu.cn 杨 义(联系人)，男，副教授，E-mail：yiyang@dhu.edu.cn

TP 39

A