APP下载

空间频域成像在农产品品质检测中的应用现状与展望

2021-11-26孙志忠应义斌

农业工程学报 2021年15期
关键词:频域校正光学

王 忠,胡 栋,孙志忠,应义斌

空间频域成像在农产品品质检测中的应用现状与展望

王 忠1,胡 栋1※,孙志忠2,应义斌3,4

(1. 浙江农林大学光机电工程学院,杭州 311300;2. 浙江农林大学数学与计算机科学学院,杭州 311300;3. 浙江大学生物系统工程与食品科学学院,杭州 310058;4. 农业农村部农产品产地处理装备重点实验室,杭州 310058)

空间频域成像,作为一种新兴的光学成像技术,具备宽场非接触、成像深度辨析和有效信号增强等特点,能够提供与组织物理结构、化学成分相关的信息,被广泛应用于农产品组织光学特性表征和品质无损检测等领域。该文首先概述了空间频域成像技术的起源和发展,继而阐明了该技术的工作原理,包括光在生物组织中的传输理论与正向问题、测量与数据处理、逆向反演,然后描述了该技术的多种实施方式,如常规空间频域成像、多光谱空间频域成像、高光谱空间频域成像以及高频空间频域成像,并总结其在苹果、梨、桃等农产品组织光学特性表征和品质检测方面的应用现状,最后讨论了该技术面临的挑战,如测量双层/多层农产品组织光学特性时误差较大、测量深度局限于毫米级、缺乏标准化的光学参考样本、检测耗时较长等,以期为该技术在未来的研究提供参考。

农产品;光学特性;品质检测;空间频域成像;光传输

0 引 言

农产品的品质问题一直是公众关注的热点。近年来,根据农产品的不同品质特性,学者们开发了一系列基于光、声、电、磁的智能传感检测技术,如近红外光谱技术[1-3]、机器视觉技术[4-6]、高光谱成像技术[7-8]等。可见/近红外光谱技术因其快速、无损的特点,被广泛应用于农产品内部品质检测[9-11]。传统的可见/近红外光谱技术依靠化学计量学方法对信号(如反射光谱、透射光谱)与农产品品质指标(如硬度、可溶性固形物含量、成熟度)进行建模分析,但这种建模方法的具体过程不可见(俗称“黑箱”),无法对光在生物组织中的传输情况进行定量描述,不能将组织对光的吸收作用和散射作用进行有效区分,容易导致关键信息丢失,给预测模型的准确性、稳定性和通用性带来困难和挑战[12]。光学特性的准确测量与表征有助于理解光与农产品组织的互作机制,提供与物理结构和化学成分相关的信息,从而为农产品的品质检测提供理论依据。

光与组织的相互作用通常表现为吸收和多次散射,可分别用吸收系数(Absorption coefficient,μ)和约化散射系数(Reduced scattering coefficient,μ′)进行表征[12]。研究表明,吸收系数与组织化学成分(如水分、可溶性固形物含量等)相关,而约化散射系数与物理结构(如粒子大小、形状、分布密度等)关联紧密[13]。在众多的光学检测技术中,空间频域成像(Spatial-Frequency Domain Imaging, SFDI)得益于其宽场非接触、成像深度辨析和有效信号增强等优点[14],获得学术界和业界的青睐。该技术通过获取组织表面的反射信号得到检测对象在结构光照射下的图像,通过解调得到随频率变化的漫反射图像,结合相应光传输模型(如漫射近似理论、蒙特卡洛(Monte Carlo, MC)等),可获取吸收系数和约化散射系数的二维与三维分布图(平面+深度),丰富了组织空间信息,为表征组织的异质性和三维形貌重建提供了可能。近年来,空间频域成像技术被广泛应用于农产品组织光学特性表征[15]、品质无损检测[16-17]等领域。

因此,本文首先介绍了SFDI技术的起源及其在农业工程领域的发展情况,其次阐明了SFDI技术的工作原理,包括光在生物组织中的传输理论与正向问题、测量与数据处理、逆向反演,然后描述了SFDI的不同实施方式,总结了SFDI技术在农产品组织光学特性表征和品质检测方面的应用现状,最后讨论了SFDI技术未来发展趋势,以期为该技术的进一步理论研究和实际应用提供参考。

1 SFDI原理

浑浊介质的光学特性测量通常依赖于光子传播的时间或空间行为解析。当光源照射在组织表面时,组织对入射光做出响应(吸收、散射等),响应的大小、程度与组织的固有特性相关;通过获取随时间变化或随空间距离变化的响应信号,可得到其时间分辨光谱或空间分辨光谱,结合光传输模型和逆向算法,可反演得到组织光学特性。这便是常用光学特性测量技术(时间分辨与空间分辨[12,14,18])的工作原理。通过傅里叶变换,将此种实数域范畴的点扩散函数转换为频域范畴的调制传递函数,可分别实现频域与空间频域的光学特性测量。上述4种光学测量技术的关系如图1所示。空间频域成像,作为一种新兴的频域范畴光学测量技术,得益于其宽场非接触、深度辨析和信号增强等特点,近年来在组织光学和农产品无损检测领域受到越来越多的关注[14]。

早在1998年,Dognitz和Wagnieres首次提出空间频域的概念,通过在照明灯泡前加上一块有规则图案的玻璃来获得空间结构光,并使用CCD 相机对漫反射图案进行采集,将其应用于光传输信号分析,证明了该方法可实现浑浊介质光学特性宽场非接触测量[19]。21世纪以来,美国加利福尼亚大学的Cuccia课题组对空间频域进行深入研究,使用不均匀仿体验证了该技术的层析检测的可行性,并将其应用于生物组织的光学特性测量[20-21]。至此,空间频域成像技术得到了迅速发展并被广泛应用于生物医学领域,如皮肤[22]、手臂[23]、乳房[24]等组织的光学特性表征、相关生理指标的定量检测和疾病诊断。

虽然空间频域成像技术的理论方法和实用价值在生物医学领域得到了发展和验证,但是在农业工程领域的起步与研究相对滞后。2007年,Anderson等[16]首次尝试将空间频域成像技术应用于农业工程领域,通过分析比较正常苹果和损伤苹果组织的吸收系数和约化散射系数差异,实现苹果损伤无损检测。此后多年,鲜有空间频域成像技术在农业工程领域的研究报道。直到2015年,浙江大学的应义斌和美国农业部的Lu等重新开启了SFDI技术的研究[25-28];越来越多的科研工作者开始注意到空间频域成像技术的独特优势,并展开了一系列探索,包括农产品组织的光学特性表征及其品质检测[29]。近年来,随着SFDI技术的不断发展,国内农业工程领域也涌现出越来越多的科研团队,立足于SFDI开展相关研究工作,如浙江农林大学、浙江理工大学、江苏大学、南京农业大学、国家农业信息化工程技术研究中心等。同时,有关空间频域成像核心部件(结构光投影仪)的生产也趋向于商业化,除了美国Texas Instruments (TI)公司旗下的Digital Light Innovations(DLi)生产商以外,国内也已涌现出多家具备竞争实力的结构光投影仪开发商,如博众精工科技(BOZHON)、北京闻亭泰科等。

1.1 光传输理论与正向问题

1.1.1 扩散理论

光在生物组织中的传输情况,通常可以用基于能量守恒定律的辐射传输理论进行描述[27]。但是,该理论由6个未知变量的积分或微分方程构成,求解过程过于复杂,只能在特定的情况下才能求得解析解。农产品组织大多为高散射介质(μ′>>μ)[14],在这种情况下,辐射传输理论可以被简化为漫射近似方程。当平面结构化光源垂直入射到组织表面时,稳态情况下的漫射近似方程[29]可以表示为

针对均匀的、散射特性呈线性变化的半无限厚介质,通常可假设光源强度0随深度呈指数衰减,对边界施加部分流边界条件,可得到公式(1)的解析解,即组织表面漫反射率(f):

通过SFDI技术获取农产品组织的空间频域图像,采用数据处理算法(图像解调、系统响应校正、曲面校正等)得到组织的漫反射图像,该图像信息可直接用于农产品品质指标检测,如损伤、缺陷等;亦可结合逆向反演算法,如基于公式(2)的非线性拟合法、查表法等,得到组织吸收系数μ和约化散射系数′的分布图。需要指出的是,SFDI技术中的高频光源拥有相对较小的透射深度,低频光源则正好相反,这是因为生物组织通常为浑浊介质,其作用近似于低通滤波器,导致高频光源的能量在组织中快速衰减。如图2所示,在相同的光透射深度,低频光源强度要大于高频光源。因此,在采用SFDI技术进行光学特性表征或农产品检测过程中,要合理选择空间频率,充分利用其深度辨析和信号增强的特点,从而达到检测目标。

1.1.2 其他光传输模型

漫射近似理论是当前最为常用的光传输模型,但是该模型的准确实施基于两个重要的假设条件,即高散射介质(′>>μ)和空间频率的倒数需大于一倍平均光自由程(1/f>mfp′)(mean free path, mfp′为平均自由程),这限制了漫射近似模型的广泛应用。果蔬组织在近红外波段由于受到水分的强吸收影响,吸收特性往往接近甚至大于散射特性,此时漫射近似理论并不适用。此外,苹果组织在可见光波段的吸收系数和约化散射系数范围分别为0.01~0.05和0.5~2.0 mm-1[31],这就要求空间频率小于0.5 mm-1。

为了克服上述问题,学者们采用其他光传输模型与SFDI技术进行结合使用,如蒙特卡洛(Monte Carlo, MC)、离散坐标法等[32]。其中,MC方法得益于其操作简单、易于实现、模拟精度高、适用于复杂形态的样本和多层组织等特点,成为SFDI技术中的另一个研究热点。目前最为常用的MC模拟程序由Wang等开发和优化,通过两个子程序MCML和CONV的组合使用,可得到组织表面随距离变化的空间分辨漫反射率;对其进行一维零阶汉克尔变化,得到随频率变化的空间频域漫反射率[33]。为了解决MC模拟耗时长的问题,相关学者采用混合MC(MC与漫射近似理论相结合)、并行计算MC(多台电脑、多个处理器、基于图形处理单元的MC)等方法以提高模拟速度,并取得了不错的效果[34]。MC方法理论上不受样本形状、尺寸和固有特性的影响,且能得到漫反射率、辐射能流率、光透射深度等多个物理量,应用范围广泛。

1.2 测量与数据处理

1.2.1系统组成

空间频域成像系统主要由3个单元组成,分别是光照单元、光学成像单元和样本输送单元(图3a)。其中光照单元,生成并投射宽波段多频率结构光照明;光学成像单元,采集并保存样本图像和光谱信息;样本输送单元,调节样本位置,保证成像质量。在众多的组成零部件中,光源、投影设备和信号采集器是三大核心元器件,它们直接决定了结构光的投影质量、采集到的图谱信息质量以及试验效率。目前,最为常用的光源是宽波段卤钨灯和单波长LED或激光两大类,其中宽波段卤钨灯需借助波长选择器(如液晶可调谐滤波器、滤波片等)实现多波长图像获取(图3b)。投影设备可选用商业投影仪、数字微镜元件(Digital Micro-mirror Device, DMD)或由美国DLi公司生产的集成化数字投影仪(如型号为CEL5500-Fiber的数字投影仪,图3b和3d),通过与光源连接投射出多频率结构光。信号采集器通常为图像和光谱采集器,其中工业CCD相机性价比高,最为常用(图3e);EMCCD相机具有更高的光子效率、信噪比等性能,也被用于构建SFDI系统(图3b);高光谱可同时获取图谱信息,目前已研制高光谱SFDI系统。此外,美国加利福尼亚大学尔湾分校的Cuccia等在长期研究SFDI技术的基础上,创立了Modulim公司,推出两款基于SFDI技术的商业化产品,Reflect RS和Clarifi(图3f和图3g),目前也已应用于科学研究和生产实际,如组织生色团的空间分布、组织血氧浓度监测等。

结合图3a所示的SFDI系统结构示意图,简要说明系统的具体组成、布局及功能。SFDI系统主要包括光源、投影仪、相机、镜头、偏振片、波长选择器、计算机等几个部分。投影仪安装轴线与相机呈一定角度(一般小于15°)以保证图像的有效采集,通过计算机控制生成不同频率和不同相位的照明图案;在投影仪和相机镜头前端垂直安装线性偏振片以消除镜面反射;相机镜头前端的波长选择器用于切换波长。将不同频率和不同相位的稳态正弦图案传输到投影仪,并依次投射到样本表面,然后通过相机采集相应的漫反射图案,结合数据处理得到漫反射图像,根据试验目的选择不同的处理算法,进行农产品组织光学特性表征、品质无损检测等研究。

1.2.2 图像解调

图像解调是空间频域成像技术的关键步骤,目的在于获取样本在不同频率结构光照明下的漫反射率强度振幅包络线。在SFDI技术的使用过程中,可根据实际需要选择频率和相位数量,由此产生了3种常用的图像解调方法:三相位解调、单快照解调和螺旋相位解调。图4为3种解调方法的实施流程图。

Cuccia等[21]提出了完善的三相位解调方法,并将其应用于人体前臂组织的光学特性表征。在该方法中,通过公式(3)对3个等间距相位(如0、2π/3、3π/4)下的图像强度进行计算,可得到该频率下的漫反射率强度振幅包络线(图4a)。三相位解调方法的提出为漫反射图案的获取提供了一个良好的解决方案,但是由于该方法在实施过程中需要采集至少3个相位的反射图案,导致图案采集时间较长,降低了检测实时性。

式中AC(,f)为反射光子密度的振幅包络线,1(,f)、2(,f)和3(,f)为不同空间频率下测得的反射图像的光照强度,为空间位置。

为了减少反射图案的采集数量,提高采集效率,改进采集模式,Vervandier等[40]提出了单快照解调方法,并将其成功用于人体手掌光学特性表征。该技术的原理为:对采集到的反射图案进行逐行傅里叶变化,然后将全频谱在一个截止频率处分割成直流和交流频谱,最后通过傅里叶逆变换分别处理直流和交流频谱,得到漫反射率强度振幅包络线图像(图4b)。

单快照解调方法只使用一张反射图案进行解调,导致解调后的漫反射图案各行间的信息丢失,图案质量降低。为了解决这一问题,Nadeau等[41]改进了单快照解调方法,在傅里叶空间中引入一个螺旋相位函数,将一维希尔伯特变换扩展到二维空间,然后以二维正交变换解调条纹图像得到漫反射图像,称为螺旋相位解调(图4c),解调交流漫反射率见公式(4)。该方法的数据采集速度是传统三相位解调技术的2~3倍,但是解调精度相比于传统三相位有所下降。

式中(,)为漫反射系数,(,)为原始交流分量(Alternating component, AC)图像的漫反射强度,为虚数单位,FFT为快速傅里叶变换,(,)为傅里叶空间中的AC图像的漫反射强度,(,)为螺旋函数。其后,在螺旋相位解调的基础上,Lu等[42]提出了施密特正交(Gram-Schmidt Orthonormalization, GSO)解调方法。该方法首先利用傅里叶空间中的螺旋相位函数从两个相移图像中恢复直流分量,然后使用基于直流分量的施密特正交方法来获得漫反射图像。并将该方法应用于苹果损伤检测,并证明GSO解调可以达到与传统三相位解调方法相媲美的良好性能。

1.2.3 校正

校正是空间频域成像技术的另一个关键步骤,主要包括图像均匀性校正、系统响应校正和表面轮廓校正三部分,其中均匀性校正在图像解调之前,但考虑到内容的连贯性,此处将其与另两种校正方法结合阐述。

如图3a所示,为了保证结构光能覆盖整个样本,且信号采集设备能最大限度地采集到样本的反射信号,投影仪与相机通常呈一定角度布置,从而导致样本表面照明不均匀,通常表现为中心亮度高而四周亮度低。图像均匀性校正能解决该问题,通过以下公式[25]实现:

式中corrected为校正后的相对图像强度,为校正前的图像强度,dark为暗场图像强度,white为参比白板的图像强度。

受光学系统固有性能影响,解调后的样本图像需要进行系统响应校正,以减小系统误差。用一个已知光学特性的参考样本进行SFDI测量,解调后得到参考样本的漫反射率强度振幅包络线AC,ref(f),通过公式(2)正向求解得到参考样本的漫反射率ref(f),结合待测样本的漫反射率强度振幅包络线AC(f),求解组织表面漫反射率(f),采用以下公式实现系统响应校正:

在SFDI测量过程中,样本表面各个像素点到投影仪、相机之间的距离随着样本轮廓(高度、角度)的变化而变化,一般表现为中间小、四周大,对测得的空间频域漫反射率造成很大影响。因此,基于样本表面高度与表面角度对空间频域漫反射率进行表面轮廓校正,对于SFDI准确测量至关重要。相位测量轮廓术(Phase Measuring Profilometry, PMP)是一种常用的表面轮廓校正方法。该方法通过采集样本的漫反射图案,从中提取相位信息,根据系统的相位-高度关系获取被检测样本的三维轮廓信息。哈佛大学的Nguyen等[43]制作了一个三维校准仿体,通过测量该仿体的信息实现表面高度和角度的校正。浙江大学He等[44]用相位测量轮廓法校正光学特性反演误差,并使用一系列已知光学特性参数的参考样本对校正效果进行了评估。Gioux等[45]提出了一种用于SFDI校正的Lambertian校正方法,该方法在图像解调后的SFDI数据中引入了余弦除数项,以增大倾斜角度下的表面漫反射率值,通过该方法可以减轻表面角度达40°角的边缘成像伪影,改善了对组织模拟模型和人体手部的光学特性数据提取。波士顿大学的Zhao等[46]在此基础上引入了Minnaert校正方法,通过经验性地考虑物体间的漫反射和其他可能导致漫反射率值不准确的因素,在Lambertian校正的基础上增加了一个额外的修正因子,从而提出了一种经验方法,可用于校正高达75°角的表面轮廓。最近,斯特拉斯堡大学的Aguénounon等[47]提出了一种基于深度学习的方法,在对复杂非平面样品进行光学特性单快照成像时实现实时轮廓校正。

1.3 逆向反演

经过解调和校正后的漫反射图像,可直接用于分析正向问题,比如通过比较农产品的漫反射交流图像,可实现皮下隐性损伤的可视化识别。但是,针对逆向问题,即组织光学特性表征,需进一步对漫反射图像进行处理。目前常用的SFDI逆向问题求解算法主要包括拟合法、查表法、机器学习与深度学习三大类(图5)。

拟合法的实施基于漫射近似理论(公式2),通常使用偏最小二乘对其进行非线性拟合,得到吸收系数和约化散射系数(图5a)。Cuccia等[21]首次采用拟合法反演人体前臂组织的光学特性参数;此后,该方法在光学特性反演的研究中得到了广泛应用。但是,拟合法过度依赖空间频率,如何选择合适的频率区间(大小和数量)是提高光学特性反演精度的关键。据此,Hu等[49-50]对拟合过程中的频率区间进行优化选择,并针对单层组织和双层组织,分别提出了“两步法”和“逐步法”,有效提高了单/双层组织光学特性的反演精度。但是,由于“两步法”和“逐步法”需要进行二次拟合或分步多次拟合,增加了时间成本。

如上文所述,漫射近似理论需要满足特定条件才能成立,如约化散射系数要远大于吸收系数,因此拟合法在反演高吸收介质的光学特性时会失效。为了解决这一问题,学者们提出了基于蒙特卡洛的查表法。蒙特卡洛是一种统计随机抽样的数值方法,适用范围更加广泛。如图5b所示,首先通过模拟计算大量的漫反射率值和光学特性参数的对应关系,建立查找表;然后根据试验中得到的漫反射率值进行查表,对光学特性进行初始赋值,根据所建立的查找表进行三次样条插值得到漫反射率值;最后使用相应的非线性寻优算法得到最接近的光学特性参数值[21]。该方法在计算速度上有了很大的提升,关键是克服了约化散射系数必须要远大于吸收系数的困难。但是,在建立查找表的过程中也存在一些问题,例如查找表建立效率低下、查找表精度不够高以及查表计算量大。

近年来,得益于其强大的非线性学习能力,机器学习与深度学习为组织光学特性表征提供了一种新的解决方案。机器学习与深度学习算法能够用于处理光学特性与检测信号之间的非线性函数关系,逆向反演计算高效,训练阶段速度更快,且反演精度不亚于拟合法和查表法。He等[51]结合最小二乘支持向量机与蒙特卡洛仿真建立前向模型用于反演梨的光学特性。Panigrahi等[52]则通过蒙特卡洛仿真得到的数据训练随机森林回归模型,并使用该模型反演人手掌的光学特性。Naglic等[53]使用蒙特卡洛仿真数据,成功训练了人工神经网络前向模型。

2 SFDI实施方式

2.1 常规SFDI

常规SFDI系统组成较为简单,光源通常为白光(如卤钨灯),相机直接采集样本的空间频域图像,通过图像解调、校正等步骤得到样本漫反射图像。选择不同的空间频率,可获得不同深度的组织信息。常规SFDI技术的典型应用为苹果[54]、桃子[55]等水果的表面缺陷识别。但是,该系统缺乏波长选择元件,无法获取光谱信息,不能确定特征波长,因此检测效果会受到影响。

2.2 多光谱SFDI

在常规SFDI系统的基础上,增加多个波长信息,即为多光谱SFDI系统。常用的多光谱SFDI系统主要分为两大类,一种是在相机前端增加波长选择元件(如图3a所示),如滤波片和液晶可调谐滤波器,使得反射信号在被相机接收之前,具备波长信息,从而实现多波长采集[54];另一种是采用单波长光源,如多通道LED或多通道激光器,促使投影仪投射出不同波长的照明[56]。多光谱SFDI能同时采集图像和光谱信息,但是需要在前期的预试验中进行特征波长选择。

此外,如果采用分光光度计取代常规SFDI系统中的信号采集元件,只采集样本一个像素点的光强信号,那么该系统称之为点光谱SFDI[57]。通过后续的图像解调和校正等步骤,点光谱SFDI技术可用于反演该像素点在全波段下的吸收系数和约化散射系数。

2.3 高光谱SFDI

高光谱SFDI是一种典型的光谱成像技术,它同时涵盖了图像和光谱信息[58]。与多光谱SFDI相比,高光谱SFDI所覆盖的波长信息更多,分辨率更高,波长几乎是连续的,因此无需通过预试验确定特征波长,可直接在后期数据处理时过程中进行分析与选择。高光谱SFDI系统采用专业高光谱相机进行信号采集,波长范围依赖于光谱仪,通常为可见光和短波近红外波段。与传统的高光谱成像系统类似,高光谱SFDI获得的是超立方体图像,具有三维信息,分别为二维的空间信息和一维的光谱信息。点扫描、线扫描和面扫描是常用的三种超立方体图像获取方式。因为高光谱SFDI所获取的数据量大,通常带有冗余信息,所以在后期的图像处理和数据分析方面会带来更大的挑战。

值得一提的是,高光谱SFDI和多光谱SFDI均含有丰富的图像和光谱信息。已有的研究表明[59],光谱信息通常与生物组织的内部特性相关,如可溶性固形物含量、酸度、内部缺陷等。因此,在上述两种SFDI实施方式下,研究者能利用SFDI技术的深度辨析和信号增强特点,实现农产品光学特性测量和皮下隐性损伤检测,在利用光谱信息实现农产品内部品质的无损检测方面潜力巨大。

2.4 其他方式

除了上述常用的3种SFDI实施方式之外,SFDI还有望与一些其他先进技术相结合,比如荧光成像[60]、散斑成像[61]、计算机层析成像光谱[62]等。荧光成像广泛应用于捕获物体在高能光激发下的低能量发射图像;高散射介质会减弱荧光信号的分辨率,而SFDI技术中的高频结构光具备更高的成像分辨率,两者结合可以更好地发挥各自技术优势。散斑成像需要的空间频率比SFDI高,因此两种技术可以互相弥补。散斑SFDI系统通常需要一个空间相干光源,根据散斑信号的空间或时间变化对其进行独立分析。

高频空间频域成像(High Spatial-Frequency Domain Imaging, HSFDI)是SFDI技术的另一种应用形式[63]。与传统的SFDI技术不同,HSFDI采用高频率的空间调制光源(>1 mm-1),利用SFDI技术频率越高成像分辨率越高的特点,在解析超微组织结构特征方面具有无可替代的优势[63]。HSFDI属于次(亚)扩散光成像范畴,其光传输模型不受空间频率与平均光自由程关系的约束,通过定量测量光散射相函数(如后向散射概率、光扩散长度等),实现微观组织结构的高分辨率表征。此外,实时成像是SFDI技术未来发展的必经阶段。从本文内容可知,SFDI的硬件组成、软件控制、处理算法等方面均有较大的提升空间。虽然学者们在多个方面对SFDI进行了优化和提高,但是未来面向SFDI实时成像的待开展工作仍有很多,如软硬件之间的同步与集成、光学特性反演效率的提高、皮下信号的特征增强等。

3 SFDI应用现状

3.1 组织光学特性表征

组织光学特性的准确测量与表征,有助于深入研究并分析光在农产品组织中的传输规律,了解组织中光的分布、穿透深度等状态,解析传感技术的检测原理,从而根据不同检测对象设计更有效的检测装置(如光源强度、检测器的大小及位置等),提高检测精度与检测稳定性。得益于其宽场非接触、成像深度辨析等优点,SFDI在组织光学特性表征方面具有独特优势,可重建组织光学特性的二维和三维分布图,因此被广泛用于苹果[15]、梨[44]、芒果[64]等农产品组织的光学特性表征。

Anderson等[16]用SFDI技术测量了正常苹果和损伤苹果组织的光学特性,结果表明损伤苹果组织的约化散射系数大于正常苹果。浙江大学的Hu等[15]采用商业投影仪、工业相机、滤波片等构建了农业工程领域的首套SFDI系统,并采用该系统结合三相位解调和非线性拟合等数据处理方法,测得苹果样本在460、527和630 nm波长下的吸收系数和约化散射系数二维分布图。但是,该研究需要对苹果样本进行切片处理,属于有损检测,无法满足无损检测要求;而且没有考虑苹果表面曲率造成的高度差、角度差等对组织光学特性表征的影响。为了解决这一问题,团队的He等[44]提出用相位测量轮廓法对曲面进行校正。通过使用一系列光学特性已知的自制半球形均质固体仿生样本,评估了相位测量轮廓法的校正效果,并通过测量梨组织的吸收系数和约化散射系数,证明了该校正方法能提高光学特性参数反演精度。

空间频率是SFDI技术的关键参数,其大小和个数直接决定了SFDI表征组织光学特性的性能。针对频率区间对光学特性表征的影响问题,Hu等[49-50]提出了“两步法”和“逐步法”,并通过蒙特卡洛模拟对优化结果进行验证;采用“逐步法”结合优化后的空间频率对多种水果(苹果、芒果、猕猴桃)的果皮和果肉组织光学特性进行表征(如图6所示)。结果表明频率优化能提高光学特性参数反演精度,特别是对于果肉组织(次层)吸收系数,反演精度的提高效果显著。但是,该方法需要多次反演并进行反馈调整,因此增加了数据处理时间;同时三相位解调算法虽然精度较高,但也限制了SFDI技术表征光学特性的实时性。据此,He等[65]提出采用单拍技术(只采集1幅图像),结合人工神经网络,对组织光学特性进行反演计算。结果表明:单拍技术与传统三相位解调算法计算得到的反射值之间的决定系数和均方根误差分别为0.984和0.025,从而验证了单拍解调算法的可行性。为了克服漫射近似理论的局限性,He等[51]采用蒙特卡洛模拟作为光传输模型,结合最小二乘支持向量机算法,建立光学特性与反射图像的关联模型,从而实现组织光学特性的准确预测。

在SFDI技术表征组织光学特性的理论分析方面,Hu等[66]比较了有限元、漫射近似理论和蒙特卡洛三种方法在模拟单层浑浊介质中的结构光传输情况,同时明确了基于漫射近似理论的SFDI技术表征光学特性的约束条件,即约化散射系数与吸收系数之比(′/μ)需大于或等于10,全衰减系数与空间频率之比(μ/f)需大于或等于3。最近,该团队通过蒙特卡洛模拟分析了光传输模型和逆向算法对表征双层组织光学特性的影响,比较了不同拟合方法的光学特性反演能力(精度、效率),从理论上验证了“逐步法”在表征双层组织光学特性方面的优越性[67]。

表1总结了采用空间频域成像技术进行农产品组织光学特性测量与表征的研究进展。从表1可以看出,目前所涉及的农产品主要包括苹果、梨、猕猴桃、芒果和牛奶,检测波长均在1 000 nm以内,且可见光波段居多。传统的三相位解调和基于非线性拟合的逆向求解算法虽然存在效率偏低的问题,但因其易于实现,且具备较高精度,依然是目前最为常用的数据处理方法。受农产品品种、检测波长范围、检测位置(果皮、果肉)、数据处理方法(三相位、单快照、非线性拟合、机器学习)等因素的影响,同一种农产品组织的光学特性测量结果差异较大。未来研究有望扩大检测对象和检测波长范围(如近红外),融合机器学习和深度学习的快速学习适应特点,将空间频域成像技术应用于更多农产品的组织光学特性表征。

表1 基于空间频域成像的农产品组织光学特性表征研究进展

注:表1中有关梨的研究,重构了光学特性二维分布图,未指出光学特性具体数值;GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. 下同。

Note: For the research on pears in Table 1, reconstructed the two-dimensional mappings of optical properties without specifying the values; GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. Some as belaw.

3.2 果蔬品质检测

SFDI技术在果蔬品质检测领域的典型应用为苹果早期损伤识别。苹果损伤大多由收获、运输和贮藏过程中的机械碰撞引起,在碰撞初期多发生于下表皮,外观与正常苹果基本无异,属于“隐性缺陷”,人工拣剔易造成误判和漏判现象。随着时间的推移,损伤组织恶化扩散,最终导致苹果个体的腐烂变质,造成巨大的经济损失和潜在的食用安全威胁。传统的光学检测技术采用均匀照明模式,只能获取表皮以上的肉眼可见信息,对于表皮以下的早期损伤缺乏检测能力。SFDI技术采用结构光照明模式,具有深度辨析和信号增强特点。通过优选空间频率可实现光透射深度的动态调节,从而获取不同深度的组织信息(图2),为更好地检测苹果皮下早期损伤提供了可能。

基于SFDI技术的上述特色优势,学者们开展了一系列苹果等农产品早期损伤的检测研究。美国农业部的Lu等[27-28,69]构建了SFDI系统,利用SFDI技术的深度辨析特点,选择合适的空间频率实现了苹果皮下损伤的无损检测。如图7所示,解调后Gala苹果和Golden Delicious苹果的直流分量(Direct component, DC)图像无法识别苹果损伤,而AC图像可以对损伤特征进行增强,在频率0.08、0.10和0.15 mm-1下可以清晰显示损伤特征。然而,该研究中所采用的传统三相位解调算法耗时长、效率低,降低了SFDI的实时性。为了解决该问题,该团队提出了基于螺旋相位的解调方法,将三相位图像缩减为两相位,有效提高了图像采集和数据处理效率[69]。同时,研究发现交流分量与直流分量的比率图像(AC/DC)能对苹果皮下损伤特征进一步增强;相较于单纯的AC图像,比率图像能有效增强损伤特征与非损伤特征的对比度,从而提高损伤检测精度。在螺旋相位解调的基础上,Lu等[42]提出了施密特正交解调方法,并将其用于苹果损伤检测,发现其效果不逊于螺旋相位解调。

出于简化问题的考虑,传统的SFDI技术通常采用强度呈一维正弦变化的结构光照明。为了探索复合模式图案对苹果损伤检测的影响,Lu等[54]开展了基于二维正弦变化结构光照明的试验研究,发现栅格复合图案的性能优于边缘复合图案。同时,该团队在原SFDI系统的基础上引入液晶可调谐滤波器[54],用于快速、准确、自动地切换波长,开发了多光谱SFDI系统;通过主成分分析等方法探索苹果皮下损伤检测的特征波长,结果表明710~830 nm之间的7个波长(710、730、750、770、790、810、830 nm)更适合用于苹果皮下损伤检测。此外,Lu等[70]探索了一种用于图像快速分割的自动阈值方法,分别测试了九种阈值方法的分割效果,并将其用于苹果表面的三维重建,结果表明利用相位分析技术重建苹果的三维形状可区分苹果表面凹陷(茎或花萼区域)特征与损伤特征。

除了皮下损伤检测,SFDI技术还被应用于苹果晒斑、苦痘病、褐变等缺陷检测。Lu等[71]提出了一种基于二维经验模态分解的图像增强方法,通过图像重建隔离并消除渐晕和噪声等图像伪影,极大地增强了苹果的缺陷特征。同时,将机器学习与SFDI技术相结合,以增强苹果表面和内部缺陷检测性能[72]。结果表明DC图像、AC图像和比率图像(AC/DC)的结合能够获得比单一图像更好的检测精度,基于卷积神经网络的苹果缺陷检测准确率达到了98%。最近,该团队进一步探索了SFDI技术检测水果缺陷的性能与图像对比度、图像分辨率和光穿透深度之间的关系[73]。结果表明AC图像具有更好的图像对比度、图像分辨率和深度辨析能力,且深度辨析能力随着空间频率的增加而减小,而DC图像虽然具有更深的穿透深度,但是深度唯一,不具备深度辨析能力;利用AC图像进行苹果缺陷检测的性能与缺陷类型、苹果表面形态和空间频率等因素密切相关,为苹果缺陷检测奠定了理论基础。

表2 基于空间频域成像的果蔬品质检测研究进展

注:若频率超过5个,只列出频率范围。

Note: If the frequency exceeds 5, only the frequency range is listed.

此外,SFDI技术也可用于桃子腐烂、黄瓜冻害等农产品品质检测。Sun等[55]通过分水岭算法、偏最小二乘判别分析和卷积神经网络三种方法对SFDI数据进行分析处理,发现SFDI技术在检测非可见疾病感染症状的早期腐烂桃子方面具有显著效果,且基于AC图像的卷积神经网络的检测性能最优。Lu等[17]提出一种将SFDI和荧光图像晕斑自动校正相结合的叶绿素荧光成像方法,以增强黄瓜冻害特征检测。结果表明,结构光照明下的荧光图像清晰度和对比度均优于均匀光照明,黄瓜冻害检测的效果更好。

表2总结了采用空间频域成像技术进行果蔬品质检测的研究进展。与组织光学特性表征的应用类似,主要包括苹果、梨、黄瓜和桃子,检测波长集中在500~1 000 nm;除了传统的三相位解调,螺旋相位解调也得到了较为广泛的应用,这是因为虽然该方法损失了部分图像信息,但是大大缩减了试验时间,提高了数据处理效率。针对不同的品质指标(损伤、缺陷、褐变、腐烂等),选用的空间频率略有差异;但总体而言,空间频率应小于0.3 mm-1,否则光的透射深度过小,不利于皮下特征的获取,从而影响检测效果。研究表明[29],空间频率与光透射深度息息相关,进而影响组织光学特性参数的反演,特别是双层或多层组织,这种影响尤为明显。在果蔬品质检测中,空间频域成像技术多用于表皮和皮下特征(如损伤)检测,要求所选频率不宜过大,否则将影响特征获取。然而,通过试验确定适用于大多数果蔬检测的频率,挑战巨大。因为果蔬组织过于复杂,且性状各异,无法用统一标准去衡量,比如果皮厚度的差异、品质指标的影响等,均会给频率选择带来困难。目前而言,较好的办法是通过预试验确定适用于本次试验(检测对象、检测目的)的最佳频率,进而开展接下来的工作。

4 挑战与未来发展趋势

在过去的10多年中,SFDI作为一种新兴的光学成像技术,被广泛应用于组织光学特性表征、农产品品质检测等领域,并发表了大量的研究成果。然而,这些应用主要集中在实验室研究阶段,离实际应用仍有一定距离,这主要是因为该技术在理论、算法、系统等方面仍然存在问题和挑战。

第一,基于漫射近似理论的SFDI技术在表征强吸收组织的光学特性时,误差较大。漫射近似理论是一个近似模型,虽然易于使用,但是精度不高;且仅适用于高散射介质(′>>μ),对频率的大小有所限制。因此,当农产品组织在某些波长由于水分或发色团(如叶绿素、类胡萝卜素、花青素等)而具有较强的吸收时,使用基于漫射近似理论的SFDI技术进行光学特性表征往往会造成较大的误差,甚至会导致模型不适用。为了提高模型的精度和适用性,未来需要在综合考虑的基础上,开发更为先进的光传输模型。如采用高阶近似(P3近似、P5近似等)时,需要考虑阶数和计算复杂度与检测精度之间的权衡;采用蒙特卡洛模型时,要求样本为半无限介质且光子数量足够多(一般大于3 cm,光子数量超过100万个);采用深度学习作为光传输模型时,要求训练集的光学特性范围能够涵盖待测样本的光学特性范围,此外,需要注意模型的过拟合等问题。

第二,SFDI技术在双层/多层农产品组织光学特性表征方面面临巨大挑战,尤其是果皮较厚的农产品。农产品多为不均匀的生物组织,表现为结构多层、形状不规则等,这些因素给基于SFDI技术的光学特性表征造成了更大的困难。虽然Hu等[49-50]提出使用“分步法”分别测量苹果、猕猴桃等薄皮水果果皮和果肉组织的光学特性,但是双层甚至多层农产品组织的光学特性表征仍然是一个巨大挑战,因为它的模型更复杂,未知变量也更多。此外,SFDI技术的深度辨析能力局限于毫米级(5 mm左右),增加成像深度往往会减小成像分辨率和信噪比。对于果皮较厚的农产品(如柚子、橙子等),这个问题就更加突出。因此,开发更为全面的多层光传输模型和提高SFDI技术的深度辨析能力,是未来基于SFDI技术的光学特性表征研究要解决的另一个难题。

第三,SFDI技术在表征组织光学特性的过程中,需要使用光学特性已知的参考样本进行系统响应校正(公式(6),因此参考样本的选择就尤为重要。参考样本的光学特性测量不准确,或与待测样本的光学特性范围相差较大,均会造成较大的测量误差或使校正失去意义。此外,目前没有标准化的光学系统可用于参考样本的光学特性测量,这意味着即使是光学特性的参考值也存在大小不等的误差,给准确测量带来了更大的挑战。未来研究亟待开发一套光学特性测量的标准系统,并制定标准化操作流程,使光学特性的测量有据可依。

第四,现有SFDI技术在进行光学特性表征或农产品品质检测时耗时较长,无法满足实时检测要求。虽然相关学者做了很多研究以提高试验效率,特别是针对解调算法,先后提出了螺旋相位解调、单快照解调等,但是面对大量的波长和图像信息,实时的信息采集和数据处理仍是一个难题。因此,未来研究需更多关注软硬件之间的集成,使光源、投影、相机、波长切换元件等器件之间实现同步,同时优化数据处理算法(如融合深度学习和大数据),逐步实现SFDI的实时应用。

此外,随着SFDI技术在农产品品质无损检测领域的深入研究,更加小型、便捷的手持SFDI设备[77]也越来越多,这就需要在保证系统检测精度的前提下,减小系统整体体积。

5 结 论

空间频域成像(Spatial-Frequency Domain Imaging, SFDI)技术作为一种新兴的光学成像技术,具有宽场非接触、成像深度辨析和有效信号增强等优点,能够重建组织光学特性的二维及三维分布图,在描述组织异质性方面优势显著;结合图像分析、化学计量学、深度学习等方法,SFDI技术可用于农产品品质无损检测。本文详细介绍了SFDI技术的工作原理、系统组成及数据处理方法,总结了SFDI技术在组织光学特性表征和农产品品质检测领域的应用现状,并对未来的发展趋势进行了展望。目前,SFDI技术相关研究已经在检测速度、准确性等多个方面展开,涉及苹果、梨、桃子、黄瓜等多种农产品的损伤、缺陷、腐烂检测,未来将会拓展到更多种类的农产品以及更多类型的品质指标;同时,需进一步开发理论模型、完善系统集成、优化数据处理算法,提高SFDI技术的实时检测性能。

[1] Zhang L, Xu H, Gu M. Use of signal to noise ratio and area change rate of spectra to evaluate the visible/NIR spectral system for fruit internal quality detection[J]. Journal of Food Engineering, 2014, 139: 19-23.

[2] Huang Y, Lu R, Chen K. Detection of internal defect of apples by a multichannel Vis/NIR spectroscopic system[J]. Postharvest Biology and Technology, 2020, 161: 111065.

[3] 李鸿强,孙红,李民赞. 基于可见/短波近红外光谱检测结球甘蓝维生素C含量[J]. 农业工程学报,2018,34(8):269-275.

Li Hongqiang, Sun Hong, Li Minzan. Determination of vitamin C content in cabbage by visible/short-wave near-infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 269-275. (in Chinese with English abstract)

[4] 李龙,彭彦昆,李永玉. 苹果内外品质在线无损检测分级系统设计与试验[J]. 农业工程学报,2018,34(9):267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment of online nondestructive testing and classification system for apple internal and external quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[5] 张思雨,张秋菊,李可. 采用机器视觉与自适应卷积神经网络检测花生仁品质[J]. 农业工程学报,2020,36(4):269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Machine vision and adaptive convolutional neural network for detecting peanut kernel quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[6] 党满意,孟庆魁,谷芳,等. 基于机器视觉的马铃薯晚疫病快速识别[J]. 农业工程学报,2020,36(2):193-200.

Dang Manyi, Meng Qingkui, Gu Fang, et al. Rapid identification of potato late blight disease based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 193-200. (in Chinese with English abstract)

[7] Yang B, Gao Y, Yan Q, et al. Estimation method of soluble solid content in peach based on deep features of hyperspectral imagery[J]. Sensors (Basel), 2020, 20(18): 1-12.

[8] Mo C, Kim G, Kim M S, et al. On-line fresh-cut lettuce quality measurement system using hyperspectral imaging[J]. Biosystems Engineering, 2017, 156: 38-50.

[9] 介邓飞,陈猛,谢丽娟,等. 适宜西瓜检测部位提高近红外光谱糖度预测模型精度[J]. 农业工程学报,2014,30(9):229-234.

Jie Dengfei, Chen Meng, Xie Lijuan, et al. Suitable watermelon detection parts to improve the accuracy of near-infrared spectroscopy sugar content prediction model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(9): 229-234. (in Chinese with English abstract)

[10] Li J, Zhang H, Zhan B, et al. Determination of SSC in pears by establishing the multi-cultivar models based on visible-NIR spectroscopy[J]. Infrared Physics & Technology, 2019, 102: 103066.

[11] 张海辉,陈克涛,苏东,等. 基于特征光谱的苹果霉心病无损检测设备设计[J]. 农业工程学报,2016,32(18):255-262.

Zhang Haihui, Chen Ketao, Su Dong, et al. A novel nondestructive detection method for maleophores[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)

[12] Hu D, Fu X, Wang A, et al. Measurement methods for optical absorption and scattering properties of fruits and vegetables[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2015, 58(5): 1387-1401.

[13] Lu R. Light Scattering Technology for Food Property, Quality and Safety Assessment[M]. 1st Edition ed. Boca Raton, Florida: CRC Press, 2016.

[14] Lu R, Beers R V, Saeys W, et al. Measurement of optical properties of fruits and vegetables: A review[J]. Postharvest Biology and Technology, 2020, 159: 111003.

[15] Hu D, Fu X, He X, et al. Noncontact and wide-field characterization of the absorption and scattering properties of apple fruit using spatial-frequency domain imaging[J]. Scientific Reports, 2016, 6: 37920.

[16] Anderson E R, Cuccia D J, Durkin A J. Detection of bruises on golden delicious apples using spatial-frequency-domain imaging[J]. Advanced Biomedical and Clinical Diagnostic Systems V, 2007, 6430: 64301O-1-11.

[17] Lu Y, Lu R. Enhancing chlorophyll fluorescence imaging under structured illumination with automatic vignetting correction for detection of chilling injury in cucumbers[J]. Computers and Electronics in Agriculture, 2020, 168: 105145.

[18] Vanoli M, Van Beers R, Sadar N, et al. Time-and spatially-resolved spectroscopy to determine the bulk optical properties of ‘Braeburn’ apples after ripening in shelf life[J]. Postharvest Biology and Technology, 2020, 168: 111233.

[19] Dognitz N, Wagnieres G. Determination of tissue optical properties by steady-state spatial frequency-domain reflectometry[J]. Lasers in Medical Science, 1998, 13: 55-65.

[20] Cuccia D J, Bevilacqua F, Durkin A J, et al. Modulated imaging: Quantitative analysis and tomography of turbid media in the spatial-frequency domain[J]. Optics Letters, 2005, 30(11): 1354-1356.

[21] Cuccia D J, Bevilacqua F, Durkin A J, et al. Quantitation and mapping of tissue optical properties using modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(2): 024012.

[22] Travers B J, Poon C, Rohrbach J D, et al. Noninvasive mesoscopic imaging of actinic skin damage using spatial frequency domain imaging[J]. Biomedical Optics Express, 2017, 8(6): 3045-3052.

[23] Baruch D, Abookasis D. Multimodal optical setup based on spectrometer and cameras combination for biological tissue characterization with spatially modulated illumination[J]. Journal of Biomedical Optics, 2017, 22(4): 46007.

[24] Laughney A M, Krishnaswamy V, Rizzo E J, et al. Spectral discrimination of breast pathologies in situ using spatial frequency domain imaging [J]. Breast Cancer Research, 2013, 15: R61.

[25] 胡栋. 空间频域成像技术测量单双层农产品组织光学特性的研究[D]. 杭州:浙江大学,2018.

Hu Dong. Research on Measuring Optical Properties of Single and Double Layers of Agricultural Products with Spatial Frequency Domain Imaging Technology[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)

[26] 何学明. 空间频域成像技术与梨光学特性参数检测研究[D]. 杭州:浙江大学,2019.

He Xueming. Research on Spatial Frequency Domain Imaging Technology and Pear Optical Characteristic Parameters Detection[D]. Hangzhou: Zhejiang University, 2019. (in Chinese with English abstract)

[27] Lu Y, Li R, Lu R. Detection of fresh bruises in apples by structured-illumination reflectance imaging[C]//SPIE commercial+ scientific sensing and Imaging: Baltimore, 2016.

[28] Lu Y, Li R, Lu R. Structured-illumination reflectance imaging (SIRI) for enhanced detection of fresh bruises in apples[J]. Postharvest Biology and Technology, 2016, 117: 89-93.

[29] Hu D, Lu R, Ying Y. Spatial-frequency domain imaging coupled with frequency optimization for estimating optical properties of two-layered food and agricultural products[J]. Journal of Food Engineering, 2020, 277: 109909.

[30] Li R. Development of a Structured Illumination Reflectance Imaging System for Enhanced Detection of Subsurface and Surface Defects in Apple Fruit[D]. East Lansing: Michigan State University, 2016.

[31] Zhang S, Wu X, Zhang S, et al. An effective method to inspect and classify the bruising degree of apples based on the optical properties[J]. Postharvest Biology and Technology, 2017, 127: 44-52.

[32] Kim A D. Transport theory for light propagation in biological tissue[J]. Journal of the Optical Society of America A, 2004, 21(5): 820-827.

[33] Wang L, Jacques L S, Zheng L. MCML-Monte Carlo modeling of light transport in multi-layered tissues[J]. Computer Methods and Programs in Biomedicine, 1995, 47(2): 131-146.

[34] Hu D, Sun T, Yao L, et al. Monte Carlo: A flexible and accurate technique for modeling light transport in food and agricultural products[J]. Trends in Food Science & Technology, 2020, 102: 280-290.

[35] Lu Y, Lu R. Structured-illumination reflectance imaging coupled with phase analysis techniques for surface profiling of apples[J]. Journal of Food Engineering, 2018, 232: 11-20.

[36] Erfanzadeh M, Nandy S, Kumavor P D, et al. Low-cost compact multispectral spatial frequency domain imaging prototype for tissue characterization[J]. Biomedical Optics Express, 2018, 9(11): 5503-5510.

[37] Angulo-Rodriguez L, Badawy Y, Leblond F. Development and validation of phase-shifting profilometry using a hyperspectral spatial frequency domain imaging system integrated with a neurosurgical microscope[J]. Journal Bioengineering & Biomedical Science, 2019, 9(1): 1000257.

[38] Wirth D J, Sibai M, Wilson B C, et al. First experience with spatial frequency domain imaging and red-light excitation of protoporphyrin IX fluorescence during tumor resection[J]. Biomed Optics Express, 2020, 11(8): 4306-4315.

[39] Modulim. Spatial frequency domain imaging [EB/OL]. [2021-08-13]. https://modulim.com/technology/sfdi/.

[40] Vervandier J, Gioux S. Single snapshot imaging of optical properties[J]. Biomed Optics Express, 2013, 4(12): 2938-2944.

[41] Nadeau K P, Durkin A J, Tromberg B J. Advanced demodulation technique for the extraction of tissue optical properties and structural orientation contrast in the spatial frequency domain[J]. Journal of Biomedical Optics, 2014, 19(5): 056013.

[42] Lu Y, Li R, Lu R. Gram-Schmidt orthonormalization for retrieval of amplitude images under sinusoidal patterns of illumination[J]. Applied Optics, 2016, 55(25): 6866-6873.

[43] Nguyen T T A, Le H N D, Vo M, et al. Three-dimensional phantoms for curvature correction in spatial frequency domain imaging[J]. Biomed Optics Express, 2012, 3(6): 1200-1214.

[44] He X, Fu X, Rao X, et al. Nondestructive determination of optical properties of a pear using spatial frequency domain imaging combined with phase-measuring profilometry[J]. Applied Optics, 2017, 56(29): 8207-8215.

[45] Gioux S, Mazhar A, Cuccia D J, et al. Three-dimensional surface profile intensity correction for spatially modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(3): 034045.

[46] Zhao Y, Tabassum S, Piracha S, et al. Angle correction for small animal tumor imaging with spatial frequency domain imaging (SFDI)[J]. Biomed Opt Express, 2016, 7(6): 2373-2384.

[47] Aguénounon E, Smith J T, Al-Taher M, et al. Real-time, wide-field and high-quality single snapshot imaging of optical properties with profile correction using deep learning[J]. Biomed Opt Express, 2020, 11(10): 5701-5716.

[48] Zhao Y, Deng Y, Bao F, et al. Deep learning model for ultrafast multifrequency optical property extractions for spatial frequency domain imaging[J]. Optics Letters, 2018, 43(22): 5669-5672.

[49] Hu D, Lu R, Ying Y. A two-step parameter optimization algorithm for improving estimation of optical properties using spatial frequency domain imaging[J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2018, 207: 32-40.

[50] Hu D, Lu R, Ying Y, et al. A stepwise method for estimating optical properties of two-layer turbid media from spatial-frequency domain reflectance[J]. Optics Express, 2019, 27(2): 1124-1141.

[51] He X, Jiang X, Fu X, et al. Least squares support vector machine regression combined with Monte Carlo simulation based on the spatial frequency domain imaging for the detection of optical properties of pear[J]. Postharvest Biology and Technology, 2018, 145: 1-9.

[52] Panigrahi S, Gioux S. Machine learning approach for rapid and accurate estimation of optical properties using spatial frequency domain imaging [J]. Journal of Biomedical Optics, 2018, 24(7): 1-6.

[53] Naglic P, Zelinskyi Y, Likar B, et al. From Monte Carlo simulations to efficient estimation of optical properties for spatial frequency domain imaging[J]. Molecular Guided Surgery: Molecules, Devices, and Applications V, 2019, 10862: 1086209.

[54] Lu Y, Lu R. Development of a multispectral structured illumination reflectance imaging (SIRI) system and its application to bruise detection of apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2017, 60(4): 1379-1389.

[55] Sun Y, Lu R, Lu Y, et al. Detection of early decay in peaches by structured-illumination reflectance imaging[J]. Postharvest Biology and Technology, 2019, 151: 68-78.

[56] Lin A J, Ponticorvo A, Konecky S D, et al. Visible spatial frequency domain imaging with a digital light micro projector[J]. Journal of Biomedical Optics, 2013, 18(9): 096007.

[57] Saager R B, Cuccia D J, Durkin A J. Determination of optical properties of turbid media spanning visible and near-infrared regimes via spatially modulated quantitative spectroscopy[J]. Journal of Biomedical Optics, 2010, 15(1): 017012.

[58] 傅霞萍,何学明,付峰,等. 基于高光谱的空间频域成像装置及方法:CN106908445A[P]. 2017-6-30.

[59] Hu D. Representative techniques and methods for nondestructive evaluation of agro-products[M]// Li Jiangbo. Nondestructive Evaluation of Agro-products by Intelligent Sensing Techniques. Bentham Books imprint, 2021: 1-26.

[60] Sibai M, Veilleux I, Elliott J T, et al. Quantitative spatial frequency fluorescence imaging in the sub-diffusive domain for image-guided glioma resection[J]. Biomed Optics Express, 2015, 6(12): 4923-4933.

[61] Ponticorvo A, Rowland R, Baldado M, et al. Evaluating clinical observation versus Spatial Frequency Domain Imaging (SFDI), Laser Speckle Imaging (LSI) and thermal imaging for the assessment of burn depth[J]. Journal of the Internations Socity for Burn Injuries, 2019, 45(2): 450-460.

[62] Weber J R, Cuccia D J, Johnson W R, et al. Multispectral imaging of tissue absorption and scattering using spatial frequency domain imaging and a computed-tomography imaging spectrometer[J]. Journal of Biomedical Optics, 2011, 16(1): 011015.

[63] Lin W, Zeng B, Cao Z, et al. Quantitative diagnosis of tissue microstructure with wide-field high spatial frequency domain imaging [J]. Biomed Optics Express, 2018, 9(7): 2905-2916.

[64] 胡栋,孙通,应义斌. 基于结构光反射成像的水果果皮和果肉光学特性参数测量[J]. 农业工程学报,2020,36(7):284-291.

Hu Dong, Sun Tong, Ying Yibin. Optical characteristic parameter measurement of fruit peel and pulp based on structured light reflection imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of

the CSAE), 2020, 36(7): 284-291. (in Chinese with English abstract)

[65] He X, Li T, Fu X, et al. Fast estimation of optical properties of pear using a single snapshot technique combined with a least-squares support vector regression model based on spatial frequency domain imaging [J]. Applied Optics, 2019, 58(15): 4075-4084.

[66] Hu D, Lu R, Ying Y. Finite element simulation of light transfer in turbid media under structured illumination[J]. Applied Optics, 2017, 56: 6035-6042.

[67] Hu D, Huang Y, Zhang Q, et al. Numerical simulation on spatial-frequency domain imaging for estimating optical absorption and scattering properties of two-layered horticultural products[J]. Applied Sciences, 2021, 11(2): 617-633.

[68] He X, Fu X, Li T, et al. Spatial frequency domain imaging for detecting bruises of pears[J]. Journal of Food Measurement and Characterization, 2018, 12(2): 1266-1273.

[69] Lu Y, Li R, Lu R. Fast demodulation of pattern images by spiral phase transform in structured-illumination reflectance imaging for detection of bruises in apples[J]. Computers and Electronics in Agriculture, 2016, 127: 652-658.

[70] Lu Y, Lu R. Histogram-based automatic thresholding for bruise detection of apples by structured-illumination reflectance imaging[J]. Biosystems Engineering, 2017, 160: 30-41.

[71] Lu Y, Lu R. Fast Bi-dimensional empirical mode decomposition as an image enhancement technique for fruit defect detection[J]. Computers and Electronics in Agriculture, 2018, 152: 314-323.

[72] Lu Y, Lu R. Detection of surface and subsurface defects of apples using structured- illumination reflectance imaging with machine learning algorithms[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(6): 1831-1842.

[73] Lu Y, Lu R. Structured-illumination reflectance imaging for the detection of defects in fruit: Analysis of resolution, contrast and depth-resolving features[J]. Biosystems Engineering, 2019, 180: 1-15.

[74] Lu Y, Lu R. Using composite sinusoidal patterns in structured-illumination reflectance imaging (SIRI) for enhanced detection of apple bruise[J]. Journal of Food Engineering, 2017, 199: 54-64.

[75] Li R, Lu Y, Lu R. Structured illumination reflectance imaging for enhanced detection of subsurface tissue bruising in apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(3): 809-819.

[76] Lu Y, Lu R. Siritool: A Matlab graphical user interface for image analysis in structured-illumination reflectance imaging for fruit defect detection[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2020, 63(4): 1037-1047.

[77] Saager R B, Dang A N, Huang S S, et al. Portable (handheld) clinical device for quantitative spectroscopy of skin, utilizing spatial frequency domain reflectance techniques[J]. Review of Scientific Instruments, 2017, 88(9): 094302.

Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products

Wang Zhong1, Hu Dong1※, Sun Zhizhong2, Ying Yibin3,4

(1.,,&,311300,; 2.,,311300,; 3.,,310058,; 4.,310058,)

Light interaction with plant tissue varies significantly in different components with the structural, chemical, and optical characteristics in most agro products at the microscale. In light-tissue interaction, the tissues can generally be treated as being primarily composed of absorption and scattering particles, and thus the light propagation through tissues can be simplified as mainly involving the process of photon interactions with the absorption and scattering particles. When entering the tissue, the light can be absorbed and/or scattered, represented by the absorption coefficient (μ) and reduced scattering coefficient (′), respectively. Quantification of optical properties (i.e.,μand′) can greatly contribute to clarifying the measured data, optimizing optical devices, and finally improving the quality and safety assessment of agro-products. Alternatively, Spatial-Frequency Domain Imaging (SFDI) has widely been used to measure the optical properties, and then to evaluate the quality/safety of agro products last decades, showing the wide-field and noncontact imaging, depth- and resolution-varying, as well as signal enhancement. SFDI can also be used to reconstruct the three-dimensional distribution of optical features related to tissue physicochemical properties in the field of nondestructive detection. This study first overviewed the origins and development of SFDI in the field of agricultural engineering, and then introduced the main working principles of SFDI, including system components, light propagation model, data measurement and processing, and inverse algorithms for optical property estimation. Specifically, the SFDI was first applied to the nondestructive detection of bruising on Golden Delicious apples in 2007, indicating a better performance to distinguish the bruised apple from the sound one. The SFDI system is mainly composed of a light source, a digital projector, a CCD camera, a wavelength selective device, and a sample stage, the former three of which are the core components to directly determine the quality of structured illumination and collected images, as well as the testing efficiency. Calibration is also required for the SFDI system with the standard samples before evaluation. The specific procedure is followed. The images of target samples are first captured by the SFDI system. The light uniformity correction, image demodulation, system response calibration, and surface profile correction are then conducted to obtain the diffuse reflectance images for the quality and safety evaluation directly, or for the optical property estimation coupled with inverse algorithms. After that, the application status of SFDI was summarized in the field of agricultural engineering, including the measurement of optical property and quality/safety assessment of several thin-skinned fruits, such as apple, pear, kiwifruit, cucumber, and peach. The challenges and future perspectives of the SFDI technique were also presented eventually. Nevertheless, the current SFDI technique is derived mostly from the diffusion approximation, thereby hindering the application easy to introduce large measurement errors. There are great challenges when measuring the optical property of two- and multi-layered agro products. It is also lacking a standardized optical system for accurate estimation of the optical property. The SFDI presents better performance in the depth-varying detection, but the penetration depth is a bit shallow limited to the millimeter level. Moreover, the demand for portable handheld devices of the SFDI technique is ever increasing in recent years. This review can provide a critical overview of the development of the SFDI technique for better understanding in the field of agricultural engineering.

agricultural products; optical property; quality evaluation; spatial-frequency domain imaging; light transfer

王忠,胡栋,孙志忠,等. 空间频域成像在农产品品质检测中的应用现状与展望[J]. 农业工程学报,2021,37(15):275-288.doi:10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org

Wang Zhong, Hu Dong, Sun Zhizhong, et al. Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(15): 275-288. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org

2021-04-13

2021-07-26

国家自然科学基金项目(32001414)

王忠,研究方向为农业机器人。Email:wangz1010@qq.com

胡栋,讲师,研究方向为农业信息智能感知与农产品品质无损检测。Email:20180047@zafu.edu.cn

10.11975/j.issn.1002-6819.2021.15.033

S237

A

1002-6819(2021)-15-0275-14

猜你喜欢

频域校正光学
滑轮组的装配
基于频域的声信号计权改进算法
光学常见考题逐个击破
劉光第《南旋記》校正
频域稀疏毫米波人体安检成像处理和快速成像稀疏阵列设计
基于特征分解的方位向多通道SAR相位失配校正方法
一种具有自动校正装置的陶瓷切边机
基于在线约束限制的飞行器预测校正制导
第2讲 光学知识专题复习
基于频域分析和低通滤波的光伏并网逆变器谐振抑制研究