APP下载

压缩光谱成像系统中物理实现架构研究综述

2022-10-04李云辉

中国光学 2022年5期
关键词:色散型式探测器

李云辉

(中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033)

1 引 言

传统相机除获取代表场景强度的二维空间信息外,对光谱信息的采集仅涵盖红、绿、蓝(RGB)3 个通道,而作为新兴科学研究与工程应用的有效技术手段,光谱成像具备采集场景空间-光谱数据立方体的能力,其中增添的高分辨光谱通道信息为目标探测、识别、分析提供了更为精细的差异化特征,在军事安全、环境监测、生物科学、医疗诊断、食品检验等领域得到了广泛应用。

然而,面对三维光谱图像数据立方体,现有阵列探测器单次只能捕获其中的二维子集,剩余维度需借助空间展开或时间扫描方式进行探测。根据数据采集过程差异,传统光谱成像设备大体可分为滤光型光谱仪、扫描型光谱仪和干涉型光谱仪3 类[1]。滤光型光谱仪在每次曝光时使用滤光轮或可调谐滤光器采集单谱段内的全空间分辨率图像,多个谱段信息采集需分时切换完成,牺牲了时间分辨率。其中的阵列式滤光器虽然实现了空间-光谱信息的快照式采集,但牺牲了灵敏度和空间分辨率。相比之下,扫描型光谱仪每次曝光时采集的是光谱-空间数据,而另外一个空间维度信息需通过扫描方式获取,牺牲了时间分辨率,同时涉及更多的机械运动过程和校准复杂性。干涉型光谱仪与滤光型光谱仪类似,同样需要光谱扫描过程,且其复杂性和精度要求使其系统构建和校准难度较大。因此在基于奈奎斯特-香农采样定律的完备采样光谱成像系统框架下,始终面临空间、光谱、时间分辨率和灵敏度指标之间的矛盾。此外,随着光谱分辨率或空间分辨率提升,以完备采样方式对数据立方体获取还会引入更长采集时间代价和海量数据存储及传输压力。有限的时间分辨率也严重制约了动态场景的光谱成像应用。

这些传统光谱成像系统忽略了自然场景在空间和光谱维度上的相关性,而其所带来的信息冗余为更高效的光谱图像数据采集提供了可能。近年来压缩感知理论指导下的压缩欠采样成像系统在应对大尺度、高维度图像数据采集中发挥了积极作用,其通过特定的信息编码调制手段,可以远低于奈奎斯特-香农采样定律要求的采集量实现高质量数据重构[2-4]。在具备高冗余性的光谱成像应用中,部分压缩光谱成像系统甚至可实现快照式采集,这大大缩短了信号获取时间,提高了时间分辨率,而且信息混叠采样方式也带来灵敏度的提升。

压缩光谱成像系统涉及物理实现架构、离散建模、编码调制优化、稀疏表达、系统校准、重构算法等诸多技术层面[5]。其中特定的光路设计和可用的编码调制器件是系统硬件实现的前提,也决定了系统性能上限。鉴于此,本文从硬件角度切入,旨在对现有压缩光谱成像系统物理架构这一子问题进行全面梳理与讨论。首先,介绍了各种编码调制光学器件及对光谱图像数据的调制效应,进而在其基础上阐述了各类系统架构和多个变种型式,并从信号调制角度对不同的采样方案进行描述、归纳。最后,讨论了压缩光谱成像系统物理架构约束下的若干共性问题。希望这些分析和讨论不仅能为读者提供关于压缩光谱成像的新见解,也可以为新型光谱成像系统设计和对现有方法改进带来启发。

2 压缩光谱成像数学模型

压缩光谱成像技术包含前端光学信息调控与后端数字信号计算重构两个阶段,其中前者依赖于光学系统物理架构,是本文论述的重点。前端光学调控的基本思想是通过对空间-光谱数据立方体的编码调制,并通过下采样提取目标场景的有效信息,进而再借助后端重构算法实现场景信息重建。前向调制及采样过程抽象为如下数学表述:

其中g为采样结果,f为原始目标场景,H为光学调控所对应的测量矩阵。多种系统架构对图像信息的调控过程会形成不同的测量矩阵形式,从而造成了理论模型间的差异性。

由于上述前向过程是欠定的,在后端数字信号处理过程中,需要借助重构算法求解如下优化问题:

其中第一项为保真项,||·||2表示L2范数;第二项Γ(·)为正则项,表征目标信号的先验信息,τ为其权重系数。

3 光学调制器件

压缩光谱成像系统中对空间和光谱信息的调制通常需要在光学路径中完成,而这就需要光学器件为其实现提供支撑。全自由度信息调制使系统具有更高的灵活性和更深的优化空间,然而在高维度信息处理时通常也会付出高昂代价,或受限于物理器件水平而丧失可行性,取而代之的是有限自由度的结构化调制方案。基于此,现有光学器件对光谱-图像数据立方体信息处理涉及调制(Modulation)、剪切(Shearing)、复用(Multiplexing)、分割(Unmixing)、复制(Duplicating)等多个操作。

最为常用的空间调制器件为光刻掩模板,将其置于光学路径中的不同位置可实现多样的幅值调制过程,放置于光学像面与光谱面处可分别实现空间信息调制与光谱信息调制,置于二者中间则可实现空间-光谱混合调制。在此基础上衍生出的灰度模板可以实现多灰度级幅值调制,彩色编码模板可以实现每个空间位置的差异化光谱调制。可时变调整的空间光调制器(Spatial Light Modulator, SLM)包含液晶(Liquid Crystal Display, LCD)、硅基液晶(Liquid Crystal on Silicon,LCoS)、数字微镜阵列(Digital Micromirror Device,DMD)等,它们可实现更为灵活的幅值、相位、光谱调制。如:DMD 和LCoS 常置于像面处用于实现0/1 幅值调制;LCD 或变形镜(Deformable Mirror, DM)通常置于光瞳处进行相位调制以生成目标点扩散函数(Point Spread Function, PSF)分布,从而实现空间信息复用调制。此外,采取电压调控还能够使LCD 具备透射光谱调制能力。

更高效的光学器件甚至具备独立实现空间-光谱图像信息调制能力,从而简化系统架构,实现紧凑化、微型化设计。如:利用法布里-珀罗谐振器阵列(Fabry-Perot Resonators Array, FPRA)可实现像素级差异化光谱调制;利用衍射滤波器阵列(Diffractive Filter Array, DFA)与散射介质(Scattering Medium, SM)可实现空间信息复用调制,并且依靠不同波长PSF 的各异性可实现光谱差异化调制。

剪切、分割、复制等操作也可为信息调制过程提供辅助作用。其中,剪切操作用于在低维信息一致化调制基础上,从高维度角度开展差异化调制。如通过光栅或棱镜色散实现空间-光谱数据立方体的“倾斜”化。通过压电陶瓷驱动编码模板可实现剪切位移,通过更为灵活的可时变SLM 可从时间维度实现差异化调制。空间复制操作便于对目标场景进行空间并行化调制,进而实现快照模式下的多重采样功能。如采用外表面镀膜反射镜组(First-Surface Mirrors, FSMs)及透镜阵列方式进行空间复制,实现并行差异化调制,也可以通过分束棱镜实现多探测器并行采样。光谱分割操作可通过单色光谱照明或液晶可调谐滤波器(Liquid Crystal Tunable Filters,LCTF)实现。上述光学器件对信息的调制效应如图1(彩图见期刊电子版)所示。

图1 光学器件对信息的调制效应Fig. 1 Modulation effects of optical devices on information

4 系统架构型式

在上一小节中所述的光学调制器件支撑下,各种器件配置组合与信息调制方案层出不穷。本节重点阐述各类系统架构及其多个变种型式。依据信息调制过程,可划分为单像素光谱成像(Multispectral Single Pixel Imager, MSPI)、编码孔径光谱成像(Coded Aperture Snapshot Spectral Imager, CASSI)、空间-光谱双重编码光谱成像(Dual-Coded Spectral Imager, DCSI)、微阵列型光谱成像、散射介质光谱成像等几大类,每个类别中还含有多种改进型式。

4.1 单像素光谱成像

单像素相机(Single Pixel Camera, SPC)是压缩感知理论在成像领域最早、最典型的应用,大多光谱成像系统均是在其基础架构上扩展而来的。图2(彩图见期刊电子版)为多种衍生系统架构型式,为了更好地可视化,将相应的对空间-光谱三维数据立方体的调制及降维投影过程绘制在其右侧,其中系统架构中关键光学调制器件与其对数据立方体的调制效果如图中虚线所示。如图2(a)所示,在基于DMD 的SPC 基础框架下,通过将光电二极管替换为光谱仪,对单像素采集的信息进行光谱分割,就完成了一种压缩光谱成像系统的构建[6-11]。系统中具体的光信号路径为:目标场景经物镜聚焦于DMD 上,经DMD 对全光谱数据空间调制后,再由中继镜组投射到光谱仪上,经光谱分割后,最终通过线阵探测器完成信息采集。此时各谱段的空间信息被同步调制,而光谱信息则保持常规采集模式,这种机制可视为一种并行光谱采集,因光谱维度未压缩而使分辨率得到保证,但也因光谱信息未调制而限制了采样率缩减。如图2(b)所示,作为后端光谱仪的一种替代方案,索津莉团队通过对照明光进行空间调制,并利用SLM 与探测器采样速率的差异性,在照明光路的光谱面实施光谱调制,进而在相邻两个SLM 调制更新期间,利用探测器的多个采样结果经傅立叶分解直接得到光谱成分信息[12]。系统中具体的光信号路径为:宽谱照明光源首先经SLM 完成空间调制,然后由衍射光栅与透镜组合将光信号压缩为一维光谱条带,并由转轮带动透过率以正弦规律变化的图案实现光谱调制,这样分别经空间调制和光谱调制的光束照射到目标物体上,最终通过桶状探测器完成采集。值得说明的是,探测器在相邻两个SLM 更新期间完成了多次采样,由于不同光谱经历了不同时间频率的调制,这些采样结果所绘制的曲线经傅立叶分解后,可以提取出每个谱段的强度信息,从而间接实现了光谱分割。对于每个谱段均可以看作是一个典型的SPC。该系统巧妙利用光谱傅立叶调制,实现光谱成像的同时保留了单像素优势,然而这也使其构成稍显复杂。

图2 单像素光谱成像系统架构及相应的空间-光谱数据立方体调制过程:(a) 基于光谱仪的单像素光谱成像仪;(b) 空间-光谱调制单像素光谱成像仪;(c) 光谱分离单像素光谱成像仪;(d) 空间-光谱调制光谱成像仪Fig. 2 Single pixel spectral imaging system architecture and its corresponding spatial-spectral data cube modulation diagram.(a) Spectrometer-based single pixel spectral imager; (b) spatial-spectral modulation single-pixel spectral imager;(c) spectral unmixing single pixel spectral imager; (d) spatial-spectral modulation spectral imager

为实现更灵活的空间-光谱信息调制,研究人员提出一种单像素系统型式,如图2(c)所示。通过光谱分离器将不同光谱沿空间维度平铺,并采用SLM 并行差异化调制,进而通过单像素完成采集[13-14]。系统中具体的光信号路径为:宽谱照明光源经带通滤光片滤除带外信号后,照射到目标物体上,物体反射光束经物镜与准直镜传递到光谱分离器中,其输出的不同谱段光束经成像透镜聚焦于DMD 不同区域,经DMD 对每个谱段进行差异性调制后,最终通过光电二极管完成采集。这种以空间换时间的方式有效提升了时间分辨率。另一种系统型式如图2(d)所示,通过SLM在频域内调制实现空间信息复用,并采用光纤进行空间离散下采样,进而再借助棱镜与DMD 组合实现光谱调制,最终采用线阵探测器完成空间-光谱复用调制信息的采集[15]。系统中具体的光信号路径为:首先在由两个傅立叶透镜组成的4-f系统中,采用SLM 在其频谱面内调制。经4-f 系统输出的光信号聚焦于光线捆束的输入端,由后者实现离散下采样并整理成一维线阵形式。在该一维光信号经棱镜色散后的光谱面内,采用DMD 实施光谱调制,并由柱状透镜重新汇聚,最终通过线阵探测器完成采集。然而这种空间下采样方式会造成一定的光能量损失。

4.2 编码孔径光谱成像

4.2.1 基本型式

编码孔径光谱成像仪(CASSI)及其衍生型式如图3(彩图见期刊电子版)所示。单色散(Single Disperser, SD)-CASSI 开创了压缩光谱成像系统的先河,如图3(a)所示,该系统通过前端物镜将目标场景成像于编码孔径平面内,采用固定编码掩模板对每个波长均执行一致的空间调制,并通过色散元件对数据立方体进行光谱剪切,进而再投影到探测器焦平面,其捕获数据包含一维空间信息与光谱信息的复用[16-18]。系统中具体的光信号路径为:目标场景经物镜聚焦于编码孔径处,经编码掩模板调制后,再由中继镜组投射到棱镜,经棱镜色散剪切处理的信号最后通过中继镜组投影到面阵探测器上。

作为上述系统更早期版本的双重色散(Dual Disperser, DD)-CASSI,如图3(b)所示。其由两个通常用作传统色散光谱仪的4-f 型色散臂串联组成,两臂对称排列,根据光路可逆性,第二个臂恰好抵消前者引入的色散。该系统第一个色散臂将输入图像成像于中间分割面,并且由棱镜色散实现光谱剪切。经置于该位置的固定编码掩模板空间调制后,再由第二个色散臂执行逆剪切操作,使不同谱段图像重新重合,进而完成不同光谱的差异性空间调制[19]。系统中具体的光信号路径为:目标场景首先经中继镜入射到第一个色散棱镜,再经中继镜将色散光信号聚焦于编码孔径处。经该处编码掩模板调制后的光信号,继续通过中继镜入射到第二个色散棱镜,该棱镜将抵消前一棱镜引入的色散效应,并最终经中继镜投影到面阵探测器上。相比于SD 版本,该系统构建复杂,需要9 个光学器件,且校准难度大。但因为各光谱图像采样时空间重合,DD 版本仅复用光谱信息,这一方面使其保留了空间分块并行重构处理的可行性,从而给加速图像重构带来优势;另一方面也因不含空间信息复用,降低了其维持低采样率的能力。相比较而言,DD 版本更适于高空间分辨率、低光谱分辨率的应用场合。

为保留DD-CASSI 系统的优势,同时降低系统构建复杂度,ZHAO ZH X 等人提出了一种基于反射光路的紧凑改进型,如图3(b)虚线框内所示,相较于原始DD-CASSI 系统,采用一个棱镜先后执行两次色散,从而使系统器件数量和规模减少一半[20]。

图3 CASSI 系统基本型式:(a) 单色散CASSI;(b) 双色散CASSIFig. 3 Basic types of CASSI system. (a) SD-CASSI; (b) DD-CASSI

4.2.2 彩色编码孔径型式

在常规DMD“开”、“关”调制基础上,利用其高速开关斩波操作,可等效实现不同灰度级的空间幅值调制,提升动态范围[21-22]。进一步地,采用彩色编码孔径模板(Colored Coded Aperture, CCA)的C(Colored)-CASSI 系统,如图4(a)(彩图见期刊电子版)所示,一步实现了空间-光谱信息调制,不仅提高了图像重构质量,而且借助彩色模板与棱镜色散对光谱信息的共同作用,能够重构得到更高的光谱分辨率[23-30]。系统中具体的光信号路径为:目标场景经物镜聚焦于CCA,其调制后的信号由中继镜投射到棱镜,经棱镜色散剪切处理后,最终再通过中继镜投影到面阵探测器上。若将CCA 移动到色散元件后的探测器焦平面上,就构成了一种压缩光谱图案式快照成像仪(Compressive Spectral Patterned Snapshot Imager, CSPSI),如图4(b)(彩图见期刊电子版)所示。该系统交换了对光谱图像数据的调制顺序,虽然产生与原始C-CASSI 系统相异的调制效果,但仍然保证了有效的空间-光谱信息调制与复用。这种架构相当于将CCA 嵌入到探测器中,实现了更为紧凑的设计[31-34]。系统中具体的光信号路径为:目标场景先由中继镜投射到棱镜上,经棱镜色散的信号再通过中继镜投影到紧邻CCA 的面阵探测器上。另一种基于CCA 的型式是采用DM 和嵌入CCA的探测器组合,如图4(c)(彩图见期刊电子版)所示。这种型式省去了色散元件,由DM 通过波前调整实现空间信息复用,进而再通过CCA 实现光谱调制与复用[35]。系统中具体的光信号路径为:目标场景光束经透镜组准直后投射到DM 上,经波前调制后的反射光信号再通过分束棱镜反射到嵌入CCA 的面阵探测器上。相比于CSPSI 系统,该系统对空间信息复用调制更充分,因而信息采集更高效,具备维持更低采样率的能力。将DM 替换为随机相位板也可实现同样的信息调制效果[36]。

图4 CASSI 系统彩色编码孔径型式:(a) 彩色CASSI;(b) 压缩光谱图案式快照成像仪;(c) 基于变形镜的CSPSI Fig. 4 Colored coded aperture types of CASSI system. (a) C-CASSI; (b) CSPSI; (c) DM-based CSPSI

4.2.3 光谱分割型式

除采用CCA 实现光谱调制复用外,也常直接采用逐个光谱分割型式。如图5(彩图见期刊电子版)中左上图所示,通过LCTF 将光谱沿时间维度展开,实现光谱分时处理,进而基于LCTF 对光谱随机切换与DMD 的时变空间调制进行组合,实现空间-光谱信息调制[37-38]。系统中具体的光信号处理流程为:目标场景经物镜入射到LCTF 内,由其透过特定谱段光信号,并通过中继镜聚焦于编码孔径处,经DMD 调制后该特定谱段的数据最终经中继镜投影到面阵探测器上。在探测器的一次曝光期间,上述过程多次执行,LCTF 与DMD 同步更新,从而实现对不同谱段信息的差异化调制。

图5 CASSI 系统光谱分割型式Fig. 5 Spectral unmixing type of CASSI system

另一种类似的光谱分割型式是基于LED(Light Emitting Diode)的压缩时间-光谱成像仪(LED-based Compressive Spectral-Temporal Imager,LeSTI),如图5 中左下图所示。该系统借助多个单色LED 照明实现各光谱场景的分时呈现,并在各光谱呈现期间通过DMD 对其进行差异化调制[39]。系统中具体的光信号处理流程为:经光谱标定的LED 依次照射目标场景,反射光束经中继镜聚焦于编码孔径处,经DMD 调制后,含有该LED 光谱谱段的数据再经中继镜投影到面阵探测器上。同样地,LED 照明与DMD 同步更新,实现对不同谱段信息的差异化调制。这两种系统型式对空间-光谱数据立方体的调制效应本质上是一致的,它们的优势在于通过依次对分割后的光谱处理,可实现更灵活的信息调制操作,但随之而来的是调制步骤繁琐,耗用了更多采集时间,使系统对动态场景应用场合的适用性变差。

4.2.4 编码可调整型式

对于光谱丰富或空间纹理细腻的场景,单次拍摄(Snapshot)采集信息往往不够充分,图像重构质量难以得到保证。此时就需要多重拍摄(Multi-shots)来增加信息采集量,而且要保证每次拍摄时信息调制的各异性。一种系统型式是编码孔径敏捷式光谱成像仪(Code Aperture Agile Spectral Imager, CAASI)。其在CASSI 基础架构上,通过使用压电陶瓷驱动固定光刻掩模板进行微位移移动来等效空间调制时变性,或采用DMD 来实现更为灵活的时变调整等型式,对每帧采集提供差异化的信息调制,满足多帧调制与采集需求[40-44]。另一种型式如图6(彩图见期刊电子版)所示。在前面所述的CSPSI 系统基础上,通过旋转色散元件实现信息调制差异性调整[45]。此时系统中光信号处理与工作流程为:目标场景先由中继镜投射到棱镜上,经棱镜色散的信号再通过中继镜投影到嵌入CCA 的面阵探测器上。每次曝光将棱镜置于不同角度,以图6 所示为例,分别在0°、90°、180°与270°各拍摄一次,等效实现了对同一目标场景的4 次拍摄。值得注意的是,采用多重拍摄来提升图像重构质量的同时,也不可避免地降低了时间分辨率。

图6 CASSI 系统编码可调整型式Fig. 6 Coding adjustable type of CASSI system

4.2.5 多帧互补采集型式

在面对复杂目标场景时,一方面想通过调整调制过程,多重拍摄采集来提高采样率,更充分地捕获场景信息,进而提升图像重构质量;另一方面要避免因多重拍摄引入的采集时间加长,时间分辨率降低的弊端。为此学者们探究了多种并行化多帧采集型式以提高CASSI 的性能,同时保持其快照优势,如图7(彩图见期刊电子版)所示。一种典型方式如图7(a)所示,通过在CASSI 物镜前放置分束器,使得同一场景可以由CASSI 系统与全色或彩色相机同时拍摄。这种未经调制的原始图像与CASSI 采集结果相结合,能够有效提升光谱图像重构精度,且相比于CASSI 的两帧采集重构结果更具优势[46-47]。系统中具体的光信号路径为:目标场景首先经分束镜分为两个独立通道,其中一个通道为基础的SD-CASSI 系统架构,由物镜将目标聚焦于编码孔径处,经编码掩模板调制后,再由中继镜投射到棱镜上,经棱镜色散处理后的信号通过中继镜投影到面阵探测器上;另一通道则直接通过物镜将目标成像于Bayer 排列的彩色探测器上。然而,为将两探测器采样结果统一到联合模型中,需要对两个光路进行严苛的几何对准及响应标定,这无疑增大了系统复杂度,而且分光操作将导致入射到CASSI 系统的光能量损失一半。

全色图像的获取并不一定需要额外光路分光来实现,如图7(b)所示,HIUBUČEK J.等人就提出了一种仅用一个探测器同时捕获CASSI 图像和全色图像的方案。在常规光栅色散应用中,采用一级衍射实现CASSI 的光谱剪切操作,而容易被忽略的零级衍射可用于获取全色图像[48-50]。系统中具体的光信号路径为:经白光LED 光源照射的目标场景,其反射光线经物镜聚焦于DMD 上,经空间调制后通过衍射光栅分别将零级与一级衍射图案投影在面阵探测器的不同区域。其中零级衍射图案等效于全色探测器采集的图像,一级衍射图案等效于基础SD-CASSI 系统采集的图像。即便如此,上述系统型式也只能在快照时间内实现两帧数据采集,利用零级衍射的双孔径版本实现了两个调制模式下4 帧信息的快照式采集[51],但这仍然是十分有限的。

图7 CASSI 系统多帧互补采集型式:(a) 双相机CASSI;(b) 零级与一级衍射CASSIFig. 7 Multi-frame complementary acquisition type of CASSI system. (a) Dual-camera CASSI; (b) 0th and 1st order diffraction CASSI

4.2.6 多帧阵列采集型式

为实现更多帧数据的快照式采集,以空间复制操作为基础,同步执行差异化调制是行之有效的思路。JEON D S 等人提出了一种基于图像倍增器的系统型式,如图8(a)(彩图见期刊电子版)所示。在该系统中,前端物镜将目标场景投射到漫反射屏上,该图像由反射镜组复制为3×3 阵列,并投影到CASSI 系统中编码模板的不同区域,实现了9 帧数据的差异化调制与并行采集[52]。系统中具体的光信号路径为:目标场景经物镜投影到漫反射屏,漫反射屏发出的光束由反射镜组复制为阵列后,经中继镜组分别聚焦于编码孔径的不同区域。每一组信号经空间调制后,均由中继镜组投射到色散棱镜上,最后中继镜再将色散后信号投影到面阵探测器上。另一种型式为多重视图彩色编码孔径快照式光谱成像仪(Multiview Colored CASSI, MC-CASSI),如图8(b)(彩图见期刊电子版)所示。该系统在DD-CASSI 基础上,采用微透镜阵列实现了目标场景的空间复制,具备更多帧数据的同步采集能力[53-54]。系统中具体的光信号路径为:目标场景首先经物镜与微透镜阵列复制为多组光束信号,这些信号并行入射到基础DD-CASSI 系统内,每组信号彼此没有混叠,最终在探测器上不同区域采集的是每组信号独立调制的结果。多帧阵列采集的基本思想是以空间并行代替时间串行操作,保证了高时间分辨率,但也因此引入一些弊端,如每帧采集的光能量严重下降,编码孔径模板与探测器的空间分辨率需求上升等。

图8 CASSI 系统多帧阵列采集型式:(a) 图像倍增CASSI;(b) 透镜阵列CASSIFig. 8 Multi-frame array acquisition type of CASSI system. (a) Image multiplier CASSI; (b) lenslet array CASSI

4.3 空间-光谱双重编码光谱成像

CASSI 系统主要在空间像面处执行编码,而对光谱则采用剪切或分割操作,来辅助实现空间-光谱数据立方体的调制。相比较而言,双重编码孔径光谱成像仪(DCSI)则是在光学路径中分别构建空间像面与光谱面,并在两处执行独立的编码调制。如图9(a)(彩图见期刊电子版)所示的DCSI 系统为双臂架构,由空间调制臂和光谱调制臂串联组成。在空间调制臂中,物镜将目标场景投射到DMD 上,由其实现空间调制。在随后的光谱调制臂中,采用衍射光栅对空间调制后信息进行色散,并在其光谱面安装LCoS 实现光谱调制[55-57]。系统中具体的光信号路径为:目标场景首先经物镜聚焦于DMD,在此完成空间调制后,再由中继镜投射到衍射光栅,在衍射光栅形成的光谱面内,放置LCoS 进行光谱调制。最终反射光线再经分束镜反射投影到面阵探测器上。通过空间调制与光谱调制的组合,DCSI 可实现更为灵活的调制模式,相较于CASSI 系统具备更好的性能。

图9 DCSI 系统架构:(a) 双重编码孔径光谱成像仪;(b) 空间-光谱编码压缩成像仪Fig. 9 Architecture of DCSI System. (a) DCSI; (b) SSCSI

然而,DCSI 系统中需要两个SLM 器件,这使系统实现的硬件代价和校准变得复杂。空间-光谱编码压缩成像仪(Spatial-Spectral Encoded Compressive Spectral Imager, SSCSI)如图9(b)(彩图见期刊电子版)所示。其在前者基础上,将编码孔径模板安装于探测器前的微小偏移处,即置于空间像面与光谱面之间,针对目标场景空间维和光谱维进行混合调制,省去了DMD 与LCoS 器件,使系统得到简化[58-61]。

4.4 微阵列型光谱成像

光谱成像仪的小型化、微型化是未来发展趋势之一,微阵列型的压缩光谱成像系统架构为紧凑型设计提供了可能。如图10(a)(彩图见期刊电子版)中左上图所示,AUGUST I.等人利用特殊设计的液晶单元 (Liquid Crystal Cell, LCC)贴附于探测器表面,在传统成像系统基础上形成了一种紧凑型超光谱成像仪(Miniature Ultra Spectral Imager, MUSI)。通过改变施加在LCC 两端的电压,可以调节与波长相关的透过性,进而直接在光谱域内实现光谱调制,而无需将其转换到空间内再进行间接调制,使系统得到简化[62-64]。需要说明的是,由于探测器上所有像素执行相同的光谱调制过程,信息捕获需要分时多次操作,无法实现快照式采集。它的并行化版本有两种型式,一种型式如图10(a)中左中图所示,将来自目标场景的入射光束准直后,由陷波滤波器阵列进行光谱调制,并经透镜阵列并行投射到探测器上;另一种型式如图10(a)中左下图所示,采用法布里-珀罗谐振器阵列(FPRA)与透镜阵列组合的多孔径设计,首先通过透镜阵列对目标场景进行复制,接着布里-珀罗谐振器阵列(FPRA)利用其光谱透过性对每组目标场景进行差异化光谱调制,最终并行投射到探测器上[65-66]。上述系统的一种改进型式如图10(b)(彩图见期刊电子版)所示。采用像素级法FPRA 设计,无需透镜阵列,每个 FPRA 利用其光谱透过性对目标场景每个像素进行差异化光谱调制,从而实现像素级空间-光谱调制[66]。然而如此微小的FPRA 制造难度较大。

图10 微阵列型光谱成像架构:(a) 左上为紧凑型超光谱成像仪,左中为陷波滤波器阵列光谱成像仪,左下为基于FPRA 阵列的光谱成像仪;(b) 像素级FPRA 阵列光谱成像仪Fig. 10 Architecture of microarray spectral imaging. (a) Top left is the MUSI,middle left is the notch filter array spectral imager,bottom left is FPRA-based spectral imager;(b) pixel-level FPRA-based spectral imager

4.5 散射介质光谱成像

散射在光学成像中通常被视为一种阻碍成像质量提升的负面因素,然而在计算成像中却作为一种有效的信息调制工具。散射介质常用来制造弥散的PSF 分布,以实现二维空间信息复用,从而通过阵列探测器实现并行化信息调制与采样。由于每个探测像素采样中包含全部目标场景信息,可以大大降低采样数量。在此基础上,借助不同深度信息的PSF 差异性可以实现3-D 空间数据调制,同理,借助散射介质对光谱的敏感性,利用不同谱段的PSF 差异性可实现空间-光谱信息调制。如图11(彩图见期刊电子版)所示,通过在入射光瞳处安装光谱的敏感的光学扩散器或散射介质,实现不同光谱的PSF 差异化分布,从而在成像探测器处提供扩散及色散的(Diffused and Dispersed, DD)目标图像,完成快照式光谱图像数据采集[67-70]。也可采用衍射滤波器阵列(DFA)代替散射介质实现相同的调制过程,并带来更高的通光效率[71-72]。这种光谱成像型式的优势在于系统组成简单、结构紧凑,信息调制更充分,散射介质对光谱的敏感性也使其具备更高的光谱分辨能力。但介质散射也通常意味着低可控性,需要依赖高精度标定来获得系统传输矩阵,且对误差十分敏感,轻微系统结构变化就会导致散射介质模型快速失效,从而不得不进行新的测量与建模。这种低鲁棒性给实际工程应用带来麻烦。

图11 散射介质光谱成像架构Fig. 11 Architecture of spectral imaging through scattering media

4.6 各系统型式总结

在对各类系统架构及其多个变种型式分别介绍后,在该小节将对上述所有系统进行梳理、归纳,并对每个系统型式所对应的空间-光谱数据立方体的调制方式以及相应物理实现器件做出明确说明,如表1 所示。

表1 各系统型式特征总结Tab.1 Summary of the characteristics of each system type

5 共性问题讨论

在充分了解各型压缩光谱成像系统架构基础之上,本节对其系统架构背后的信息编码调制问题展开几点讨论,以挖掘掩藏在内部的设计思想,为新型系统设计提供指导。

5.1 信息复用度

压缩光谱成像系统涉及两个空间维度、一个光谱维度的信息采集,在将三维数据立方体投影到二维阵列探测器时,必然要经历降维过程。针对这个问题,一种方式是引入额外维度,如沿空间或时间维度展开;另一种方式就是将调制后的信息混叠采样。后者带来的低数据采集量是压缩成像的技术优势所在。信息复用也由此带来两个关注点:

(1) 采样效率。信息复用程度越高,即每个采样结果中包含了更多维度的信息,则使系统具备更高的采样效率,这也意味着能够以更低的采样率获得可观的图像质量,反之亦然。但信息复用度并不是越高越好,还要与系统应用目标相匹配,在非复用维度内的信息采集通常是相对充分且完整的,这也就保证了该维度信息的重构质量,即使以降低整体采样效率为代价。举例来说,DD-CASSI 系统中只复用了光谱信息,空间信息保留相对完整,因此相较于SD 版本,其更适合高空间分辨率、低光谱分辨率的应用场合。

(2) 可分块重构性。源特性虽然不在本文论述范围,但需要强调的是:压缩成像领域的图像获取实时性一直受重构算法计算复杂度瓶颈影响,未得到有效解决,尤其对于大规模信息重构时愈发严重。除借助GPU 等并行化计算处理器件外,直接对采样模型进行分块化处理,以降低矩阵运算规模是更有效的方式。而且低尺度的分块模型也使稀疏冗余字典学习变得可用,对提高重构质量有利。然而信息复用度越高,对应模型中测量矩阵的稠密度越高,则模型拆分就越困难。这也是采用高信息复用度方案来提升采样效率的同时,引入的负面影响。

5.2 调制自由度

各型压缩光谱成像系统架构对应理论模型中不同测试矩阵型式,调制自由度体现为测量矩阵中元素的取值范围以及矩阵结构化型式。例如,对于DD-CASSI 系统来说,编码孔径对相邻谱段的空间编码只平移一个位移单位,这形成了谱段间编码差异性的强约束;而对于DSCI 系统来说,第一编码孔径对不同谱段执行一致的空间编码,另一编码孔径又在光谱域内实现光谱编码,二者组合可以形成更灵活的调制,因此相比于前者来说,可以获得更优异的性能。更高自由度将使系统具备更大的编码优化潜力,以感知矩阵互相关性为理论指导的测量矩阵优化能够收获更好的效果。但高自由度预示着低结构化矩阵型式,这给图像重构算法执行中带来了巨大的数据存储及计算代价。对于高维度数据压缩采样来说,采用维度可分离调制型式,并借助Kronecker 模型简化重构算法是一种有效路径[73-74]。

5.3 系统校准

相比于传统成像系统来说,压缩成像系统通常会额外引入用于信息调制的光学器件,而实际光学调制过程与数学模型的匹配度决定了重构算法的执行效果。为准确获取系统前向采样模型,系统校准难度及方法都是系统设计时需预先考虑的问题。在一个压缩成像系统中,都至少存在着编码器件与探测器像素采样的空间对准要求。在涉及空间信息复用的PSF 调制中,严格的PSF 标定也是保证采样模型精度的关键。而对于采用分束镜等器件来实现信息空间复制时,各子图像的信息一致性需要严格校准,不仅包含几何空间对准,还存在视角、光透过率等差异性的补偿。

5.4 技术指标权衡

与传统光谱成像系统中空间、光谱、时间分辨率和灵敏度指标的矛盾类似,压缩光谱成像系统虽然相较于传统系统极大地解放了这些指标间的相互制约,但就其在计算成像领域内,相对而言,仍然需要在各指标间做出权衡。例如,采用空间复制方式实现并行化调制采集,虽然保证了图像重构质量又不牺牲时间分辨率,但却降低了通光效率,且极大地增加了系统硬件代价。而采用分时多帧采集方式时,又使其因时间分辨率下降对动态场景变得不再适用。

因此,即使在压缩感知理论下,设计出的各项指标均令人满意的完美系统仍然是不可行的。系统设计应面向实际应用,依据性能指标优先级,并考虑系统构建成本、难度来综合衡量。系统设计没有最好,只有更适用。

6 结论与展望

从最早提出的CASSI 系统算起,压缩光谱成像已历经十几载,虽然得益于光学器件的发展,各种新型系统不断涌现,但客观来说,现阶段仍然处于发展机遇期,还有众多技术难点亟待突破。目前多数研究仍处于原理验证阶段,无论从系统性能指标方面,还是应用稳定性与兼容性方面,距离商用化落地还有相当的提升空间。如光谱图像分辨率、质量仍然不能令人满意,器件成本过高,系统复杂度高,校准难度大,鲁棒性不够理想,大规模图像重构的算法实时性等问题仍面临巨大挑战。但作为涉及光学、数学、计算机、信号处理等多学科交叉融合的技术领域,技术手段和理论工具的选择空间足够广阔。同时,各种微纳光学器件的加入,以及以深度学习为代表的数据驱动算法,都为其注入了强大动力。更可喜的是,众多国内外优秀学者正投身其中并不懈努力,笔者相信这会加速挖掘该技术领域潜藏的巨大能量。

在提升性能与实用性的同时,压缩光谱成像也正向更高维度拓展,快照式压缩光谱成像已经实现视频率光谱图像信息采集。若将时间维度信息加入到系统调制与压缩进程,将带来空间-光谱-时间的4-D 数据采集能力,从而获得更高的时间分辨率。在此基础上发展起来的压缩超快光谱成像技术(Compressed Ultrafast Spectral-Temporal,CUST)已经实现万亿帧率,这对瞬态物理过程或医疗领域应用具有重要意义[75-77]。甚至引入深度等信息的5-D 数据采集也已开始被研究。此外,以应用为导向,通过与特定应用需求整合,并革新传统“采样-重构-识别”为直接采样识别,规避复杂重构算法,也将是压缩光谱成像技术发展的重要路径之一。

猜你喜欢

色散型式探测器
“光的折射”“光的色散”知识巩固
“光的折射”“光的色散”知识巩固
幕墙型式对高层建筑室内自然通风影响的模拟
现代中小河流常用有坝壅水建筑物型式探讨
色散的成因和应用
第二章 探测器有反应
EN菌的引力波探测器
『光的折射』『光的色散』随堂练
第二章 探测器有反应
军持的型式分析与年代分期