APP下载

手机嵌入式快照成像光谱仪的研制

2022-09-07田久谊

中国光学 2022年4期
关键词:滤光片快照光谱仪

田久谊

(陕西快谱深光科技有限公司, 陕西 西安 710065)

1 引 言

手机的照相功能已经成为各个厂商技术比拼的重点内容之一,其主要包含二维空间(x-y向)图像和三维深度图像(z向) 的获取,但多光谱成像还是空白。多光谱成像在物体真假识别、蔬菜水果农药残留、化妆品重金属检测等消费领域具有优势,消费级的手机如果具备多光谱成像功能,将极大拓宽其应用领域和提升消费体验。目前的光谱成像主要应用于在机、星载资源勘查[1-2]、军事目标的多光谱伪装识别[3]、专业计量测试结构的专业检测[4]等领域,鲜有消费级别的应用报道。这些领域对光谱成像的体积、光谱分辨率、时间分辨率的要求和消费电子领域应用的差别巨大。据我们所知,到目前为止,还没有能够嵌入手机的商业化微小型快照式光谱成像相机的报道。华为公司2021 年发布的P50 Pro 和2022 年发布的P50 Pocket 手机,也仅仅是分别嵌入了5 和10 通道的光谱传感阵列,主要用于色温处理[5-6]。但是这种趋势表明,急需能嵌入手机的、消费级别的快照式光谱相机。目前主要技术壁垒在于如何在兼具高光谱分辨率和适中空间分辨率的前提下做到小体积。

根据光谱的获取方式,可以将目前的光谱成像仪分为色散型、滤光片型和干涉型,它们要求的成像光学系统结构差别较大,进而影响光谱重构方式、体积重量等诸多指标。对于扫描式色散型光谱成像仪,其通过摆扫和推扫并结合线阵和面阵探测器件,经过棱镜或者光栅色散原件分光,从而实现光谱和空间维度的成像探测[7];干涉型光谱成像系统虽然能够同时满足高通量和高光谱分辨率的要求,但是其独特的干涉数据获取方式对搭载平台的稳定度及光谱图像反演提出了很高的要求[8]。这两类成像光谱仪由于其体积和重量较大,不适合手机嵌入使用。调谐型滤光片相比于色散型滤光片,无需机械转轮调谐衍射波长,而是采用电调谐和液晶调谐的方式,在加快调谐速度的同时减小了机械误差,但需要多次曝光才可以得到数据立方体[9]。编码成像技术是近年来发展的光谱成像技术,其通过光谱编码和解码,实现高空间分辨率和光谱分辨率[10]。这些技术均需要复杂的光谱图像重构技术,时间分辨率较低且体积庞大,也不适用于手机的应用。

从时间分辨率角度看,快照式成像光谱相机更接近消费级别的应用场景,文献[11]综述了快照式光谱成像技术的相关进展,探讨了图像分割、孔径分割、光路分割和频率分割的光谱成像技术途径,并详细分析了多种技术方案的原理、优点、缺点与现状,从空间像素数与光谱通道数权衡、图谱匹配、空间采样连续性、光能利用率及动态范围5个方面进行了对比和展望[11]。认为在应用快照式光谱成像仪时,应根据实际需要权衡空间分辨率与光谱通道数(光谱分辨率)。

从体积角度讲,能搭载在手机平台上,是快照成像光谱仪快速走进民用消费市场的核心目标。近年来发展起来的片上光谱成像系统将光学元件、探测器以及控制电路全部集成在一个芯片上,已经在多个领域展现出其独特的优越性和诱人的发展前景[12]。尤其是它兼顾了体积、重量以及光谱分辨率、时间分辨率等主要技术指标,然而现阶段均处于实验室研究阶段,距离实际工程应用还有一定的距离。

从光谱分辨率角度看,近年发展起来的深度学习方法,在不增加硬件的前提下,通过前期大量的数据训练,从软件和硬件层面实现光谱识别和分辨率提高。这些成果极大地丰富了成像光谱仪的技术途径,但是离成熟的商用成像光谱仪的技术方案还较远,需要做更多的工作[13-14]。

显然,设计和制造微型光谱成像仪的主要技术难点在于,在较小空间内设计出满足光谱分辨率、空间分辨率和时间分辨率的光学系统结构以及实现光谱成像[11-12,14]。目前报道的可以用在快照式光谱成像仪的光学系统结构[15-16]和滤光结构主要有微纳光栅[17]、微纳滤波芯片[18]、多通道阵列滤光片[14,19]等。滤光片基本采用F-P 腔[12,14,17,19]、亚波长光栅[12,20]、以及超表面[13,18,21]结构。其能够满足CMOS 的像素尺寸和像素规模,在光谱分辨率和空间分辨率之间取得平衡,与实际应用场景相匹配[14]。手机平台不需要高光谱分辨率,中等空间分辨率即能满足消费者的基本应用需求。显然,多通道阵列滤光片技术是实现该应用场景的最有可能的技术途径之一[14,22-24]。

本文采用多通道阵列F-P 滤光片[19]及复合微透镜阵列成像[22],采用集成制造技术,设计并实验验证了一款小尺寸的成像光谱仪,其有效物理尺寸小于Φ6×6 mm。该方案解决了阵列滤光片的制备以及一体化装配等技术工艺,其光谱分辨率为8 nm,光谱范围为0.53~0.68 μm,实验验证了快照式光谱仪的设计指标,证明其具备了嵌入手机等小平台的必要条件。

2 基本原理和技术方案

2.1 基本原理

图1(彩图见期刊电子版)是基于阵列滤光片的光谱成像系统的基本结构,通过阵列滤光片和微透镜阵列复合应用,实现多光谱成像。该成像系统中集成的滤光薄膜阵列和复合微透镜阵列的光学组件是光谱成像的核心部件,决定着系统的技术指标。

图1 阵列滤光片的光谱成像系统的基本结构Fig. 1 Basic structure of the spectral imaging system of an array filter

工作中,物光通过滤光片阵列,进入子孔径成像阵列,成像在CCD 上,由于滤光片阵列的通带不一样,因此各个子孔径成像的光谱成份不一样,通过图像匹配和数据反演,可以获得物体上任一点的光谱成份。实际上,由于各个子孔径的视场存在差异,各个子孔径上的物体像视场也存在差异,需要后续的图像处理进行匹配各个物点,实现光谱曲线提取。

2.2 技术方案和指标

本文选用的CMOS 基本参数指标如表1 所示,根据其有效的图像区域物理尺寸3.6 mm×4.8 mm,设计和其匹配的滤光片和微透镜阵列尺寸。

表1 CMOS 的基本参数指标Tab.1 Basic parameters and indicators of CMOS

为了保证视场以及适应手机嵌入应用,设计了3×4 共计12 个光谱通道,每个子孔径的像方尺寸为1.2 mm×1.2 mm,像方视场由微透镜决定,原理样机的光谱范围确定在0.53~0.68 μm 之间(受限于F-P 腔滤光片的带宽),对应光谱宽度为~100 nm(峰值波长之差);根据通道数(12 个),则系统的光谱分辨率为8 nm。

3 系统设计和实现

3.1 光学组件的设计和研制

光学组件的设计包含滤光片的设计和微透镜阵列的设计两部分。滤光片设计主要采用F-P 腔的基本理论[14,19],通过优选材料色散,选用初始结构,经过膜系优化后,获得的12 通道的波长范围为0.53~0.68 μm,半高宽为8 nm;微透镜阵列的单孔径设计采用高次非球面,光学系统参数和滤光阵列的基本参数如图2(彩图见期刊电子版)所示。

图2 阵列滤光片组件设计方法Fig. 2 Design method of the array filter assembly

3.1.1 膜系设计和制备

F-P 型单腔层滤光片的基本膜系结构为G|(LH)S(a2L)(HL)S|A,G 为基底;A 为入射介质;H 为高折射率材料;L 为低折射率材料;H 和L 表示其光学厚度都为λ/4;(LH)S和(HL)S为F-P 膜系的上下反射膜堆,S 为上下反射堆结构的周期数;(a2L)为整个膜系中的腔层,也称之为间隔层,其中,a 表示窄带滤光片的干涉级次,2L 表示其光学厚度为λ/2。由此,确定膜系结构为:(LH)52L(HL)5,其中,L 表示低折射率材料二氧化硅,H 表示高折射率材料钛酸镧(H4)。经过优化,得到12 通带的窄带滤光片透过率曲线,如图3(彩图见期刊电子版)所示。其透过率保持在90%以上,截至带-40 dB,半高宽平均为8 nm。在0.53~0.68 μm内分布了12 个光谱通道。

图3 3×4 通道滤光片理论透过率Fig. 3 Theoretical transmittance of 3×4 channel filter

采用光刻技术实现阵列滤光片阵列制备的工艺路线如图4(彩图见期刊电子版) 所示。首先,在基底上采用成熟的lift-off 工艺涂敷光刻胶(AZ5214)[19];然后,在图示的掩模板下曝光,掩模板的透过区尺寸为1.2 mm×1.2 mm,经过显影获得需要的单通道图案;在图形化的基底上制备陷波滤光片膜系,最后采用丙酮剥离后,获得图示的多通道结构;经过12 次迭代,获得12 个通道的阵列率滤光片。实验过程中光刻过程的基本工艺参数详细见前期工作[25]。

图4 阵列滤光片的工艺路线Fig. 4 Process route of an array filter

制备的12 通道滤光片的透过率测试结果如图5(彩图见期刊电子版)所示,和设计结果基本吻合。差距主要表现在峰值透过率上,出现差距的原因主要是膜系制备和测试误差。表2 列出了本工作制备的滤光片和其他滤光片的性能对比。可见,相比于采用电子束光刻制备的金属-介质-金属阵列滤光片、超表面滤光片在半高宽以及透过率上优势明显[14,26-28],在主要技术指标,半高宽和峰值透过率上均表现出了较高性能。

图5 测试的12 通道的光谱透过曲线Fig. 5 Spectral transmission test curve for the 3×4 channels

表2 滤光片性能对比Tab.2 Performance comparison of the filters

3.1.2 微透镜设计和制备

采用Zemax 开展设计工作,公式(1)给出了经过优化后的微透镜表面面形函数。

式中,r为非球面上任一点到光轴的距离,c为非球面顶点处的曲率,k是二次曲面的圆锥系数,k<1 表示双曲面,k=-1 表示抛物面,-1<k<0 表示椭球面,k=0 表示球面,k>0 表示扁平椭球面。设计结果为:基圆曲率半径为2.18 mm,c=0.46,k=-0.50,设计的面矢高最大值为82.30 μm。

图6(a)给出了模拟光线追踪示意图。图6(b)给出了3×4 阵列透镜的空间位置关系和几何尺寸,可以模拟成3×4 阵列通道图像(图6(c),彩图见期刊电子版)。设计结果表明系统在7°视场和后工作距为0 mm(镜头和CMOS 胶合) 时,对应单孔径的MTF 值在120 l/mm 空间频率下大于0.3(图6(d),彩图见期刊电子版),说明系统具有良好的成像特性。

图6 微透镜阵列设计结果。(a)光线模拟图,单位mm;(b)3×4 阵列透镜的空间位置关系;(c)模拟3×4 阵列像;(d)MTF曲线Fig. 6 Design results of the microlens array. (a) Simulation diagram of light tracing; (b) spatial position relationship of the 3×4 array lens; (c) simulated 3×4 array images; (d) MTF curves

经过单点车加工后的透镜阵列表面形貌如图7(a)(彩图见期刊电子版)所示,基本工艺参考论文[16]。由图7(a)可以清楚看出12 通道的微透镜阵列。图7(b) 给出7(a)中虚线所示方向的轮廓曲线,和设计的理论曲线相比,复现了设计面型。测试的最大失高为83.48 μm,和设计结果相差1.18 μm,相对误差小于1.4%,可保证后续的成像实验。

图7 微透镜加工效果图。(a)表面形貌;(b)轮廓曲线Fig. 7 Processing effect of microlens. (a) Surface morphology; (b) contour curve

3.2 系统装配和成像分析

为了满足手机狭小空间的需求,装配主要采用胶合工艺,装配中选用的紫外胶合剂参数和胶合工艺参数分别如表3 和表4 所示。为了监控胶合是否对准,采用动态的监控过程。

表3 紫外胶合剂参数Tab.3 Parameters of the UV adhesive

表4 胶合基本工艺和参数Tab.4 Basic gluing process and parameters

胶合前的部件如图8(a)所示,包含微透镜阵列,阵列滤光片以及CMOS 芯片。胶合后的快照光谱成像仪如图8(b) 所示,其镜头的有效尺寸为3.6 mm×4.8 mm,完全容纳在直径为6 mm 的圆内,匹配CMOS 的有效敏感面积;所设计的微透镜阵列厚度为5 mm,滤光片厚度为0.5 mm,合计不超过6 mm,具备了嵌入手机的必要条件。

图8 (a)装配前及(b)装配后的快照式光谱相机Fig. 8 Snapshot spectral camera (a) before assembly and(b) after assembly

4 实验验证

图9(a)(彩图见期刊电子版)给出了成像验证的具体光路和配置图,通过更换目标物体的颜色(光谱)来模拟不同的光谱目标,作为光谱成像系统的输入。图9(b)(彩图见期刊电子版) 给出了图9(a) 中绿色目标的12 通道光谱像,其中通道1 到12 分别对应图5 中的12 个波长通道。这12 个通道的能量强弱不同,由此可以获得输入物体含有的不同光谱成份。将目标物体的颜色分别换为白色、红色和蓝色后,对应的12 通道光谱像分别如图9(c)~9(e) 所示。显然对于同一目标的12 通道图像,其强弱分布不同,这表明目标含有不同的光谱成份。

图9 实验测试结果。(a)光学布局;(b)绿色、(c)白色、(d)红色、(e)蓝色物体的光谱像Fig. 9 Experimental test results. (a) Optical layout; spectral images of a (b) blue, (c) white, (d) red and (e)blue object

对于绿色目标,含有的光谱成份主要集中在绿色光波段,所以通道1-4 的光强明显高于通道9-12;对于红色目标,通道9-12 的像光强明显高于其他通道,符合红色目标的光谱成份;而对于蓝色目标的光谱像,光谱成份超出了系统的光谱范围,但是其仍然具有光谱分辨能力,其12 通道的像强弱明显不一致;对于白色目标,同时含有红色、蓝色和绿色目标像的光谱信息,因此从12 通道的目标像上看,相对于绿色和红色目标像,其12通道的强度都较强,符合实际目标的光谱成份。

由图9 可知,模拟的光谱物体(图9(a))中的图像边缘轮廓清晰,而实验获得的光谱像边缘模糊,和图6(a) 给出的MTF 相差较大。原因在于图6(a)给出的仅仅是单孔径的模拟曲线,实际拍摄中,由于相邻孔径之间的干扰较大,实际的分辨率距离理论MTF 较大,造成实际光谱像边缘模糊。

另外,对应同一物体的12 通道的光谱像,通过选取12 通道目标像上同一位置的信号强度(图9(b)中红色五角星所示位置),即可获得物体上该点的光谱曲线。图10 给出了图9(b)上图示点的光谱曲线(虚线),同时也采用了光纤光谱仪测试了该位置点光谱成份曲线(实线),二者具有类似的变化趋势。由于目标是绿色物体,其光谱主要集中在绿色波长的谱段,所以540~580 nm 波段强度相对较高;成像光谱仪的光谱曲线较光纤光谱仪测试曲线有20 nm的红移,原因在于图中选点位置和光纤光谱仪测试的位置存在偏差,而且所研制的样机相邻通道存在串扰,这两个原因共同导致该红移。

图10 图9(b)所标点的光谱曲线(实线:微光纤光谱仪测试结果,虚线:成像光谱仪测试结果)Fig. 10 Spectral curve marked in Fig. 9 (b) (solid line: micro fiber spectrometer test results, dotted line: imaging spectrometer test results)

本文的光谱标定方法和传统光谱仪不同,传统光谱仪标定主要工作是:确定线阵CCD 像素对应的光谱波长。由于成像系统具有非线性,因此需要波长标定[29-30]。本文中的光谱准确度其实源自滤光片透过率测试的准确性,测试滤光片透过率的设备是经过国防一级计量站定标的分光光度计。成像系统中CCD 被分割成3×4=12 通道,每个通道对应一个光谱像,其对应的定标波长就是滤光片的中心波长[12,24]。

表5 给出了所研制的快照式光谱仪的技术指标和相关文献报道的光谱成像仪的对比情况。从表中可以看出,目前报道的成像光谱仪最小尺寸在,均远远超过手机嵌入式镜头的基本尺寸(Φ8×6 mm)[22,31-33];另外,从光谱分辨率角度分析,本文实现的硬件分辨率达到了8 nm,均优于其他文献报道的光谱分辨率,略低于文献[22]计算重构后的分辨率[22],但经过后续的超光谱算法,有望实现更高的光谱分辨率。

5 目前的不足和后续研究

根据硅探测器的光谱范围以及实际光谱识别物体的需要,光谱范围为400~1 000 nm,分辨率需达到2 nm 以下,本文设计的快照式光谱成像仪可以满足实际的部分需求,比如色温测量、农药残留等[4-6]。目前研制的样机离应用还有差距,是下一步努力的方向。

另外,众所周知,光谱分辨率、空间分辨率以及光谱范围三者是相互制约的关系,依靠硬件手段同时使三者满足要求,实际设计中存在巨大的困难[14-15],并且还受限于手机平台的尺寸要求。作者认为通过深度学习算法实现光谱分辨率超分辨是解决此类问题的有效方法。对于这一点,也有相关的研究。2021 年,Zhang 等人指出经过深度学习,实现了光谱超分辨,验证了该方法的有效性[22],但尚需要进一步缩小镜头尺寸,以适应手机等平台的尺寸要求。

标定涉及到两类参数定标:一是光谱定标;一是辐射定标。从消费应用层面来看,光谱定标更重要,因为后续应用场景主要是利用光谱的特征峰开展物体识别[4]。而辐射定标对于专业的测试计量意义较大。论文研制的这类多孔径系统,确实普遍存在视场不一致的事实[15],该视场差会导致图像相面辐照度不均匀,其影响的是光谱曲线强度的准确性,而不会影响光谱定标的准确性。而面对嵌入手机成像光谱仪的应用场景,更关心的是波长准确性,少许的强度偏差可以通过后续的软件算法和深度学习修正,这些工作将在二代工程样机中实现。

6 结 论

面向手机内置光谱成像的迫切需求,解决目前智能手机端无法实时获取成像光谱信息的行业痛点,开发出一种快照式紧凑型光谱成像仪。 通过精密光学设计、复杂光场调制、先进的光学制造和装备,实现光谱、空间等多维度信息的融合获取。其光谱分辨率为8 nm,光谱范围为0.53~0.68 μm。实验研究验证其可以实现不同颜色的实物成像,获得任意物体部位的光谱曲线,快照式光谱仪的设计指标初步具备了嵌入手机平台的基本条件。未来有望搭载手机平台,应用于重金属残留、水果蔬菜的农药残留、色温、儿童玩具衣服荧光剂残留、女性化妆品鉴别等领域检测和识别。

猜你喜欢

滤光片快照光谱仪
自支撑Al滤光片的制备
面向Linux 非逻辑卷块设备的快照系统①
EMC存储快照功能分析
结合三反消像散光学系统的中阶梯光栅光谱仪设计
科学DIY制作光谱仪,看到光线中的秘密
某光电观测仪图像非预期切换原因及解决措施
手机摄像模组跌落仿真与优化
一种基于Linux 标准分区的快照方法
光谱仪告诉你苹果熟不熟
可调谐滤光片的透射谱研究