刘 璇，李瑞强，李 力，金伟其，程宏昌，闫 磊，郑 舟

（1. 北京理工大学 光电学院 光电成像技术与系统教育部重点实验室，北京 100081；2. 微光夜视技术重点实验室，陕西 西安 710065）

引言

传统的夜视技术拓展了人类夜间视觉，但只能提供单色视觉[1]。上世纪末国际上提出彩色夜视技术概念，旨在利用人眼颜色分辨力远强于灰度，以增强人眼夜间视觉观察效果。彩色夜视技术发展至今，主要有伪彩色技术、假彩色技术、真彩色技术[2]。伪彩色技术通过灰度图像编码来获得彩色图像[3]，但是色彩只能作为简单标识，与人眼认知不一致，不适合长期观察；假彩色技术通常利用多波段信息，例如基于色彩传递的微光与红外图像融合技术[4–6]，能够获得具有自然感的彩色成像效果[7]；真彩色夜视技术是最理想的实现方式，相比较前2 种通过图像处理算法的彩色化方法，真彩色技术可以在硬件上获得夜间可见光波段红(red,R)、绿(green, G)、 蓝(blue, B)光谱特征，匹配人眼标准三刺激值曲线，再辅以色彩校正等处理，实现与人类大脑的色彩认知一致的彩色夜视图像[8]。

彩色成像系统是在探测器前加滤光片以获得不同波段的信息，最后还原出RGB 彩色图像。目前的真彩色夜视系统主要有2 大类：

1） 基于硅（Si）基高灵敏度CCD/CMOS 的彩色微光夜视技术。随着Si 基探测器灵敏度的提高，基于CCD/CMOS 的彩色成像技术也逐渐向低照度方向延伸，其工作照度已经拓展到10−3lx 传统微光夜视领域[9]，彩色微光夜视自然也成为人们的关注点。与单片式彩色CCD/CMOS 采用的RGGB 拜尔滤光片不同，为了提高低照度成像信噪比，通常滤光片阵列采用了新型RGB+白(white, W)、RGB+近红外(near infrared, NIR)等模式，包含了近红外信息，需要通过后续图像色彩重构算法，才能有效恢复景物的RGB 信息，在月光条件下实现与人眼视觉一致的真彩色成像，但在更低照度（星光）条件下，仍需切换至单色模式[10]。典型产品有：2006年BATC 公司Gerald B.Heim 等采用彩色滤光片阵列研制了低照度EMCCD 彩色相机[11]；2009 年SENSATA 公司Dirk Hertel 等利用RGB+全通滤光片阵列耦合低照度CMOS，实现真彩色夜视系统[12]；2014 年PHOTONIS 推出了RGBW 滤光片阵列的彩色低照度CMOS 相机NOCTURN U3，可在2×10−1lx以上获得真彩色图像，在此照度以下自动转为黑白模式[13]。

2） 基于高性能像增强器的彩色夜视技术。由于光敏面与数字采集面分离，通常采用分光或机械/电调制彩色滤光片获得彩色夜视成像。典型产品有：1996 年McDonnell Douglas 公司基于像增强器和可调电光滤波器的彩色夜视头盔[14]；2007 年美国Tenebraex 公司基于像增强器和转轮三色滤光器的彩色夜视设备(color capable night vision device,CCNVD)[15]；2015 年陈一超等人基于二代像增强器设计的彩色夜视方案[16]；2019 年袁滔等基于三代像增强器和电控三色滤光器的彩色夜视系统[10]。由于彩色滤光片的存在，彩色ICCD/ICMOS 的综合灵敏度有明显衰减。基于高性能像增强器的彩色夜视技术通常最低工作照度相比单色提升1～2 个数量级。

近年来，随着国产高灵敏度电子轰击有源器件阵 列(electron bombarded active pixel sensor, EBABS)的发展[9]，有望在环境照度10−4lx 条件下实现彩色夜视成像。EBAPS 属于真空-固体混合型微光成像器件，既有真空像管的高增益特性，也具有固体成像器件的数字化特性。EBAPS 的成像原理如图1 所示。其成像过程包括：① 光电阴极吸收光子，使电子得以发射；② 高压加速电子；③ CMOS传感器收集电子；④ 数字视频输出。由于光电阴极属于半透明薄膜，昼间也可以直接透过光电阴极成像在APS 上，实现昼夜观察成像。

图1 EBAPS 成像原理示意图Fig. 1 Schematic diagram of EBAPS imaging principle

本文基于国产EBAPS 和三色液晶可调制滤光片，搭建了彩色微光EBAPS 成像系统，并基于EBAPS的成像特性，设计出防过曝白平衡和色彩校正算法，最后通过实验验证系统在5×10−4lx 照度下的工作性能。

1 彩色微光EBAPS 成像系统的构成

如图2 所示，彩色微光EBAPS 成像系统由物镜、三色液晶可调制滤光片(liquid crystal tunable filter, LCTF)及其控制器、EBAPS 相机和PC 机组成。物镜透过分光器成像在微光成像探测器组件的成像面上，在EBAPS 电路帧同步信号驱动下，处于外触发状态的三色LCTF 可通过控制器的调制信号逐次改变R、G、B 滤光状态，EBAPS 同步采集连续帧图像，在完成1 个RGB 滤光循环采集后，系统将采集的相邻RGB3 帧数字图像进行微光夜视彩色重构处理，输出最终的彩色微光夜视图像。系统模型如图3 所示。

图2 彩色微光EBAPS 图像采集实验系统Fig. 2 Experimental system of color low-level-light EBAPS image acquisition

图3 系统模型Fig. 3 Diagram of system model

1.1 系统物镜

由于EBAPS 从入射窗到成像面的距离dc为8.9 mm～9.9 mm，三色LCTF 的厚度dlctf为25 mm，已远超普通工业相机的C/CS 接口法兰距，假设dd1(=4.8 mm)为入射窗前端余量，dd2(=5 mm)为系统转接环中间部分的厚度,dn(=10 mm)是其他余量，则镜头的后截距df应满足：

系统采用的物镜为PENTACON M55 定焦镜头，其光圈数为1.8，焦距为50 mm，后截距为55 mm，符合设计要求。

1.2 三色LCTF 及其控制器

LCTF 要求具有足够快的转换频率，以保证在时分3 帧合成1 帧的成像帧率。由于人眼视觉残留决定成像帧频需达24 f/s 以上，故LCTF 的转换频率应大于72 Hz。为保证低照度下的成像灵敏度，入射光经过光学元件时应具有较高的透过率，因此要求液晶滤光器的透过率足够高，且各子波段的光谱宽度较好，以减少光能损失。从成像色彩质量要求来看，通常选择3 种滤光状态，如RGB或其补色(补色的光谱透过率曲线通常更宽，可提高光能利用率)，以获得相对较好的源彩色。鉴于以上考虑，系统采用了美国Meadowlark Optics 公司三色LCTF，其包含LCTF 模块（如图4(a))和控制器(如图4(b))，具有超小型化、宽光谱、超高偏振透过率、超快调制频率等特点，可通过控制软件(控制器具有Labview 和C++程序接口，可对调制参数进行二次开发)或外触发方式在红光R(680 nm)、绿光G(550 nm)和蓝光B(450 nm) 3 个不同中心波长谱段(如图4(c))间实现快速转换。为了满足不同应用需求，还可对中心波长、光谱范围和通光口径提供定制化服务，为后续拓展到近红外提供可能。LCTF 的最小光谱切换时间为10 ms，转换频率为100 Hz，通光口径为22 mm。

图4 Meadowlark Optics 的三色LCTF 及其控制器Fig. 4 Three-color LCTF and its controller of MeadowlarkOptics

1.3 微光成像探测器组件

采用国产EBAPS 成像器件，GaAs 三代光电阴极具有超高灵敏度和低噪声，入射窗口直径20 mm,基本与LCTF 同光口径相匹配，APS 光敏面像素规模达到2 k×2 k，像素尺寸11 μm，最大帧率可达48 f/s，峰值量子效率达到95% (@ 560 nm)，动态范围大于60 dB，读出噪声小于1.6 e−。

最终搭建的彩色微光EBAPS 成像系统如图5(b)所示。整体机箱长宽高150 mm×100 mm×130 mm（不带镜头），内置EBAPS 电路(如图5(a))长宽高约为48 mm×65 mm×74 mm。

图5 EBAPS 及其系统实物Fig. 5 EBAPS and physical integrated system

几种典型光电阴极的光谱响应如图6 所示。需要指出的是，彩色微光EBAPS 成像系统的响应与光电阴极的响应光谱灵敏度以及LCTF 的光谱透射比密切相关。对于图4(c)所示的LCTF，其光谱透过率基本截止于800 nm 以下，并没有完全发挥GaAs 光电阴极的近红外响应，但较适合于GaAsP光电阴极。根据文献[9]可知，若设GaAsP 光电阴极积分和光谱灵敏度分别为SGaAsP和SGaAsP(λ)，GaAs光电阴极积分和光谱灵敏度分别为SGaAs和SGaAs(λ)，M(λ)为对应照明光源的相对辐射光谱分布，对应LCTF 的C 通道光谱透过率为τC(λ)，则为了描述LCTF 的通道在特定照明条件下，GaAsP 光电阴极与GaAs 光电阴极的匹配效率，定义匹配系数比为

图6 几种典型光电阴极的光谱响应Fig. 6 Spectral responses of several typical photocathodes

因此，在接近夜视照明A 光源(色温为2856 K)下， GaAsP、GaAs 光电阴极的匹配系数比为

可以看出，目前成品LCTF 在A 光源下更适合GaAsP 光电阴极，但从充分利用夜天光光谱的近红外能量角度来看，未来宜采用GaAs 光电阴极及设计定制3 波段LCTF，使得LCTF 与GaAs 光电阴极更为匹配，以获得更佳的彩色光谱灵敏度。

2 彩色微光EBAPS 成像系统的色彩增强处理

彩色微光夜视EBAPS 成像系统在低照度环境下工作时，信号强度较弱，信噪比低，存在一些散粒噪声和闪烁噪声，同时夜间场景往往存在局部高亮景物(如楼房窗户灯光、远处的路灯等)，成像时容易发生局部过曝和，在图像中出现“白斑”。

根据色彩恒常性理论[17]及其一些算法假设[18]，结合彩色微光EBAPS 成像系统信噪比低、信号强度微弱等特点，对彩色微光EBAPS 成像系统的各通道源图像进行图像灰度拉伸、色彩白平衡、色彩校正等色彩增强处理，实现微光夜视系统源图像的色彩恢复。相较应用于常规低照度成像设备(普通数码相机、手机相机)的白平衡算法，其鲁棒性更适合微光夜视成像处理。

2.1 防过曝拉伸

为了提升图像亮度，便于观察和后续色彩增强处理，需要对获得的低强度源图像拉伸。通常对各通道信号等幅拉伸，以亮度最大的图像通道为拉伸基准。设Rmax,Gmax,和Bmax为源图像中各通道像素最大值，则拉伸系数为

在实际场景微光成像过程中，图像噪声、局部区域过度曝光等会对像素最大值的寻找造成困难，即图像中像素最大值可能是白噪点或过曝区域值，如图7 所示。简单地取各通道图像最大像素值往往会造成错误的通道拉伸，进而导致白平衡失败。因此，本文的图像拉伸算法考虑了以下2 点：1) 正确的景物像素最大值应为图像像素集而非少量单一像素点；2) 达到图像极限灰度级的像素集往往是过曝区域，而非正确的景物像素值最大值（即使是正确的值，取相邻灰度级也可得到满意的拉伸效果)。

图7 EBAPS 成像过曝区域及噪声点Fig. 7 Imaging overexposed areas and noise spots of EBAPS

图像拉伸算法需要计算图像的直方统计TRi、TGi、TBi(i=0,1,2,…,255)，表 示 各 通 道 中 灰 度 级 为i的像素数。以上述2 点考虑为限制条件，去掉最大灰度级255，向下遍历其他灰度级，找到满足条件的像素值。首先确定像素集大小Nmin，根据成像场景不同可做调整，通常取：

式中P为图像总像素数。以R 通道为例，则正确的最大像素值Rmax应满足条件

同理，可得Gmax和Bmax，从而求得拉伸系数ρ。

为了防止过曝区域扩大，大于最大像素值Max(Rmax,Gmax,Bmax)，过曝区域要压缩到正确范围，即：

式中：Roe、Goe、Boe表示过曝区域的像素值。

2.2 白平衡处理

人眼对色彩的感知具有恒常性，即不论当前光源色彩怎样，人眼对某一种物体的色彩认知始终是一致的。比如在夜天光环境下，人眼仍然能判断出树叶是绿色的，因此，色彩恒常性取决于照明条件、物体表面属性、视网膜处理、记忆色等多方面因素[18]。

彩色系统不具有类似人眼的色彩恒常能力，只能反映物体反射光的强度，随着光源光谱改变，其接受的颜色刺激也就随之改变，反映为最终成像色彩整体偏移。因此，白平衡处理的作用就是消除光源色温的影响，恢复色彩偏移，实现色彩恒常性。常见的白平衡方法有灰度世界法和白块反射法[19]。灰度世界法基于灰度世界假设，通过计算图像的某种平均颜色来估计光源色，以实现色彩恒常性。这就需要色彩丰富的场景，而实际的夜视场景单一，灰度世界法并不适用。

本文算法基于白块反射法[19]，根据夜视系统的特点进行了改进。首先，白块反射法是在图像中找出一个白块，它会反射光源的全部辐射，那么白块像素值就是光源的三刺激值，完全反映了光源的色偏情况，可以用白块像素值对各色彩通道拉伸，使三通道值相等，最终获得色彩恒常性描述子，即景物表面反射率的估计，实现色彩恒常性。设彩色微光源图像像素值为Ro、Go、Bo，白平衡后的像素值为R′、G′、B′，白平衡系数为α、β、γ，拉伸系数为ρ，则有：

在某种光源(如A 光源)下，用彩色微光夜视实验系统采集标准白板图像，调整系统积分时间，使亮度最大通道中白板图像刚好不过曝，记下另外2 个通道中白板的像素值。本系统中，R 通道强度最大，α=1，另外2 个通道的白平衡系数分别为

式中：Rmax,Gmax,和Bmax分别为源图像中各通道的白板像素值。

标准色卡如图8 所示。其中22 号色块代表中性灰，其光谱反射率为18%，且光谱特性整体较为平坦。19 号白色块反射率为95%，光谱特性整体较为平坦，但在紫色到深蓝色之间反射率陡降，如图9 所示。

图8 实验所用标准色卡Fig. 8 Standard color checkers used in experiment

图9 色块光谱反射率Fig. 9 Spectral reflectance of color blocks

由于光源偏移、滤光片三通道透过率不相等、光阴极响应不均匀等问题，仅通过一个标准白色色块来调整各彩色通道，会使得结果产生较大偏移，因此，需要再选择一个标准中性灰色块辅助完成白块反射法。拉伸变换不仅使白块的RGB 三通道值相等，还使中性灰块的RGB 三通道值也相等。因此，改进的白平衡变换形式为

式中：下标22 代表22 号中性灰色色块的三通道值；下标19 代表19 号白色色块的三通道值。

2.3 色彩校正

由于彩色成像设备的原光谱响应与国际照明委员会 (Coherent Infrared Energy, CIE)标准曲线偏离线性齐次关系，为了使系统响应三刺激值逼近CIE 标准曲线，需要通过色彩校正矩阵(color correction matrix, CCM)将系统空间变换至标准空间中，设计特定的损失函数和回归方法，通过色卡的多个数据对训练求解CCM，最后得到色彩校正结果

色彩校正算法首先要获得相互对应的系统三刺激值和标准三刺激值。传统线性色彩校正方法认为，在同一光源下，不同颜色空间的三刺激值之间满足线性变换关系

式中：[RS,GS,BS]T和[RM,GM,BM]T分别为标准三刺激值和测量三刺激值；TCCM为转换矩阵。式中9 个系数中只有8 个是独立的，理论上通过4 个已知点在新旧颜色空间中对应的坐标即可求解方程，通常4 个已知点选3 个原色点和参考白点。

由于彩色微光夜视系统的光谱响应与CIE 标准曲线偏离为线性齐次关系，仅用4 个已知点会造成过拟合，因此，拟采用多个色块（>4）的最小二乘拟合法(ordinary least square regression, QLSR)或者偏置最小二乘拟合法(partial least square regression,PLSR)来求解变换矩阵CCM，计算形式如表1 所示。

表1 回归方法及其计算形式Table 1 Regression method and its calculation form

实际计算时，首先需要在特定光源拍摄标准色卡。实验用24 色标准色卡包含了18 个非灰度色块，根据这18 个非灰度色块均匀区域的均值得到测量矩阵Pi(i=1, 2, …, 18), 大小为n×18，标准矩阵Qi(i=1, 2, …, 18), 大小为m×18，n和m表示所用颜色空间的颜色分量。

由于彩色微光夜视系统图像信噪比低，图像质量差，需要引入不同的非线性颜色空间模型以及尝试不同的回归方法，以避免噪声放大。本文尝试引入2 种颜色空间模型，如表2 所示，用这2 种回归方法(见表1 所示)来讨论色彩校正效果。颜色空间模型分别为线性模型和一种非线性模型，前者标准值和测量值都为[R G B] 3 个颜色分量，最后求得的TCCM为3×3 矩阵。后者标准值为[R G B] 3 个颜色分量，测量值为[R G B 1] 4 个颜色分量，最后求得的TCCM为3×4 矩阵。

表2 颜色空间模型Table 2 Color space model

如图10 所示，偏置最小二乘法比普通最小二乘法的效果更具优势。通过引入L2范数惩罚项，可保证PPT+λI项可逆，且在求逆运算中不会引入严重的舍入误差，相比于传统最小二乘法能够获得更好的鲁棒性，且复合模型比线性模型更适应彩色微光夜视系统的非线性响应等。选择复合模型和偏置最小二乘法能够得到较准确的色彩还原，且不会过分地放大噪声，便于人眼观察。因此色彩校正处理方法选择复合模型+偏置最小二乘拟合法。

图10 2 种颜色空间模型与2 种回归方法计算彩色校正结果Fig. 10 Color correction results calculated by two color space models and two regression methods

3 实验及结果分析

3.1 实验方案

1) 光源。选取光源主要考虑景物颜色复现准确性，使用接近自然光光谱成分的标准光源进行成像实验，并进行白平衡标定。影响色彩校正最重要的色彩还原能力的2 个指标是色温和显色性，只有具备了一定色温和显色指数的光源才能够被称为标准光源。实验用标准A 光源(色温2 856 K)，其光谱连续且含有较多的近红外信息，照度可调节范围为5×10−5lx～100 lx，光源出射光谱范围为400 nm～1 800 nm。

2) 成像目标。不同彩色校正算法主要考察边缘清晰度及颜色准确度，场景应包含丰富的纹理和颜色。为此，采用色品坐标已知的标准色卡来评价色彩还原的准确性(其中包含18 个彩色色块，6 个灰度色块)。

3) 光照条件。照度条件等级设置为5×10−1lx，1×10−1lx，5×10−2lx，1×10−2lx，5×10−3lx，1×10−3lx，5×10−4lx，1×10−4lx 共8 个档次，事先已标定，因此，实验中无需再使用照度计。

在暗室环境中，使用EBAPS 彩色微光成像系统对目标场景成像，将系统采集到的RGB 源图像经过白平衡算法以及色彩校正后，得到该光源下的最终彩色夜视图像。

3.2 评价指标

成像系统常用的客观评价指标分为有参考的客观评价指标和无参考的客观评价指标。对于本系统来说，主要评价彩色成像效果，因此评价指标主要从色彩准确性和饱和性考虑。色差是有参考的客观评价指标，指定标准色卡的三刺激值作为色差指标的参考，饱和度是无参考的客观评价指标[18]。

1) 1976 CIEL*a*b*均匀颜色空间色差ΔE

CIEL*a*b*均匀颜色空间色差ΔE可表示[20]为

式中ΔE值越小，表示图像色彩偏差越小，单位为NBS。

2) 饱和度S

饱和度可由RGB 色彩空间到HSV 色彩空间的转换得出，计算公式如下：式中S分量即为饱和度。S越大，饱和度越高，色彩越鲜艳。

3.3 实验结果

由于EBAPS 在低照度环境下会增加较高电压进行电子轰击，能量倍增是非线性的，因此，在较低照度下，图像的噪声呈指数性放大，且会显露出一些如脏点等工艺缺陷，进而对白平衡即色彩校正带来影响。场景1 如图11 所示。图11 中只拍摄标准色卡的画面，从左到右依次为每个照度下的原图像、拉伸图像、白平衡图像、色彩校正图像,利用19 号白色色块和22 号中性灰色块用来进行白平衡校正，1～18 号色块用于色彩校正。在某种特定光源下，白平衡校正系数与CCM 是系统的特性，可用于处理同光源下其他场景图像。在同样实验条件下，增加彩色物体作为拍摄目标，场景2 包含色卡和其他一些彩色目标，比如红旗、绿萝、蓝色纸袋、黄色卷尺盘等。对于场景2 的图像处理，使用场景1 计算得到的白平衡系数、TCCM对场景2 的图像进行处理，场景2 处理结果如图12所示。从图12 可以看出，在A 光源影响下，初始拉伸图像整体偏红，场景中不同颜色目标无法分辨，经过白平衡处理和色彩校正后，目标物的颜色得到还原，红色国旗和蓝色纸袋差别明显，同时还可以看出标准色卡的色块饱和度得到提升，颜色更加鲜艳。

图11 场景1 在不同照度下图像处理效果Fig. 11 Image processing effect under different illuminance in scene 1

图12 场景2 在不同照度下图像处理效果Fig. 12 Image processing effect under different illuminance in scene 2

为了验证本系统及色彩增强算法可以在低照度下获得真彩色图像，使用色差指标来评价色彩校正处理效果，色差越小越好，同时使用饱和度指标来评价色彩丰富度，饱和度越高越好。场景1 图像评价指标参数如表3 所示。从表3 可以看出，白平衡后的图像色差相比拉伸后的图像已有降低，但在极低照度下起到反作用，主要是由于极低照度下高压导致的增益非线性所致，而色彩校正后图像的色差相比于拉伸后的图像明显下降，因此色彩校正算法可有效提升色彩准确性。白平衡虽然在一定程度上提升了色彩准确性，但是图像颜色饱和度较低，图像整体黯淡，而色彩校正后的图像饱和度明显提升，色彩更加鲜艳。

表3 场景1 图像评价指标参数Table 3 Image evaluation index parameters of scene 1

主观来看，不论是场景1 还是场景2，经过白平衡的图像能够有效解决系统色偏问题，经过色彩校正后，图像颜色更加明显，色块之间的差异也能显著呈现，且场景2 中的红旗等物品的颜色也更接近真实色彩。因此，获得基础的彩色重构图像后，进行白平衡处理以及色彩校正等增强处理是必要的。实验结果表明，照度在5×10−3lx 以上，图像可以获得较为准确的色彩，有望实现真彩色成像；照度在5×10−4lx 以下，图像色彩发生偏移，噪声被放大，虽然色彩不够准确，但是经过色彩增强处理后，图像细节突出，对比度提升，可视性提高，可实现自然感彩色成像。

4 结论

EBAPS 的高灵敏度特性使得超低照度下彩色夜视成为可能，本文搭建了基于三色LCTF 的彩色微光EBAPS 成像系统，并根据彩色微光成像系统的特点，设计了防过曝拉伸、白平衡、色彩校正等色彩增强算法。实验结果表明，本系统可在5×10−3lx 照度下实现真彩色成像，经过色彩增强处理后图像饱和度提升，色差减小，图像细节突出，可视性提高，在5×10−4lx 照度下可实现自然感彩色成像。

本文方法验证了基于三色LCTF 的彩色微光EBAPS 成像系统的技术可行性，进一步完善了系统结构设计、图像处理算法优化以及降低微光图像噪声，特别是通过对LCTF 透过率曲线的优化，充分发挥三代像增强器的近红外响应优势，在5×10−4lx 照度下获得了较好的自然感彩色微光EBAPS图像。