陶淑苹 ，冯钦评，陈晓龙,2，郑亮亮，张紫玉,2，高 倓,2

（1. 中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033；2. 中国科学院大学, 北京 100049）

1 引 言

时间延迟积分（Time Delay and Integration，TDI）技术，通过对同一列像素信号在扫描运动的同时多次延时累加，可在低照度、快速扫描条件下，获得高灵敏度、高空间分辨率的图像，因此被广泛应用于航空、航天遥感相机中。

然而传统实现TDI 的TDI CCD 器件存在功耗大、成像控制复杂、级数不可连续调整等固有缺陷。为了解决上述问题，必须从CMOS 传感器入手，寻求实现TDI 的新方式。因此，MAYE R、ERCAN、XU、NIE 等人分别提出了不同的片上TDI CMOS 设计方法[1-5]。为了摆脱器件束缚、增强灵活性，学者们进一步提出了数字域TDI CMOS[6-11]。

调制传递函数（Modulation Transfer Function，MTF）是遥感相机成像质量的重要评价指标之一，为了深入了解成像系统的传函特性，多年来研究人员开展了大量研究工作。TDI CCD 在轨飞行成像过程中MTF 下降分析在卫星研制领域得到广泛研究，所采用的理论是通过像移分析TDI CCD推扫成像过程中对MTF 的影响[12-13]，但是TDI CCD 与 CMOS 在像元结构、电荷转移、信号累加方式等各方面都存在巨大差异，TDI CCD 的传函及像移模型并不适用于TDI CMOS 成像系统。

Fillfactory 公司LEPAGE G 针对提出的TDI CMOS 传感器设计架构给出了简单的MTF 讨论分析[2]，但该方案不适合多次采样叠加的数字域TDI CMOS 成像系统，也没有考虑成像过程中有关因素对MTF 的影响。2015 年，韩国空间研究院和天津大学分别提出通过缩短曝光时间来降低运动模糊引起的TDI CMOS 传函下降[14-15]，但降低了系统信噪比，且均未涉及降质模型研究。天津大学研究团队首次基于TDI CMOS 传感器开展了像移降质模型研究[16-18]，但只考虑了过采样叠加和线性像移失配对MTF 的影响，未考虑传感器快门、卫星姿态变化、轨道运动、振动等因素的影响。

综上，目前对于数字域TDI CMOS 相机像质下降的研究十分有限，相关研究工作主要集中在线性像移失配对MTF 影响分析层面，未系统深入地揭示数字域TDI 在轨动态成像过程MTF 下降因素及机理。

本文从数字域TDI 成像原理出发，结合理论建模和仿真分析，研究数字域TDI CMOS 遥感相机动态成像过程中像元结构、电子快门、曝光时间、振动对成像质量的影响，得出数字域TDI CMOS 遥感相机像质下降模型，最后结合成像实验结果进行讨论。

2 数字域TDI CMOS 成像原理

数字域TDI 是指将时间延迟积分的操作借助现场可编程门阵列（FPGA）、外部存储器等在模数转换后的面阵图像信号上完成，这是近些年对于多模态和小型化高光谱遥感成像需求日益急迫的情况下提出的新兴成像模式。

数字域TDI 算法基本原理如图1 所示，以同列像素逐行累加为例，在推扫成像过程中，目标依次经过CMOS 像素阵列的不同像元行。在第一个行周期，利用第3 行像元（1 级像元）对目标成像。在第二个行周期，目标相对传感器在像面移动一个像元位置，此时CMOS 像素阵列第2 行像元（二级像元）与上一帧图像的第3 行图像恰好对应同一目标，两信号累加后进入下一级积分。依次类推，直到第M个行周期，第M级像元信号与前面共M-1级像元对同一目标的信号累加后，输出积分信号。

图1 数字域TDI 算法原理图Fig. 1 Schematic diagram of TDI algorithm in digital domain

根据上述描述，数字域TDI 成像基本原理与TDI CCD 并无区别，都要求在扫描成像过程中每个行周期目标投影在像面恰好移动一个像元位置的距离。但同时也存在明显差异，即数字域TDI 成像M级积分经过了CMOS 传感器M次快门曝光以及M次信号重采样。

3 数字域TDI CMOS 系统传函模型

数字域TDI CMOS 遥感相机成像过程中MTF将受到多种因素的影响。将干扰因素分解为相对独立的离散单因子，包括目标、光学系统、大气、离焦、像移、CMOS 像元结构、快门、曝光时间、采样累加方式、级数、位姿（轨道、姿态角）变化、振动。最终，数字图像的调制度可近似描述为各环节调制传递函数的乘积。因为目标、大气、光学系统、离焦、线性像移失配这些环节与TDI CCD 成像系统一致，而且其研究已经相对成熟，因此本文选择异于TDI CCD 遥感相机的其他几个关键因素进行分析。

3.1 像元结构对MTF 的影响分析

在CMOS 有源像素传感器(APS)阵列中，每个像元由2 个功能部分组成：一部分为发生光电效应的有效区域，称为光敏元；另一部分是用于将收集的电荷读出的控制电路。显然，APS 像元的填充因子小于100%。文献[12-13]等在分析CCD动态传函时未考虑孔阑的影响，是因为CCD 的填充因子接近100%，但CMOS APS 与CCD 不同，在分析CMOS 图像传感器的动态传函时还必须考虑孔阑影响。

如图2 所示，定义垂轨方向为x轴，沿轨方向为y轴。以L形有效区域像元结构为例，图中P代表像元尺寸，ai（i=1,2）代表垂轨方向的像元有效获取尺寸，Ai（i=1,2）代表沿轨方向的像元有效获取尺寸，灰色区域对光不敏感。

图2 “L”形有效区域像元结构图Fig. 2 Pixel structure of 'L' shaped effective area

对于辐射强度为I(x,y)的目标场景，经过探测器光电感应输出电信号可表示为：

式中，h(x,y)为CMOS 传感器脉冲响应函数。通常情况下对其进行傅立叶变换即可得到传感器的MTF。为便于分析，首先计算得到单方向单个矩形的脉冲响应传函：

然后通过将“L”形分解为2 个矩形，得到由于孔阑特性曲线产生的MTF：

式中， α为垂轨方向权重， β为沿轨方向权重，ai,am为 垂轨方向的像元有效获取尺寸，Ai,Am为沿轨方向的像元有效获取尺寸。

利用式（3）在同一像元尺寸下分别选取0.85、0.65、0.5 三种开口率，得到不同开口率下MTF 曲线如图3（彩图见期刊电子版）所示。

图3 不同开口率下TDI CMOS 的MTF 曲线Fig. 3 MTF curves of TDI CMOS at different opening rates

分析图3 可知，CMOS 传感器像元对传函的影响与像元感光区域直接相关，且开口率越小对数字域TDI 成像影响越大。

3.2 电子快门对MTF 的影响分析

CMOS 传感器的电子快门分为卷帘和同步快门两种，同步快门的所有像素同时曝光，一帧曝光结束后再读出，卷帘快门一帧图像的曝光时间均不相同，同步曝光与分时曝光对静止目标成像不会存在差异，但是对于必然存在像移运动的TDI成像来讲，必须要考虑非同时曝光对图像传函的影响[19]。CMOS 电子快门对数字域TDI 成像的影响可通过计算卷帘快门引起的像移传函得到。

为简化分析，假设卷帘快门方向与扫描运动方向相反，且不存在偏流误差，即目标景物在传感器像面投影只有沿卷帘快门反方向的速度分量。假设P为视场内目标景物点，在推扫成像过程中，P与S的几何投影关系如图4 所示。

图4 运动目标点在传感器投影成像为线Fig. 4 The moving target point is imaged as a line in the projection of the sensor

以Pk(px,py)表示第k帧正常图像目标点对应的成像点位置，其对应失真图像的成像点位置表示为Sk(sx,sy)。根据卷帘快门工作原理可知，失真图像的每个扫描行在曝光时间的某一特定时刻采样，以kT+Sy表 示第k 帧图像像素点Sk=(sx,sy)的采样时刻。可以推导出在一个行周期内，由卷帘快门产生的帧内和帧间像移分别为：

式中，T为行转移周期，Trbt为行空白时间，Npix为每行图像像元数，frd为 像元读出频率，Tint为行转移周期内实际曝光时间，且曝光时间不大于行转移周期，Tfrm,roll为帧同期。

分析上式可得：当在[(k-1)T+sy1,kT+sy2]时间间隔内，若vy(t)=0，则Sk2 与Sk-11仍位于同一扫描行，此时不存在帧间几何失真，因此在应用中应通过合理采样设计消除帧间像移。但帧内失真不可避免，该像移会引起MTF 下降，M级积分其Nyquist 频率处的RS 传函为：

采用某遥感相机在轨标称成像参数进行分析。该相机像元尺寸为4.25 μm，在轨标称行转移时间为128 μm，在8 级和16 级积分级数下，计算得到不同像素读出频率（对应于不同卷帘快门速度）下MTF 曲线如图5（彩图见期刊电子版）所示。

图5 不同RS 速度和级数下的MTF 曲线Fig. 5 MTF curves at different RS speeds and stages

观察图5 可知，卷帘快门效应引起的像移会对数字域TDI 算法带来较大的影响，尤其在卷帘速度较慢或积分级数较高时影响更为突出。但只要运动速度确定，就可以计算出卷帘快门引起的像移影响，甚至可进一步对失真图像进行校正。

3.3 曝光时间、振动对MTF 的影响分析

与TDI CCD 不同，数字域TDI CMOS 成像系统的曝光时间可独立于行周期进行单独设置。而运动对像元模糊和TDI 成像的影响均与曝光时间息息相关，因此对于数字域TDI CMOS 成像系统需重新构建与运动有关的像移传函模型。

将像移分为垂轨横向像移和沿轨纵向像移两类。考虑偏流角为引起横向像移的主要因素，单个积分周期内产生的横向像移失配量 Δd可以根据曝光时间和偏流角等参数算出：

式中，vP为沿扫描方向的像移速度，θ 为偏流角。

根据数字域TDI 采样累加原理可以得到横向像移过程的退化函数为：

由公式(8)可知，偏流角或积分级数大，会引起退化函数扩散，即传递性能变差。因此在积分扫描成像，尤其是在高积分级数情况下，必须保证偏流角补偿控制精度。如果偏流补偿欠佳，则应该尽量采用小级数成像，避免横向像移导致的图像质量退化。

暂不考虑卷帘快门产生的像移影响，M级数字域TDI 积分的纵向像移速度匹配残余误差引起的退化函数为：

式中 ε为纵向像移匹配残差，其定义如式（10）所示。式中ve为数字域TDI CMOS 的平均行转移速度。

在成像过程中除了上述整体像移匹配残差外，平台或单机振动还会引起遥感相机像移速度矢分布场变化，进而引入信息采样不规则性和空间变化的像元运动模糊，影响TDI 成像质量。

为了便于分析又不失一般性，采用正弦运动组合来表征形式复杂的振动，像移与正弦运动关系如图6 所示，得到M 级积分的振动像移为：

图6 像移与正弦运动关系图Fig. 6 Relationship between image motion and sinusoidal motion

式中，Al为第l个振动成分的幅值，fl为第l个振动成分的振动频率， φk,l为第l个振动成分在第k个积分周期的初始相位，Tint为单次曝光时间，T为行转移周期。

根据运动频率与行转移时间的相对关系，可将振动分为低频和高频两种，因为在积分时间内低频运动的幅频变化几乎为零，因此可将低频运动近似视为线性运动。公式（9）的像移失配即可视为频率为零的一种特殊振动，此时可按照常规线性像移失配计算其对MTF 的影响。

式中，fC为 特征频率，fN为乃归斯特频率。

假设归一化振动幅值为0.2，采用前述遥感相机的成像参数不变，在16 级积分条件下设置不同曝光时间和振动频率，基于像移传函模型计算得到Nyquist 频率处MTF 值，其与振动频率、曝光时间的关系如图7（彩图见期刊电子版）所示。观察图7 可以看出，曝光时间越短，传函越高，尤其在低频运动下表现越明显，但曝光时间同样会影响图像信噪比。因此，在实际应用中应结合两个指标要求选择合理的曝光时间。另外，可以看到，低频运动下不同曝光时间对应的MTF 存在较大的不同，即低频运动对图像传函的非规则性影响较大，但在高频运动下则规律一致，此时的MTF是时空移不变的。

图7 MTF 与振动频率及曝光时间的关系图Fig. 7 Relationship between MTF, vibration frequency and exposure time

4 实验及结果分析

为了验证MTF 理论模型的效果，分别开展数字域TDI CMOS 仿真及成像实验。

仿真实验选取扇形靶标图像作为样本，根据几何投影关系、感光原理和数字域TDI 算法生成不同开口率的积分图像，如图8 所示。然后采用刃边法测试图像MTF 曲线，得到图9（彩图见期刊电子版）结果。可以看出，传感器开口率越小（即有效像元区域越小）获取图像的MTF 下降越严重，与图3 理论分析结论吻合。

图8 不同开口率下扇形靶标仿真图像：从左到右的开口率分别为0.8、0.5、0.3Fig. 8 Simulation images of the sector target under different aperture ratios: 0.8, 0.5 and 0.3 (from left to right)

图9 图8 中各图像的MTF 曲线Fig. 9 MTF of images in figure 8

为了验证卷帘快门效应和曝光时间对TDI成像的影响，设计卷帘数字TDI CMOS 成像系统，并开展成像实验。将相机固定于二维调整架后安装于水平运动转台上，整个成像过程保持转台速度不变。为满足帧间像移匹配，设置行周期为200 μs，通过调整时钟频率设置行读出时间分别为6 μs、10 μs，即对应于不同的卷帘速度。8 级积分图像如图10 所示，可以看出，卷帘速度降低后图像几何失真加重。刃边法计算2 幅图像的奈奎斯特频率处MTF 分别为0.191、0.177。结果表明卷帘快门速度越快MTF 下降越小，验证了图5理论分析结果。

图10 行读出时间分别为（a）6 μs；（b）10 μs 时不同卷帘速度的TDI 图像Fig. 10 TDI images with different rolling shutter speeds.(a) 6 μs; (b) 10 μs

保持转台速度和行周期不变，调整二维调整架使相机倾斜一定角度（实验中选取角度大约为5°），在此条件下对目标水平推扫成像。分别设置单次曝光时间为100、140 和180 μs，采用16 级积分对同一目标成像，得到不同曝光时间下的数字域TDI 图像如图11 所示。由图11 可知，在存在偏流角失配情况下，随着曝光时间减小，图像边缘逐渐清晰，但层次感减弱。计算3 幅图像的MTF 和信噪比，结果如表1 所示。可以看出缩短曝光时间对图像MTF 有利，但信噪比却降低，与图7 理论分析结果吻合。

图11 不同曝光时间的TDI 图像：曝光时间（从上到下）分别为100、140、180 μsFig. 11 TDI images with different exposure times. 100,140 and 180 μs (from top to bottom)

表1 图像MTF 和SNR 测试结果Tab.1 The MTF and SNR test results of images

5 结 论

论文针对数字域TDI CMOS 遥感相机动态MTF 分析需求，介绍了数字域TDI CMOS 成像原理，开展了像元、电子快门、曝光时间、振动对数字域TDI CMOS 成像的影响分析，推导了上述各因素下的MTF 数学模型，并对其影响进行预估分析。构建的MTF 模型表明：传感器有效像元区域分布会影响图像MTF，且开口率越小影响越大；CMOS传感器的卷帘快门会导致数字域TDI 成像MTF下降，卷帘速度越慢影响越严重；曝光时间越短则MTF 越高，尤其存在低频像移失配时更为明显。为了验证构建的理论模型分别开展了计算机仿真及成像实验。实验结果与理论分析规律一致，验证了MTF 模型的正确性。