APP下载

基于多尺度融合网络的视频快照压缩感知重建

2021-12-18陈勋豪黄俊茹孙玉宝

计算机与现代化 2021年12期
关键词:特征测量

陈勋豪,杨 莹,黄俊茹,孙玉宝

(南京信息工程大学江苏省大数据分析技术重点实验室,江苏 南京 210044)

0 引 言

视频快照压缩成像系统(Video Snapshot Compressive Imaging, VSCI)是一种高效的视频成像方法[1],依据压缩感知理论[2-5],在一次曝光时间过程中,将视频中的多帧画面投影至单个二维快照测量中,进而实现高速成像。VSCI系统在采样资源受限以及高速成像等领域中具有重要的应用前景[6-10]。如图1所示,VSCI系统对于帧序列的调制频率高于探测器的捕获频率,实现了压缩测量。在重建阶段,运用重建算法从探测器中捕获的单一测量中可以恢复出若干高速帧。

图1 视频压缩成像方式示意图

VSCI系统依据压缩感知理论,设计有自身的测量方式,即编码孔径压缩时空成像(CACTI)[8]。CACTI系统的视频测量过程在逻辑上主要分为编码和集成2个阶段。在编码阶段,首先对原始的视频信号进行编码孔径模式调制。编码孔径是一个随机二进制掩码,其中掩码为0时表示让入射光通过,掩码为1时则阻挡入射光的进入。在曝光时间内,二进制掩码随着时间的变化进行线性移位,因此视频流中的每一帧都会被移动的编码孔径所调制。在集成阶段,经调制后的视频帧到达探测器,最终得到单帧的测量图像,即快照测量。

CACTI系统的测量过程在数学上可以表示为一个离散的线性系统。将X∈RNx×Ny×Nt视为一个离散的时空数据立方体,Nt、Nx、Ny分别表示时间帧数和空间维度的分辨率。A∈RNx×Ny×Nt表示编码通道数为Nt的编码矩阵。则探测器最终捕获的快照测量Y∈RNx×Ny可由式(1)表示:

登录APP查看全文

猜你喜欢

特征测量
如何表达“特征”
不忠诚的四个特征
测量的乐趣
测量
线性代数的应用特征