贾永华

一种安防专用视频增强仪

贾永华

海康威视研发了一种自适应的视频图像增强和视频稳定算法，开发出了一款安防专用的视频增强仪。适合于实现图像增强和视频稳定，以更好地为安防监控行业服务。

随着摄像系统在各领域中的广泛应用，对图像信息的清晰性和稳定性要求也在不断提高。而图像的不稳定主要是由摄像机载体的运动导致的，因此运动载体上的摄像系统需安装稳像系统。视频稳像是新一代的稳像方法，它利用数字图像处理等技术实现实时、高精度地稳定动态图像；由于受各种外界因素的影响，拍摄的图像有时候不利于人眼观察和计算机处理，图像增强的目的是增强图像的视觉效果，将原图像转换成一种更适合于人眼观察和计算机进行分析处理的形式，使处理后的图像适合于某种特定的应用。

海康威视研发了一种自适应的视频图像增强和视频稳定算法，开发出了一款安防专用的视频增强仪。适用于实现图像增强和视频稳定，以更好地为安防监控行业服务。

引言

随着电子计算机技术的进步，人们利用计算机对图像进行各种形式的处理，促进了图像处理技术的发展。在图像处理过程中，图像增强作为预处理部分的基本技术，用于改善图像的质量。由于它在许多领域得到了广泛应用，受到了人们的重视。图像增强是图像处理的基本内容之一。图像增强是指按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的处理方法，从而有目的地强调图像的整体或局部特征。增强处理后的图像不一定逼近原始图像，但信息量会更加丰富，图像判读和识别效果会更好。

摄像系统已广泛应用在舰船的光电设备、无人机侦察系统，以及侦察车的监视系统等领域中。而摄像系统的工作效果要受到其载体不同时刻的姿态变化或振动的影响，反映到监视器上，就是获得的图像信息不稳定、模糊。而这种不稳定的图像易让观察者产生疲劳感，从而导致误判和漏判；对于目标自动识别系统会导致漏警和虚警。所以，在运动的载体中，摄像系统的稳像是一个十分重要的问题。

图像增强

图像增强是很早的课题，国内外对此有很多研究相应算法也有许多。这些方法都有各自的优缺点，总体来说，它们大致可以被分成频域法和空域法两大类。

频域法是对原图像进行某种变换（如，傅氏变换、小波变换等），在变换域中进行处理达到增强的目的，这种方法的计算量相对较大，变换的参数选取人工干预较多。

空域法则是直接对原始图像进行处理，主要算法有直方图均衡、直方图变换、边缘提取、平滑滤波、局部灰度和增益控制等。这类方法一般普适性较差。

近年来出现了模糊处理方法，其处理步骤通常为：首先将空域中的原始图像数据通过模糊化映像，使其成为特征平面中的模糊图像的数据，然后利用特征平面中的各种性质，对图像信息进行处理，最后将处理后的信息数据逆映像到空间域，从而获得增强后的图像。这种方法很好地利用了图像所固有的二义性，比较符合人的视觉习惯；但是这种方法也有其缺点，它需要人工介入来确定渡越点及饱和点，这就限制了其应用。下面介绍几种常见的图像增强方法。

传统的图像增强方法

传统的图像增强处理方法基本可以分为空域图像增强和频域图像增强两大类。空域是指组成图像的像素的集合，空域图像增强直接对图像中像素灰度值进行运算处理，如灰度变换、直方图均衡化、图像的空域平滑和锐化处理、伪彩色处理等。频域图像增强是对图像经傅立叶变换后的频谱成分进行操作，然后逆傅立叶变换获得所需结果，如低通滤波技术、高通滤波器技术、带通和带阻滤波、同态滤波等。为了适应图像的局部特性，基于局部变换的图像增强方法应运而生，如局部直方图均衡化、对比度受限自适应直方图均衡化、利用局部统计特性的噪声去除方法。目前还将一些学科与图像处理相结合，如基于神经网络的脉冲噪声滤波技术、基于纹理分析的保细节平滑技术等。

灰度变换

灰度变换是图像增强的重要手段之一，通过扩大或改变灰度的值域范围，提高清晰度，使特征更加明显。它主要利用点运算来修正像素灰度，通常可分为线性变换、分段线性变换、非线性变换。线性变换对于灰度范围较窄的图像可以较好地改善图像，对于其他一些图像增强效果并不明显。为了突出图像中感兴趣的目标或灰度区间，采用分段线性变换。对于目标和背景可以明确区别的图像，可以借助图像的灰度直方图来确定分段区间的灰度范围。一般为了准确确定变换区间，需要反复调整区间范围，很多情况下根据经验来确定。通过拉伸目标对应的灰度范围，压缩背景对应的灰度范围，增强目标和背景的对比度，利于人眼观察和计算机处理。在某些情况下，应用非线性变换可以获得比线性变换更好的增强效果，如在图像过暗或过亮的情况下，利用指数变换或对数变换的效果可能比线性变换更好一些，然而它们容易使图像过增强或欠增强，同时参数也较难控制。

直方图均衡化

直方图均衡化方法是图像增强空域法中最常用、最重要的方法之一。目前主要包含传统的直方图均衡化、局部直方图均衡化两大类。传统的直方图均衡化能自动地增强整幅图像的对比度而得到了广泛的应用，但由于不能适应图像的局部亮度特性，易发生灰阶合并现象，从而造成区域细节丢失，同时对噪声也较为敏感。局部直方图均衡化是一种自适应的方法，能最大程度地增强细节部分，主要缺点是它的计算量非常大，同时会引进很多噪声。虽然对于局部直方图均衡化方法进行了改进，然而运算速度仍是制约其应用的重要因素之一。

基于多尺度分析的图像增强方法

多尺度分析又称为多分辨率分析，它是由Mallat于1989年首先提出的。以小波变换为代表的多尺度分析方法，被认为是分析工具及方法上的重大突破。小波分析在时域或频域上都具有良好的局部特性，而且由于对高频信号采取逐步精细的时域或空域步长，从而可以聚焦到分析对象的任意细节。随后取得了许多研究成果，如Sattar et al提出了一种非线性的多尺度增强方法、杨煊提出了一种基于方向信息的多尺度边缘检测和图像去噪的方法等。

数学形态学增强方法

数学形态学是用具有一定形态的结构元素去量度和提取图像中的对应形状，以达到对图像分析和识别的目的。它的数学基础是集合论，最基本的形态学算子有腐蚀、膨胀、开和闭。数学形态学增强技术主要是形态学平滑去噪技术，相对图像开启然后再闭合是一种对图像进行平滑的方法。这两种操作的综合效果是去除或减弱亮区和暗区的各类噪声。基于数学形态学的形态学滤波器可借助先验图像的几何信息。利用数学形态学算子，有效地去除噪声，同时又可以保留图像中原有的信息。

模糊增强方法

近年来不少学者致力于把模糊集理论引入图像处理和识别技术的研究。由于图像本身的复杂性，多灰度分布所带来的不确定性和不精确（即模糊性），使得用模糊集合理论进行图像处理成为可能。自Pal和King率先将模糊集合理论应用到图像增强处理上，模糊增强技术受到了人们的重视。Chen et al（1995）把模糊集引入到经典的直方图修正中，提出了一种自动直方图修正方法；Action （1998）基于模糊非线性回归给出了一种图像增强方法，并且用于遥感图像的去噪和边缘增强；近年来Han et al （2002）推广了通常意义的彩色直方图，提出了模糊彩色直方图的概念，并且已经成功应用于彩色图像的检索；Russo （2002）充分利用模糊集理论解决不确定性问题的优势，较好地解决了受到冲击噪声干扰的彩色图像的边缘检测问题；模糊集方法和神经网络、遗传算法结合用于图像增强的方法正在研究之中。

另外，由于没有图像增强的通用标准，主要是根据人眼的主观判断和经验知识，结合人类的视觉特性模型，基于人类视觉的图像增强技术也成为一种研究趋向。

视频稳像

通常采用的稳像方法有：主动稳像、被动稳像和视频稳像。主动稳像是安装陀螺稳定平台稳定摄像系统，陀螺稳定平台主要是衰减低频振动。被动稳像是采用减振装置来隔离载体的振动，抑制高频振动对摄像机的影响。主动稳像和被动稳像可配合使用实现宽范围的稳像。但是，由于高精度的陀螺稳定平台不仅结构复杂，体积大、价格昂贵、功耗大，而且在有的场合，如弹载、轻载飞机、外星球探测中，因体积的限制而无法使用。所以，提出一种新型的稳定方法——视频稳像技术来实现电视图像的稳定。

由于视频稳像算法直接处理图像，可简化设备，提高稳像精度，近几年来美国、加拿大、韩国、日本等国对稳像算法展开了深入的研究，提出了多种方法，但总的来说，已有的分析方法主要分为两类基于特征量的方法和基于光流的方法。基于光流的方法利用了灰度的变化信息，需要从图像序列的灰度变化中计算速度场。根据文献报道，由于实际景物中的速度场不一定总是与图像中的直观速度场有唯一对应关系且偏导数计算加重噪声水平，使得光流法得到的结果在使用中常常不稳定，因此提取对灰度不敏感的有效特征量计算图像运动矢量的方法应用得较多。目前，主要的稳定算法有代表点匹配法RPM（representative point matching）、投影算法PA（projection algorithm）、特征量跟踪算法FTA（feature track algorithm）等，各种方法都有其特定的适用范围，具体介绍如下：

代表点匹配法

代表点匹配法已应用在小型摄像系统中。代表点是图像上最简单的特征量，通常是将图像分成四个区域，每个区域分别选取若干个代表点，每个点有一个确定的搜索区域。建立先前帧与当前帧图像代表点之间的对应关系式，最后以搜索区域内选定的代表点为相对参考点作一个相同位移值，相应的有一个绝对差值，对所有代表点坐标的绝对差值求和，获得一个相关函数关系式如下：

式中It-1，It表示第k个代表点在先前帧和当前帧图像中的像素数据。每个区域内对应(i,j)会有一个最小差值和，那么这个位移量可作为该区域的图像运动矢量，通常四区域的位移矢量是不相等的，如果被摄景物是静止的，可以将四区域的位移值平均作为整幅图像的运动矢量。此方法的优点是算法简单、计算量小。但是由于代表点是确定的，并非是图像上有明显特征的点，因此对图像的变化不敏感，对旋转晃动和慢速晃动尚不能补偿。此方法的检测精确度在信噪比为30dB时能达到正负0.5像素差值。

投影法

投影法是利用图像总体灰度变化规律来确定图像运动矢量的一种方法，它不必对图像上的每一点做相关运算，而是利用图像的灰度投影曲线做一次相关运算，因此它的运算量小，运动估计速度快，容易满足实时性要求。投影法通常分为三个步骤：1）灰度映射。当前帧图像经过预处理以后，投影成为两个独立的一维波形，其投影公式如下:

其中Gk(j)，Gk(i)分别表示第k帧图像的j列、i行的灰度值，Gk(i,j)表示第k帧图像(i,j)点位置处的灰度值；2）进行投影滤波，由于图像边缘信息是唯一的，当图像位移量较大时，会导致投影波形在边缘处的差异性，在进行相关计算时会对互相关峰值产生影响从而降低精度。可用余弦平方滤波器进行滤波，降低边缘信息的幅值，保留中心区域的波形，从而降低边缘信息对互相关峰值的影响，提高检测精度。在边缘信息较为粗糙时，可以去掉若干行、列的像素后再用投影法计算其运动矢量；3）矢量的提取，分别将当前帧与参考帧的行、列灰度投影波形做互相关计算，根据两条相关曲线的唯一谷值即可确定当前帧相对于参考帧的行和列的运动矢量。

一般的投影算法都是对整帧图像进行投影计算, 得出的是全局运动矢量。它只考虑了平移现象，对于旋转则没有考虑。而且当图像中有摄像机的正常扫描和图像中有小目标运动时，检测的运动矢量则不是很准确，算法精度下降。为了解决这个问题，改进的投影算法被提出。一种改进算法是：将当前帧图像分为几个区域，对每个区域进行投影计算，得出局部运动矢量，再由局部运动矢量求取全局运动矢量，这样可以将小目标运动矢量剔除。通常，分的区域越小，对运动矢量的估计越有利，但是,区域一小，投影曲线的变化就不是很明显，对估计精度很有影响。因此，选择适当的大小是很有必要的，要根据实际应用综合考虑。

特征量跟踪算法

特征量跟踪算法是稳像算法中获取图像运动矢量的重要算法，由于在获取图像运动矢量时采用像素点匹配计算量大，而基于频域的分析方法对图像所含信息的利用程度低，所以该算法是较常用的算法。主要利用的特征量有角点、直边缘、曲边缘等局部特征和型心、表面积、惯量矩的长短轴等全局特征。在具体应用中，采用什么特征量主要看目标具有那些特性。

特征量跟踪时，在真实场景中可能会面临一个严重的问题，各特征量所处的环境往往很复杂，其中经常有各种干扰，如目标的遮盖、景物的阴影、背景的变化等，这些变化就使得特征量的跟踪变得十分困难。但是，如果事先对要处理的目标的某些信息如几何结构信息有所了解的话，将这些知识用于工作中就能使在特定条件下的特征量的跟踪变得比较简单而且可靠，这也是利用特征量进行跟踪的一个主要原因。文献中Thompson，Lowe和Tsai等人提出了多种根据结构信息的特征量跟踪算法。

利用FTA算法获取各特征量的运动矢量是图像的局部运动矢量，稳定图像还需要求出图像由摄像机引起的全局运动矢量。全局运动矢量是在局部运动矢量的基础上, 利用准确设定的图像运动数学模型来求取的，即将特征量的局部运动矢量带入设定的数学模型中，然后求解方程组得到图像全局运动矢量。

运动决定

得到了每帧的全局运动矢量以后，还不能直接进行补偿，需要进一步判断该矢量为抖动矢量还是抖动矢量和摄像机正常扫描运动矢量的合成。摄像机的正常扫描运动与图像的抖动是有较明显区别的。抖动是随机的，而正常扫描活动在某一短时间内，往往是向着同一个方向运动, 连续多帧图像的全局运动矢量具有一定的方向性。另外，扫描运动一般比较缓慢，而抖动比较快， 抖动引起的运动矢量往往要大于扫描运动引起的两帧图像之间的运动矢量。根据这些特点，一种判断方法如下:

定义

其中T1表示连续N帧图像中相邻帧运动差的绝对和，T2表示N帧图像的平均运动矢量MV(ti) 表示第ti帧图像相对于参考图像的全局运动矢量，根据上面的判别式得出：如果T1/T2＜K1且K2＞K1，则为扫描运动，否则为随机抖动。K1，K2为常数,根据具体情况设置。这只是一种较为简单的判断方法，并不适合所有的场合，正常扫描和抖动之间并没有明确的界限，往往凭人的主观感觉判定，抖动与正常扫描的判定方法还有待进一步研究。

运动补偿

在进行判定以后，就可以根据判定情况进行补偿。当没有摄像机的正常扫描时，全局运动矢量就是抖动矢量，是需要去除的。根据全局运动矢量补偿当前帧图像，得到稳定图像。全局运动矢量如果是帧到参考帧的，则直接进行补偿。如果全局运动矢量是相邻帧之间的运动矢量，则需要将当前帧运动矢量与它前面帧的运动矢量求和，得到当前帧与参考帧的运动矢量，然后对当前帧进行补偿。

当存在摄像机的正常扫描时，需要进行滤波，求出摄像机正常扫描的运动矢量，然后由当前帧的全局运动矢量减去正常扫描的运动矢量，得到抖动矢量，而后进行补偿。常用滤波方法有以下三种：均值滤波、kalman滤波和B样条运动滤波。

结论

目前还没有一种通用的衡量图像质量的指标能够用来评价图像增强方法的优劣，图像增强理论有待进一步完善。因此，图像增强技术的探索具有试验性和多样性，增强的方法往往具有针对性。要取得对一幅图像较好的改善效果，有时要综合运用多种增强方法，发挥每种方法的特长。要依据图像结构的特点和图像处理的要求，选用相应的增强方法。图像增强的最大困难是，很难对增强结果加以量化描述，只能靠经验、人的主观感觉加以评价。同时，要获得一个满意的增强效果，往往需要人机的交互作用。

由于视频稳像技术是利用图像处理算法实现图像序列的稳定，因此具有精度高、速度快、功耗少等优点。随着各摄像系统对图像稳定精度的要求不断地提高，视频稳像技术的应用必将越来越广泛。目前，视频稳像的基本算法已经比较完善，对于有平移运动、简单的旋转运动、单轴旋转以及图像上有小目标运动物体的图像序列可以做到快速、准确地稳定。视频稳像面临的主要问题是如何利用图像信息区分摄像机的晃动量和摄像机的正常扫描运动，以及如何稳定图像多轴的旋转运动等问题。解决这些问题不能仅仅依赖于图像运动模型的精确程度，同时必须要充分利用图像序列的信息量。另外，视频稳像虽然具有诸多的优点，但是由它的原理可知，稳定图像的晃动将以损失部分图像信息为代价，这在一定程度上限制了视频稳像的适用范围。

作者单位：杭州海康威视数字技术股份有限公司