一种融合色彩和亮度信息补偿的图像预处理方法*

2020-09-27贾永兴王华力荣传振

通信技术 2020年9期

李超，贾永兴，王华力，荣传振

（陆军工程大学通信工程学院，江苏南京 210000）

0 引言

图像特征点提取是计算机视觉领域的关键技术，广泛应用于目标识别、三维重建和机器人导航等方向。特征点提取效果对于后续的特征点匹配意义重大。理想的图像特征应该是稳定的，易提取且抗光照、噪声和遮挡，具有几何变换不变性[1-2]。由于普通相机存在畸变问题，造成了特征点分布不均匀、冗余特征较多的问题。另外，光照变化会使对同一场景拍摄的图像直方图存在变化，导致特征点的漏检和误检[3-4]。因此，本文提出一种融合图像的色彩和光照信息来处理双目视觉获取的图像方法，并通过ORB 特征检测算法[5]得到较为正确的特征点，降低了图像匹配的难度。

1 常用的图像预处理方法

在图像标定和校正基础上，通过摄像机获取的左右图像存在噪声、光照不均以及差异化等情况，所以对成像设备所成图像对进行预处理操作是双目立体视觉中必不可少的环节和步骤之一。常用的图像预处理包括了噪声干扰的消除和亮度差异的均衡。

1.1 噪声干扰的预处理

随机噪声和高斯噪声等图像噪声是指存在于图像数据中的不必要或多余的干扰信息，一方面是成像设备本身和成像环境的影响，另一方面是图像来自传输通道的影响。噪声的存在可能会使得图像本身必要的信息模糊，细节信息缺失，或者像素降低，因此使用有效的去噪方法对图像进行噪声抑制十分必要。常用的滤除噪声的方法有均值滤波、中值滤波等。中值滤波是一种基于非线性的滤波方法，对随机噪声中的椒盐噪声去除效果尤为明显。

1.2 亮度差异的预处理

实拍的左右两幅图像可能出现亮度不均的情况。一方面是两个摄像头内部参数的差异放大，另一方面是两个摄像头位置接收光强的角度差异导致。为了平衡两幅图像，使之大体相似，一般要进行直方图均衡化。直方图均衡化是图像处理领域中利用图像直方图对亮度和对比度进行调整的方法。通过这种方法，亮度可在直方图上分布更均匀，增强局部对比度而不影响整体的对比度。直方图均衡化能有效加强图像的对比度，对细节显示更充分。

常用的预处理方法虽然对图像细节本身进行了增强，但忽略了色彩和光照对特征点的影响，而这些内容在对同一场景不同时间拍摄时存在较大差异，致使检测到的特征点不同，影响了后续的特征点匹配。

2 融合色彩和亮度信息的图像预处理方法

光照变化会使对同一场景拍摄的图像直方图存在变化，导致特征点的漏检和误检。同时，图像的色彩也为角点检测提供了重要信息。基于此，本文在常用图像预处理基础上增加图像的亮度和色彩补偿，消除光照变化带来的影响。

2.1 基于参考白的亮度补偿

图像的光照变化能影响图像的鲁棒性。文献[6]提出了参考白方法，解决图像中色彩偏差的问题，从而保证光照能够尽可能小得影响图像。绝大部分图像都包含有纯白色，图像参考白主要是将亮度排序后取前5%像素作为参考白，其RGB 分量调整为最大值255，其余像素分量按比例变化，从而提高像素整体亮度。文献[7]认为，人脸区域中的高光区域在肤色检测中常被认为是非肤色区域，而参考白简单将前5%像素调为白色，加剧了这种情况。本文在此基础上进行改进，取前3%和后3%像素分别作为参考白和参考黑，对其进行对数变化，中间像素值按比例变化，能最大限度保留像素细节。图1 显示了参考白处理后图像，图像亮度更加贴合实际情况。

图1 原图、去噪直方图均衡图像、参考白后图像

具体实现方法如下。

（1）统计所有像素的灰度值，统计出最大亮度m和最小亮度n，并排列出前3%灰度值作为参考白和后3%灰度值作为参考黑，分别计算变换后平均值Ga、Gb。按式（1）进行变换：

（2）计算补偿系数Coe=255/(Ga-Gb)；

（3）原始像素值分别乘以光照补偿系数Coe，得到补偿后像素值。

2.2 基于同态滤波的图像增强

经过去噪的图像损失了一些细节，而人视觉感受的亮度是眼睛入射光强照度的对数函数。文献[8]利用YIQ 空间对图像进行同态滤波，有效增强了图像细节。同态滤波同时考虑了图像的频率和灰度变化，应用入射光与反射光作为频域处理的基础。同时，图像处理时为了减少复杂度会先将图像灰度化，但是图像中除了亮度分量还有颜色信息的重要性，需要对图像内容进行补偿。为了保持彩色图像特性和灰度连续性，设计彩色补偿量。图2 显示了同态滤波处理后的图像，可以看出在细节方面有了增强。

图2 原图、去噪直方图均衡图像、同态滤波后图像

具体实现步骤如下。

（1）同态滤波：对图像Y分量取对数后进行傅里叶变换，经过高斯滤波函数后进行傅里叶反变换，最后进行指数变换。

（2）色彩增强：计算补偿量Yc，最终灰度值为W=Y+Yc。其中，其实是I与Q的比例函数，将颜色变化转化为了亮度变化。

2.3 本文图像预处理流程

通过以上分析，结合参考白的亮度补偿和同态滤波的细节增强方法，按照图3 的流程图对初始图像进行处理，同时提取特征点。首先按照常用的去噪方法进行中值滤波；其次，按照本文改进的方法对图像进行参考白均衡和同态滤波，所得的图像融合了色彩和亮度信息，细节增强；最后，按照特征点提取算法提取图像特征点，并和常用的方法进行比较。

图3 本文图像预处理流程

3 实验结果与分析

3.1 实验条件

本实验利用华为matebook13，CPU 为i5-8265U，CPU 主频为1.8 GHz，内存8 GB，程序在Visual Studio 2013 开发环境下编写，选用OpenCV 开源库，版本2.4.11，采用C++语言，调用OpenCV 自带的ORB算子实现特征点检测。

本实验选用两种图像，一种标准图像，一种随机实拍图像。每种分别进行两次实验，分别计算经过常用的预处理和经过本文预处理后图像的特征点得到分布情况，并与未经过预处理的图像检测的特征点进行对比。

为方便观察对比，采用以上3 种方法对图像处理后得到各自的特征点，然后在原始图像中分别画出3 种方法的特征点。

3.2 实验结果与分析

3.2.1 标准图像tsucuba 和cones

tsucuba 分辨率为384×288，cones 分辨率为450×375。通过实验，tsucuba 图象实验中，原始图像特征点集中在石膏头像和台灯周围，冗余点较多；经过去噪和直方图均衡后，特征点分布在书架较多，几乎没有检测到石膏头像。本文图像预处理后，特征点均匀分布于图像中。而cones 图象实验中，常用的图象不处理和预处理后特征点集中于上面的三角锥，面具和木栅栏上检测的较少。本文图像预处理后也是均匀分布，且在面具和木栅栏上能检测较多的特征点。图4 由左至右显示了未经处理、常用处理和本文处理后提取的特征点。

图4 未经处理、常用处理和本文处理后提取的特征点

3.2.2 实拍图像

室内场景分辨率为320×240，室外场景分辨率为480×360。本文分别对室内和室外进行了拍摄。同标准图像一样，经过本文预处理后图像特征点更加均匀，明显改善了扎堆现象。图5 由左至右显示了未经处理、常用处理和本文处理后提取的特征点。

3.2.3 结果分析

为进一步量化结果，计算了图像处理时延，并采用图像特征点分布均匀性评价方法进行评估[9]。如果图像中不同分割区域内特征点的数目相等或者接近，说明图像中的特征点分布较为均匀；反之，特征点分布不均匀。鉴于上述评价方法，本文在计算特征点分布情况时先对待检测的图像进行区域划分；其次，统计每个区域内的特征点数量；再次，计算特征点区域统计分布的方差数值；最后，根据方差数值的大小判断图像特征点分布的均匀情况。从特征点方差数值的大小关系可以看出，方差数值越大，代表特征点数量的波动越大，间接反映了特征点分布不均匀。因本实验中检测的特征点本身较少，故划分为16 个区域，利用统计学知识计算特征点的方差，结果如表1 所示。