APP下载

应用于刹车盘复杂背景去除的改进Grab Cut分割算法

2022-09-19李岩吴孟男薛兴伦

机床与液压 2022年5期
关键词:刹车盘直方图算子

李岩,吴孟男,薛兴伦

(1.长春工业大学电气与电子工程学院,吉林长春 130012;2.长春市施耐利机器人系统有限公司,吉林长春 130000)

0 前言

近年来,中国汽车行业的快速崛起,带动了刹车盘产业的升级和转型。作为工业领域典型铸造件,目前刹车盘的生产多靠人工完成,自动化需求较高。机器视觉技术的引入可以大大降低劳动强度、提高生产效率。将刹车盘作为感兴趣区域进行图像分割可进一步提高匹配速度和精度,对企业实现产业化升级具有重大意义。

目前基于机器视觉的目标分割方法主要有3类,分别为神经网络分割法、传统自动分割方法以及交互式分割方法。

第一类是基于神经网络的分割方法。郑凯、李建胜提出一种基于Mask R-CNN和分水岭算法的图像分割算法,实现了复杂背景的精准分割,实时性较好。SINGH等尝试使用几种基于深度卷积神经网络的最新语义分割方法来解决图像分割问题。OKTAY 等提出一种通用的训练策略,将先验知识整合到神经网络中对正则化模型进行端到端训练,该方法可以适应不同分割任务,具有较高的模型准确性。张利欣等提出了一种基于Res-Unet网络的微观组织图像分割方法,该方法显著提高了材料微观组织图像的分割精度。上述方法的神经网络模型需要大量数据来进行训练。而刹车盘材质种类繁多,且样本较少,导致在训练过程中容易出现梯度消失现象,使算法陷入局部极小值中无法跳出,因此现阶段深度学习难以解决刹车盘复杂背景去除问题。

第二类是传统的自动目标分割方法。王延年、程燕杰提出一种将多尺度top-han和形态学开闭重构相结合,并用最大熵法进行分割的工件表面图像分割算法,能够较为精准地分割出工件表面的缺陷。董家顺等提出了一种改进-means算法来实现工件的背景去除,该算法对光照不均具有良好的抗干扰能力。张田等人提出一种基于清晰度评价的自适应阈值图像分割方法,能够自适应地准确找到合理阈值,具有优异的分割性能。RONG等提出一种结合语义信息与图像深度信息的-means算法,能够正确地对感兴趣对象进行分割,提取精度高。王春梅等提出了一种椭圆形光斑黏连图像的分割方法,该方法采用等角六叉旋转算子对黑白图像上的黑斑区域进行填充,避免了图像的过分割,能够满足生产过程中高精度的要求。上述算法在简单场景下的图像分割可以取得较理想的效果,但在处理背景较为复杂的非结构环境图像分割时,由于未对场景进行针对性改进,其效果往往不能令人满意。

第三类是交互式目标分割方法。2001年,BOYKOV、JOLLY首次将图割结合最小割-最大流方法应用于图像分割中。ROTHER等提出Grab Cut算法,Grab Cut是迭代的Graph Cut算法,将图像分为前景和背景,从而通过较少的交互实现图像的分割。HE等提出了将图割结合图像直方图的分割算法,该方法可解决Graph Cut算法对小物体不敏感的缺点。交互式目标分割算法通过交互初步将前景与背景信息进行划分,分割结果较为精准,但是其对噪声敏感,且对光照变化不具有鲁棒性。

上述3类方法主要是针对非刹车盘工件的背景去除方法,没有针对刹车盘实际生产环境进行优化,难以直接应用到工业生产当中。通常情况下,刹车盘生产现场环境复杂,光线条件多变。通过对现场大量图像进行观察,总结其特点如下:(1)由于光线条件较差,工业相机所拍摄图像常有噪声;(2)工业相机整体成像亮度较低;(3)粗加工的刹车盘边缘信息较为模糊,易与相似背景融合。

综上所述,本文作者所做工作为:(1)对图像进行滤波,消除噪声对分割算法的影响;(2)采用直方图均衡化方法提升图像亮度;(3)对图像进行锐化增强,使刹车盘边缘锐利,细节明显;(4)采用Grab Cut算法对前景和背景进行分割,实现刹车盘复杂背景的去除。

1 Grab Cut算法

Grab Cut是对传统交互式分割方法Graph Cut的改进,是迭代的Graph Cut。其核心是将待分割图像映射为如图1所示的-网络。网络图包含原点:代表前景终点,汇点:代表背景终点,而原点、汇点及网络图中其他节点间的连线都称之为边集。Grab Cut算法首先通过简单的用户交互将感兴趣对象进行框选,初步定义选中区域为前景,其他区域为背景;进而对前景、背景分别建立高斯混合模型GMM,用-means算法将前景和背景聚为类,即GMM中的个高斯模型;然后分别计算各边集之间的分割能量权重,进而对未知区域构建-网络图,使用最小割-最大流方法实现初步分割,并通过迭代不断地对组参数、、进行优化,最终使分割能量收敛于最小值,实现图像分割。

图1 s-t网络

2 改进Grab Cut算法

在实际刹车盘生产过程中,由于车间环境复杂且无法保证光照条件统一,使得视觉系统采集到的刹车盘图像普遍存在亮度较低、边缘模糊、轮廓不清和噪声明显等问题,这些因素都会导致传统Grab Cut分割算法鲁棒性变差,导致分割结果不准确。

为了解决上述问题,提出改进的Grab Cut算法。首先对刹车盘图像进行自适应中值滤波,去除其表面不同程度的噪声,然后采用限定对比度的自适应直方图均衡化(CLAHE)提高图像亮度,其次通过Laplacian算子对图像进行锐化处理,最后采用Grab Cut算法对刹车盘进行精准分割,完成刹车盘复杂背景去除工作。改进Grab Cut算法流程如图2所示。

图2 改进Grab Cut算法流程

2.1 自适应中值滤波

自适应中值滤波能够根据预设好的条件,动态地改变滤波器的窗口尺寸。与常规中值滤波器相比,自适应中值滤波器会定义一个在滤波过程中逐渐改变大小的矩形窗口,并最终输出一个像素用来替换滤波窗口中心点(,)处的像素,从而使自适应中值滤波在保证滤除椒盐噪声的同时,更好地保留图像细节。

2.2 限定对比度的自适应直方图均衡化

实际刹车盘图像分割过程中发现光线较强或较弱都会对分割结果造成较大影响,从而需要对图像亮度进行均衡处理。限定对比度的自适应直方图均衡(CLAHE)算法能够有效增强或改善图像局部对比度,从而获得更多图像边缘及细节信息,对自适应直方图均衡化AHE中放大噪声的问题进行优化。

CLAHE的主要实现步骤为:

(1)将滤波去噪后的刹车盘图(像素×像素)分成若干个大小相同的子区域。

(2)分别对每个子区域的直方图进行计算,将可能出现的直方图灰度级个数记为,每个子区域的灰度级为,则区域(,)对应的直方图函数为,(),0≤≤-1。

(3)对剪切限幅值进行确认。

(1)

式中:为截断系数,用来表示每个灰度级中像素的最大百分比。

(4)将超出值的像素填充到图形中灰度级较低的位置,从而提高图像整体亮度。

(5)对所有分割的子区域进行直方图均衡化。

(6)用双线性插值方法对每个像素进行处理,计算处理后的灰度值。

记为像素所在的位置,为在位置处的像素值,即,()=,、、、为每个区域的中心。变换函数分别为()、()、()、(),的值在输出图像中记为′,它通过4个区域上变换函数的加权和来获得。设、是位置到和的距离,且均为1,则对于每一个(,)有:

′=(1-)·[(1-)()+()]+·

[(1-)()+()]

(2)

每个像素都有一个变换函数,可以表示为

(3)

式(3)中:,()是像素(,)的分布函数。

2.3 Laplacian算子

Laplacian算子是维欧几里得空间中的二阶微分算子,具有旋转不变性,常将Laplacian算子作为边缘检测的手段之一。将Laplacian算子用于图像增强可对图像边缘进行锐化,同时保留更多背景信息,更好地突出图像的细节。但Laplacian算子对噪声敏感,所以在使用算子前采用自适应中值滤波对刹车盘图像进行了去噪。算子对应的掩码如图3所示,可看出Laplacian算子是各向同性的。

图3 Laplacian算子掩码

其计算方法为:将图像中选中的像素点及其邻域内的8个点与图3所示的掩码相乘求和,用得到的新像素值替代原来九宫格内中心点的像素值。则对于点(,),有:

(4)

2.4 Grab Cut迭代能量最小化分割算法

Grab Cut算法每次迭代过程都使得对目标和背景建模的GMM参数更优。算法分为初始化和迭代最小化两个步骤。

初始化:

(1)首先通过用户交互对感兴趣区域进行框选,将框内的像素定义为目标像素,其他像素定义为背景像素

(2)对中的背景像素进行初始化,记的标签为=0。同样的,对目标像素内的像素进行初始化,记的标签为′=1。

(3)经过步骤(1)和(2)可以初步地对目标像素和背景像素进行分类,然后对目标像素和背景像素建立GMM,并通过-means算法将目标像素聚类为类,保证GMM中的每个高斯模型都具有一定的像素样本,并通过像素的RGB值估算参数均值和协方差,进一步通过该高斯分量的像素与总像素个数的比值确定其权值。

迭代最小化:

(1)对每个像素分配GMM中的高斯分量,将目标像素的RGB值代入GMM中的每一个高斯分量中,求出概率最大的分量记为

(5)

(2)根据给定的图像数据,进一步对GMM进行学习优化。

(6)

(3)通过(1)中分析的Gibbs能量项求出权值,然后通过最小割-最大流算法来对分割进行估计:

(7)

(4)重复上述步骤,不断优化GMM,在经过(3)的分割后目标像素的归属可被进一步确认,则每个像素的和GMM也最终得以确认,通过算法不断迭代可持续优化GMM模型和分割结果,又因步骤(1)—(3)是能量递减的过程,所以可以保证迭代过程会收敛于最小值,从而得到分割结果。

(5)由于分割后的边界可能存在不连续的现象,所以采用border matting对分割结果进行平滑等后处理。

3 实验结果与分析

主要算法采用C++语言编程实现,在Visual Studio2017平台中配置OpenCV 4.2库运行。实验所用计算设备配置为64位Windows10操作系统、CPU主频3.6 GHz、8.0 GB内存。

3.1 实验材料

两个映美精DMK 33GP031工业CCD相机组成双目立体视觉图像采集系统,在对系统进行畸变校正和立体校正后,将刹车盘分别置于非结构环境条件下进行共300组实验,选取左相机拍摄图像为实验素材,实验效果如图4所示。

图4 实验效果

图4(a)为RGB原图,(b)为相机获取的包含刹车盘区域的灰度图。首先使用自适应中值滤波去除由于生产现场光线条件差而产生的椒盐噪声,见图(c);对处理过的图片使用限定对比度的自适应直方图均衡化CLAHE提升图像整体亮度,并保留边缘等关键细节,见图(d);进一步用Laplacian图像锐化算子增强图像边缘及细节,见图(e);最后使用Grab Cut算法进行分割得到刹车盘区域,见图(f)。

3.2 对比实验

为进一步验证算法性能,分别将文中算法与其他复杂背景去除算法的分割效果进行对比。在拍摄的300组包含杂乱背景、纯净背景、刹车盘正反面、有无阴影影响等不同光线条件、不同场景下的刹车盘图像上进行实验,分别与传统Grab Cut算法、区域生长算法及-means分割算法进行对比,部分对比结果如图5所示。

从图5中可以看出:原Grab Cut算法由于未进行图像滤波和图像增强,因而算法对噪声敏感且对光照不具有鲁棒性,导致刹车盘边缘不明显,易出现欠分割现象,如图(b)所示;区域生长算法能够在简单场景下较好实现刹车盘区域背景去除,但当场景过于复杂、图像灰度不均一时,可能无法准确分割刹车盘区域,如图(c)所示;由于-means聚类分割算法对噪声和异常点较为敏感且算法求取的是局部最优解,所以在进行刹车盘复杂背景去除时该算法存在过分割现象,如图(d)所示;相较于其他分割算法,文中算法分割的刹车盘轮廓清晰,细节保留完整,如图(e)所示。

图5 算法对比

在分割效果衡量方面,将峰值信噪比PSNR、误分割率、分割准度和算法运行时间作为性能指标对算法进行衡量(算法分割结果与原始刹车盘CAD模型的差异性记为误分割率,算法的分割准度表示为)。

(8)

其中:为分割算法作用后的结果;为将刹车盘作为感兴趣区域进行人工分割后的结果;表示图像的尺寸。

(9)

其中:为常数,通常取值为0.5;为准确率,表示算法的正确分割区域占算法总分割区域的比例;为召回率,表示算法的正确分割区域占人工分割区域的比例。、计算公式分别如式(10)、式(11)所示:

(10)

(11)

具体性能指标数据如表1所示。

表1 性能指标

从表1可以看出:本文作者提出的基于改进Grab Cut的图像分割算法的PSNR、误分割率、分割准度的平均值均优于列举的其他几种分割算法,这充分说明文中算法对噪声的抑制效果更好,并且在对背景较复杂的图像进行分割时,由于加入了图像增强算法,大大降低了分割算法的错误率,并由实际分割结果可以看出分割后的刹车盘边缘光滑,细节清晰,进一步验证了文中算法的有效性。

4 结论

(1)本文作者提出将自适应中值滤波算法应用于刹车盘复杂背景去除过程中,能够保证在对图像进行去噪的前提下更好地保留刹车盘边缘和纹理信息,降低了噪声对图像分割的干扰。

(2)结合限定对比度的自适应直方图均衡化算法和Laplacian算子提高图像亮度,增强刹车盘边缘,然后利用Grab Cut算法对刹车盘图像进行分割,解决了传统算法分割精度低的问题。

(3)针对工业生产中刹车盘复杂背景去除过程提出了一种改进的Grab Cut分割方法,并针对非结构环境下的刹车盘图像进行研究,提出的改进分割算法在解决此类问题时效果更佳,更具鲁棒性。

(4)后续可针对算法的运行时间进行优化。此外,可增加其他预处理流程,进一步降低阴影对分割结果的影响。

猜你喜欢

刹车盘直方图算子
与由分数阶Laplace算子生成的热半群相关的微分变换算子的有界性
符合差分隐私的流数据统计直方图发布
风力发电机刹车盘修复铣床技术
基于FPGA的直方图均衡图像增强算法设计及实现
Domestication or Foreignization:A Cultural Choice
用直方图控制画面影调
博世新型iDisc刹车盘可减少高达90%的刹车粉尘
QK空间上的叠加算子
探讨汽车刹车盘的散热性能及摩擦性能
中考频数分布直方图题型展示