谷点强调阈值分割法研究综述

2021-04-20范九伦

西安邮电大学学报 2021年1期

范九伦，靳瑾

(西安邮电大学通信与信息工程学院,陕西西安 710121)

图像分割是图像处理领域的研究热点之一，是一种重要的图像处理与分析技术，也是计算机视觉检测中的难点。图像分割的目的是将目标从图像背景中提取出来，已广泛应用于工业自动化、在线产品检测、文档图像处理、遥感、生物医学图像分析，以及军事、农业工程等方面[1]。到目前为止，图像分割已有上千种方法，各种综述文章对这些分割方法的分类和评价不尽相同。图像分割方法主要分为阈值选取法、边缘检测法以及区域增长法[2]等3类。在图像分割方法中，阈值法因其简单有效而被广泛应用。常见的单阈值法根据灰度分布从背景中提取目标，其结果是输出一个二值图像，将背景与目标分离。背景通常用灰度级255表示，输出为白色，目标用灰度级0表示，输出为黑色。噪声和光线对环境的影响、对比度不足以及物体大小与场景不相称等众多因素，使得阈值化操作复杂化[3]。因此，Otsu[4]提出了Otsu法，称为最大类间方差法或最小类内方差法。在众多的阈值法中，Otsu法是应用最广泛的经典阈值法，也是图像阈值分割法的最佳选择之一。对Otsu法进行改进以得到更好的自动阈值算法，一直是众多学者努力的方向。例如，Hou[5]提出了最小类方差阈值法，并与Otsu法进行了比较。他们发现，在Otsu法中，得到的阈值偏向于类方差较大或类概率较大的成分。Xu[6]描述了当两个类的类内方差不同时，Otsu法阈值偏向方差较大的类,并针对目标与背景的方差差异较大的情况，提出了一种改进的Otsu法约束灰度级搜索范围。通过自动阈值法找到第一个阈值,在第一个阈值范围内寻找第二个阈值，将灰度大于第二个阈值的像素分类作为目标，改变了原来搜索范围。Yang[7]等人提出了一种改进的基于中值的方法，该方法用图像中前景和背景的中值代替前景和背景的均值，最终在最大化类间方差的基础上找到最优阈值。

自动阈值技术已经在工业中广泛用于缺陷的自动视觉检查[8]。自动视觉检测将节省很大的人力，减少检测时间的浪费，提高缺陷检测的准确性。大多数阈值分割法在实际应用能得到较好的结果，但是没有一种通用的方法可用于缺陷检测[9-10]。缺陷检测包括从无缺陷到小缺陷以及大缺陷检测，图像的灰度直方图也就包括从单峰到双峰。Otsu法对于直方图呈双峰或者接近双峰的图像分割效果较好，假设了图像分布中的对象和背景的灰度等级是具有相等方差的高斯分布[11]，但一般图像不具有这种特征。因此，在某些情况下，Otsu法对于直方图呈单峰或者接近单峰的图像分割效果一般，使得Otsu法并不能很好地应用于缺陷检测。基于这个原因，Ng[12]在Otsu法的基础上进行改进，给出了新的分割准则。在Otsu法目标函数中加入1减去阈值概率的权重,当概率阈值最小时，权重最大，以确保得到的阈值始终位于直方图谷底处，并且同时让类间方差最大化，并称这个方法为谷点强调法。

该研究以谷点强调法为基础，对相关衍生方法及其应用进行综述，并对后续研究和发展提供参考。

1 谷点强调法

为了更好地了解谷点强调法，下面首先介绍Otsu法。设I是大小为M×N的灰度图像，I(x,y)的值为[0,L-1]的整数，表示像素灰度值。若灰度i的像素数为f(i)，则灰度i出现的概率为

如果图像按照阈值t分为C0和C1两类,则C0类的像素灰度区间为[0,t],C1类的像素灰度区间为[t+1,L-1]。设P0(t)和P1(t)表示C0和C1两类的概率，其计算表达式分别为

C0和C1两类的均值分别表示为

图像的整体平均灰度为

则Otsu法将类间方差定义为

最佳阈值可通过计算最大类间方差得到，即

自动阈值化的目标是在直方图中找到将前景与背景分开的谷。Otsu法更适用于灰度直方图是双峰或者接近双峰的情况，而来自视觉检查系统的图像直方图往往是单峰的。因为与图像尺寸相比，缺陷区域较小，所以在检测缺陷时，Otsu法不能得到合适的阈值[12]。对于单阈值的情况，这样的阈值存在于两个峰的波谷处，或者存在于单个峰的底边，出现阈值的概率pt必须很小。基于以上的考虑，Ng在Otsu法的基础上提出了谷点强调法。谷点强调法的思想是尽可能选择一个概率很小的阈值点来逼近灰度直方图的谷值。为此，在Otsu法中增加权重1-pt，pt的值越小权重越大[12]。此权重确保结果阈值始终是位于灰度分布的谷底或者单峰边缘的值，并且使类间方差最大。Ng给出的目标函数为

谷点强调法的最佳阈值计算公式为

t*=arg maxξ(t)

通过选择一个概率较小的阈值，使权重变大，并且该阈值能够最大化灰度直方图中的类间方差。最小概率阈值要求确保得到的阈值始终是位于两个峰值的谷值，或位于单个峰值的底缘[12]。因此，谷点强调法能够为单峰分布和双峰分布选择最佳阈值。当图像直方图是双峰或者接近双峰时，谷点强调法和Otsu法获得相似的阈值。

2 谷点强调法的衍生算法

谷点强调法一般情况下都能够将图像中的缺陷检测出来，对于检测图像的缺陷具有很好的结果。自谷点强调法提出之后，很多学者对谷点强调法给予关注。关于谷点强调法的研究现状主要包括以下3个方面。

2.1 谷点强调法的改进算法

在某些图像中，灰度直方图的波谷难以被观察到，即具有强重叠时，谷点强调法可能得不到最佳的阈值。为此，学者们基于谷点强调法提出了一些改进算法。

谷点强调法在某些情况下分割效果很差，特别是在目标方差与背景方差相差很大的情况下，原因是谷点强调法只以直方图的谷点值衡量目标函数。当目标的方差与背景的方差相差很大时，加权效应表现并不是太明显，使得谷点强调法在这种情况下不起作用。基于这一问题，邻域谷点强调法[13]的提出，不仅考虑了谷点处的阈值信息，还利用谷点处阈值的邻域信息确定最佳阈值。

在图像直方图中，灰度值k的邻域灰度概率值之和为

邻域谷点强调法的目标函数为

最佳阈值计算公式为

邻域谷点强调法也对高斯噪声图像具有较好的鲁棒性，适合实际应用。该方法需要考虑选择适当的参数以获得较好的结果，但是并不清楚如何确定适当大小的邻域，以实现最佳阈值的结果。

文献[14]在谷点强调法的基础上，提出了一种改进的最佳阈值选择方法，通过引入高斯加权方案增强加权效果。新的权重是选择候选阈值附近的灰度概率之和乘以标准偏差σ的高斯窗口，即

基于谷点强调法改进后的最佳阈值计算为

在谷点强调法中只考虑了阈值位置概率，高斯加权比谷点强调法的权重更重要。此外，在谷点强调法中并未考虑计算中噪声的影响，而使用高斯加权方法计算权重可以利用高斯窗的平滑效果减少权重计算的噪声影响。权重中σ的合适值可以通过实验确定。

谷点强调法不能有效地应用于复杂纹理的分割。针对纹理复杂的织物图像中缺陷的分割问题，谷点强调法不能得到很好的分割结果。文献[15]在谷点强调法的基础上，基于Fisher线性判别分析，通过考虑类间方差和类内方差计算最优阈值提出改进算法。Fisher线性判别是模式识别的经典方法[16]，Fisher准则函数表示为

分子部分Q可表示为

Q=S1+S2

其中，S1和S2分别表示根据阈值t分为两类的类内方差。

改进算法的最佳阈值可表示为

该算法不仅考虑了类间方差，并且考虑了类内方差，将谷点强调法和类内方差的比值最大化，只有两者都取得相对较好的值时，才能得到更好地分割阈值。

文献[17]通过修正谷点强调法的权重，将一个二阶导数作为权重改进Otsu法，直方图的包络曲线谷点处对应于原始直方图中的二阶差分曲线中的一个峰值。其主要思想是考虑基于二阶差分的谷值度量构造更有效的目标函数，使阈值更有可能位于图像直方图峰值的谷点处。将谷点强调法的权重修改为

其中：pt表示灰度t出现的概率；p·表示所有灰度出现的各自概率。由二阶导数作为权重修改的谷点强调法最佳阈值的计算表达式为

将基于二阶差分的权重加权Otsu法应用于图像分割时，在单峰直方图和类内方差较大的图像分割方面，表现结果优于比谷点强调法。

文献[18]提出了一种光缺陷检测的新技术，将谷点强调法应用于缺陷对象阈值。在夜间图像直方图中，仅附加缺陷对象被限制在小于50的强度极限内的最下侧。将夜间图像和白天图像直方图之间的差异作为谷值增强方法的输入，对谷点强调法改进，未在[0,255]中选取使类间方差最大的阈值，而是将阈值的取值限制在[0,50]，仅强调第一个谷点作为阈值。与谷点强调法相比，找到阈值的迭代算法的计算量显著降低，阈值选取的速度明显提升。

为了避免邻域谷点强调法的逸出问题，文献[19]提出进行邻域均值加权。邻域灰度值概率均值表示为

邻域均值加权最大类间方差的目标函数为

最佳阈值t*可计算为

文献[20]认为在谷点强调法中只考虑了谷点灰度值在直方图中出现的概率，即谷点灰度值在直方图中的高度，这样选取的阈值不够准确，使得图像在分割边缘有瑕疵。最优阈值应当是图像中与目标和背景整体灰度值相比具有最低概率出现的阈值，使算法所得到的阈值定位到与临近谷峰具有较大高度差的位置。根据谷点邻域灰度值和谷峰灰度值的相关关系，得到权值

其中,p[cL(t)]和p[cR(t)]分别表示直方图中左右相邻的波峰灰度值出现的频率。

强调波谷算法的目标函数为

最优阈值计算表达式为

2.2 启发于谷点强调法的一些阈值分割法

很多学者基于Otsu法和谷点强调法，提出了一些新的阈值分割法。文献[21]中使用Otsu法和熵加权方案进行图像自动阈值化以检测表面缺陷。熵是一种随机的统计特量，能够表示图像信息，熵越小表示信息量越少，在相似灰度值的像素中熵的值较小。熵的目标函数表示为

式中，

将熵加权Otsu法的目标函数，同时最大化图像熵和阈值图像的类间方差，取得最优阈值

此方法可以检测产品表面非常小的缺陷部分，得到合适的阈值，将小缺陷较好的从大的背景中分割出来。文献[21]的实验表明将熵加权到Otsu法对于各种产品图像具有鲁棒性。

图像有两个或几个直方图，这些直方图不一定具有相似的形状或大小，当直方图中有能够被识别为谷点的位置时，谷点强调法能够较好地检测出缺陷区域。但是，当缺陷区域非常小，在直方图中表现不明显，分割效果不理想。文献[22]提出一种通过背景直方图模式范围自动检测缺陷阈值，这种方法能够将背景(无缺陷区域)和缺陷区域(包含缺陷的区域)自动发现。通过研究背景和缺陷区域直方图之间的差异，在背景直方图模式的范围内自动选择合适的阈值。为了在背景不清晰的直方图模式下，更好地估计直方图的范围，可以在分割具有非均匀背景的图像和不具有可见双峰或多峰行为的图像中，以及在两个峰之间不具有可见平坦区域或低概率区域的图像中，有效地加入累积概率的百分比，准确地分割开背景和缺陷区域。

文献[23]利用威布尔分布改进Otsu法，通过威布尔分布自动选择用于分割焊接缺陷的期望阈值。将整幅图像灰度级的最小非零概率值作为Otsu法准则背景的一个加权参数，选择灰度最小概率加权背景，会影响类内方差，按照最小类内准则选择最合适的阈值。类内方差表示为

威布尔分布定义为

其中：l表示分布的位置参数；α和β分别表示尺度和形状参数。

将类间方差表示为

利用威布尔分布改进Otsu法的目标函数为

其中，Ω表示最小概率参数加权。

将改进的目标函数最小化得到最优阈值

由于计算复杂性的指数增长，图像二值化所使用的目标函数不适用于多级阈值，文献[24]基于Otsu法提出了一种基于人工蜂群算法的多阈值分割算法，文献[25]提出了一种基于谷点强调法和利用伽马分布的图像阈值分割方法,提高了处理小目标的能力，同时还可以处理直方图中的非对称模式。

文献[26]使用加权目标方差改进Otsu法，应用于缺陷检测。通过分析Otsu法，为了获得期望的阈值，目标方差对类间方差的贡献应该较小，阈值应该主要由背景方差决定。在Otsu法中的类间方差中，目标方差部分加入目标的累积概率权重为

(1)

其中，w∈(0,1)。P0(t)的值随着t的增加呈非线性增加。当阈值位于图像的单峰左下边缘时，P0(t)接近0，阈值位于缺陷的两个峰谷时，缺陷值越大，P0(t)越大，所以利用P0(t)代替式(1)中的w，得到

这个权重使得阈值位于双峰的谷底处，或者单峰的左下边缘，使分割更加准确。

文献[27]通过分析Otsu法与向量相关系数之间的关系，从图像相似度最大化的角度，对Otsu法进行了新的解释。将Otsu法与最大图像相似度概念相结合，构造一个最大相似度阈值框架，得到最优阈值

t*=arg max{S[T(χ),H(γ(t))]}

式中：χ代表原始灰度图像；γ(t)代表二值图像；T(·)和H(·)代表变换函数；S(·,·)表示相似度的估计。

以该框架为例，直接设计了一种新的最大相似度阈值方法。H(γ(t))定义为去除二值图像γ(t)中物体的内部像素。将T(χ)定义为在χ图像上进行多尺度梯度乘法变换，即

其中，

∇和*分别代表求导和卷积。

文献[28]分析了谷点强调法需要预处理步骤，针对其不能使用通用阈值处理多峰的缺陷，提出了一种新的自动阈值分割算法。该方法基于缺陷区域直方图的获取，并选择其极值边缘作为阈值，从图像背景中分割出前景中的所有缺陷对象。根据整个缺陷图像的平均灰度值创建背景掩模，锐化图像缺陷与背景的边缘，从图像本身减去掩码，提取缺陷特征，计算处理后图像的直方图得到极值，选择这个值作为图像的阈值，可定义为

t=μ+zσ

式中：参数μ表示整个图像像素的平均灰度级；参数σ表示缺陷图像的平均灰度的标准偏差；z表示试错选择因子，用来确定缺陷检测的严格性。

文献[10]针对轨道图像单峰性和缺陷比例小的特点，提出了最大加权目标相关阈值法。该方法通过优化目标相关性和表示阈值效应比例的权重项的乘积选择阈值,权值[1-P0(t)]是一种累积概率，可以在较低的水平上限制缺陷的产生，即

根据阈值t将图像分为目标和背景，目标部分和背景部分的概率分布函数分别表示为

H0(t)和H1(t)的相关性分别表示为

选择C0(t)作为一个权重，将目标函数定义为

ο(t)=C0(t){[1-P0(t)]α}

文献[29]考虑到最优阈值通常位于直方图的谷值处，因为山谷的数量远远小于直方图的大小，提出了自适应快速谷值强调多级Otsu阈值分割法,限制了直方图的所有山谷位置的搜索空间。通过平滑直方图降低噪声，新的直方图可表示为

如果灰度图像根据l个阈值分为(C0,C1…Cl)l+1组，C0包含的灰度级为{0,1,…,t0}，C1包含的灰度级为{t0+1,…,t1}，Cl包含的灰度级为 {tl-1,…,L-1}，则Ck类的概率为

均值为

去除所有满足下列条件之一的非谷值

p′i-1≤p′i≤p′i+1

(2)

p′i-1>p′i>p′i+1

(3)

p′i-1≤p′i≥p′i+1

(4)

|p′i-p′i-1|≤ε

(5)

|p′i+1-p′i|≤ε

(6)

式(2)-式(4)分别说明了单调递增、单调递减和局部峰，式(5)和式(6)表示不变面积。在移除非谷值后的谷值的范围内,通过最大化目标函数获得阈值

2.3 谷点强调法及衍生法的应用

谷点强调法的提出使得Otsu法的研究进一步拓展，许多学者将谷点强调法及其衍生法应用在图像处理的各个领域。

鉴于缺陷检测时，存在依靠人眼检测不够准确和会发生缺陷遗漏的情况，使得基于计算机视觉的检测发挥着越来越重要的作用。在工业领域中运用谷点强调法对电子元器件缺陷部位进行检测，取得了良好的效果[30-31]。文献[32]提出将阈值法应用到地基云的检测。云是影响气候的一个重要因素，正确将天空与云分离是分析气候改变的一个重要的预处理环节。在原来的气候研究中，对云的判断主要依靠气象观测员的眼睛观测，效率和效果较差，所以对云的自动化检测也成为一个重要的关注点。对零件表面的激光刻线检测是一个新的研究领域，在激光刻写零件瑕疵图像在线检测算法中[33]，提出了一种沿导向线生成采样点检测激光刻写零件轮廓瑕疵的方法，对导向线生成采样点，利用谷点强调法获取阈值，以判断采样点所在模板的梯度值。

文献[34]在原子层沉积法制备高钾介电性二维晶体中，提出使用谷点强调方法区分二维氮化硼(BN)或二硫化钼(MoS2)薄片上“有”或“没有”氧化铝(Al2O3)增长区域的边界。文献[35]在广义梯度矢量流场的连续力场分析中，通过谷点强调法找到创建灰度连续取向力场分析图像的上阈值和下阈值。文献[36]利用二维高斯函数对待处理图像进行卷积操作，构建一个高斯尺度空间,在此空间下进行背景估计,并采用背景差法消除非均匀光照干扰,从而提取出目标图像，并对增强后的目标图像通过谷点强调法进行全局分割，得到最终的二值图像。文献[37]将阈值法应用在乳房影像检测中，发现在异常组织(乳腺肿瘤)中，谷点强调法能更好地检测出恶性肿瘤。文献[38]在多层次模糊增强边缘检测算法中,使用谷点强调法计算阈值参数,根据阈值定义的凸非线性隶属函数对待测灰度图进行模糊特征平面映射,再对模糊域进行平滑处理和模糊增强。文献[39]提出了一种从多序列磁共振成像中检测多发性硬化病变的自动算法，建立了一个概率分类器，分类器用于计算表征每个体素成为病变的可能性的概率，该概率用谷点强调算法识别病变体素。

基于Fisher准则改进的谷点强调算法应用于纺织物的瑕疵点检查[15]，该方法可以适合背景是复杂纹理的分割，能够获得期望的分割结果，可以很好地检测出疵点。文献[23]将基于Otsu法改进的方法应用于X射线对于缝隙焊接的缺陷检测，该方法比传统的谷点强调法对于焊接缺陷检测表现更好。文献[10,26]分析了钢轨表面灰度分度不均，基于谷点强调法进行了改进，改进的算法对钢轨表面缺陷的检测有良好的结果。文献[40]将邻域谷点强调法应用于太阳能电池瑕疵特征的提取，解决了目标和背景的灰度值不易区分的问题。文献[41]在光强图像处理时，为了获取图像中有用的信息，同时去除光强图像的背景噪声，用邻域谷点强调算法将灰度图像转换为二值图像，微创手术中组织触诊的光学触觉阵列探头中的光纤会捕获光强度分布的图像。这些应用研究使得对谷点强调法的研究具有很好的实际意义。