APP下载

Lab分通道直方图的彩色图像分割算法及应用

2019-01-30于艺铭王小菊

影像科学与光化学 2019年1期
关键词:直方图灰度阈值

于艺铭, 金 典, 王 琪, 张 琪, 陈 茜, 王小菊

(南京林业大学 轻工与食品学院, 江苏 南京 210037)

1 前言

人类对外界信息的感知绝大部分来源于视觉,而图像是各种观测系统观测客观世界获得的可以直接或间接作用于人眼而产生视觉的实体[1]。随着图像处理技术的发展,人类逐步使用计算机模拟出大脑识别图像中特定目标的过程,将图像转化为更适于人眼观察或者方便仪器检测的数据[2]。在计算机视觉应用研究领域,图像分割技术具有十分重要的地位。

图像分割是指根据一定的相似性准则将图像划分成各具特性的区域[3],这些区域互不相交且每个区域应满足特定区域的一致性条件,是计算机视觉、图像处理[4,5]等领域的基础性问题之一,是图像分类、场景解析、物体检测、图像3D重构[2,6-8]等任务的预处理步骤。被广泛应用于医学影像分析、交通控制、气象预测、地质勘探、人脸与指纹识别[4,9-12]等诸多领域。

常见的图像分割算法有阈值分割法[13]、边缘检测法[14]、区域分割法[15]、直方图分割法[6]等。其中,直方图分割法是一种兼具效率与效果的分割方案,对于区域内亮度级相似且区域间亮度级不同的图像具有较好的分割适用性。由于其操作简便且效果显著,基于该算法的改进及应用日益广泛。如裴继红等[16]在该法基础上提出了多阈值分割法,通过对模糊约束直方图目标函数的优化获得最佳模糊约束划分,根据最大隶属度原则进行图像多阈值化分割;冯惠扬等[17]基于该法提出了极值分析法,即对灰度统计直方图中存在的各极值进行分析,从中选取最合适的阈值;Liao等[18]在该法基础上修改了类间方差的计算公式,使其运行时间大大缩短。但这些研究大都从算法实现的复杂度方面进行改进,基本未考虑不同属性目标对应阈值的分割效果,即该类算法对图像不同目标区域间的亮度值差异具有较高要求,在处理复杂场景,尤其彩色图像时其分割效果不尽理想。

本文提出了一种基于分通道直方图的彩色图像分割算法,采用的图像均来源于USI-SIPI image database,引入亮度L通道、红绿a通道及蓝黄b通道3种分割依据,由于Lab三通道间具有不相关性,因此对其一通道进行处理分析不会影响另外两通道的序列,解决了单一目标区域同时受多通道共同影响的弊端,通过Newton插值法进行拟合运算,可针对图像色貌属性差异的显著程度进行自由选择,并运用邻域灰度值相匹配原则解决相邻目标区域边缘像素的准确匹配问题,分局部、分形态、分区域进行图像中不同目标的提取,可实现亮度差异不明显而色度差异显著类图像的良好分割。将该分割法应用于经典Reinhard色彩迁移算法中,将源图像中感兴趣的目标区域经分通道分割后分别进行色彩迁移变换,用以解决经典Reinhard色彩迁移算法对于图像非目标区域的干扰、色彩误传及阶调层次损失严重等问题,突破了传统迁移算法只能整体着色的局限性,实现了分区域精准着色。

2 算法原理

2.1 传统灰度直方图分割法

传统灰度直方图分割法首先将RGB图像转化为灰度图像并获取其灰度直方图,依据待分割区域整体或部分信息的直方图波峰及波谷定位图像中的簇,选择最适宜的阈值,将图像按照选定的灰度级进行划分。由于该法直接利用直方图灰度级,计算方面十分简单高效,依据其分割原理,如何选取最适宜阈值成为该算法的核心问题。

针对一维阈值分割算法适应性差,二维阈值分割算法复杂度高的问题,基于区域划分的灰度直方图综合阈值分割算法[19]应运而生,该算法利用像素灰度以及邻域均值组成二维空间,在此二维空间上利用区域划分的方法来构造一维直方图,再综合最小误差[20]、最大熵[21]及最大类间方差[22]3种经典的分割算法,构造新的阈值选取方法,最后利用获取的阈值进行分割。

如图1所示,(a)为源图像,(b)为其所对应灰度直方图,横坐标L为源图像包含的所有阶调值,纵坐标N为源图像各阶调值对应的总像素数目。

灰度直方图分割法是简单且高效的分割方案,尤其当图像不同语义信息之间差异较大时,能够得到良好的分割效果。该算法虽优势较为显著,但也有其局限性。一方面,当图像中的灰度值差异不明显或灰度范围重叠时,可能出现过分割或欠分割的情况,另一方面,该法不关心图像的色度及纹理特征,对于色彩或纹理差异显著的图像分割效果不佳。

(a) 源图像(b) 灰度直方图图1 灰度直方图样例Example of grayscale histogram

2.2 本文Lab分通道直方图分割法

本文提出了一种新的基于Lab分通道直方图的分割算法,由于其三通道间具有不相关性,对其一通道进行处理分析不会影响另外两通道的序列,解决了单一目标区域同时受多通道共同影响的弊端,具体如下:

导入待处理源图像,将其sRGB模式转换为Lab模式,分别获取并存储其L、a、b三通道矩阵值gL(x)、ga(x)、gb(x),将其数据类型由用于图像显示的8位无符号整型转变为可进行统计运算的双精度类型。使用imhist获取图像对应通道的直方图,并使用Newton插值法对其进行拟合运算,如公式(1):

Nn(x)=f(x0)+f[x0,x1](x-x0)+f[x0,x1,x2](x-x0)(x-x1)+…+f[x0,x1,…,xn](x-x0)…(x-xn-1)

(1)

式中,xi为图像阶调值,Nn(x)为对应直方图的n阶牛顿插值多项式,f[x0,…,xi]为各阶调值对应总像素数的均差,其计算方法如公式(2):

(2)

Newton插值法相对于Lagrange插值法具有承袭性的优点,通过引入均差的概念,在增加额外插值点时,可利用之前的运算结果以降低运算量,提高算法运行效率。之后运用Nn(x)一阶导数(决定单调性)等于0,二阶导数(决定凹凸性)大于0的求解极小值点条件,分别获得L、a、b三通道直方图拟合曲线的最佳阈值。

对于相邻目标区域边缘像素的准确匹配问题,本文采用邻域灰度值相匹配原则,设相邻目标区域分别为A1、A2,计算当前像素Pi的灰度值Li和5×5领域内的方差值det(Di),将其与相邻像素的特征点进行加权比较,设权值分别为λ1和λ2,找到与像素Pi的λ1×Li+λ2×det(Di)差值最大的像素(假设为Pj),则Pi与Pj分别隶属于两个目标区域,经实验验证,当λ1=0.73,λ2=0.27时边缘像素分割效果最佳,如公式(3)所示:

{[0.73×Li+0.27×det(Di)]-[0.73×Lj+0.27×det(Dj)]}→maxPi∈A1,Pj∈A2

(3)

2.2.1区域L通道值差异显著类图像的分割

对于区域L通道值差异较为显著的图像,获取其对应直方图gL(x)并采用公式(1)及公式(2)进行Newton插值拟合运算,设L通道直方图拟合函数为fL(x),点集{xL1、xL2…xLn}满足公式(4)和(5):

(4)

(5)

对于L通道值较大区域目标的分割,采用邻域灰度值相匹配原则,根据公式(3)选取适宜的xLi∈{xL1、xL2…xLn}满足公式(6):

(6)

对于L通道值较小区域目标的分割,选取适宜的xLi∈{xL1、xL2…xLn}满足公式(7):

(7)

式中,xLi∈[0,100]。

2.2.2区域a、b通道值差异显著类图像的分割

对于区域L通道值差异较小且a、b通道值差异较显著的图像,获取其对应直方图gk(x)并采用公式(1)及公式(2)进行Newton插值拟合运算,设a、b通道直方图拟合函数为fk(x),点集{xk1、xk2…xkn}满足公式(8)和(9):

(8)

(9)

对于中性灰色调区域目标的分割,采用邻域灰度值相匹配原则,根据公式(3)选取适宜的xki、xkj∈{xk1、xk2…xkn}满足公式(10):

(10)

对于a、b通道值较小区域目标的分割,选取适宜的xki∈{xk1、xk2…xkn}满足公式(11):

(11)

对于a、b通道值较大区域目标的分割,选取适宜的xkj∈{xk1、xk2…xkn}满足公式(12):

(12)

式中,xki、xkj∈[-128,127]。

2.3 基于Lab分通道直方图分割的色彩迁移算法

色彩迁移[23]是图像非真实感绘制和图像编辑的重要技术,既可实现彩色图像间的颜色迁移,又可为灰度图像着色,是一类新兴改变图像色貌的方法。

本文将分通道直方图分割法与经典Reinhard色彩迁移算法[24]结合,将源图像中待分割目标区域分离后进行色彩迁移,较好地解决了经典Reinhard算法对于图像非目标区域的干扰及色彩误传现象[25],实现了个性化的色彩迁移效果。方法如下:使用matlab2016a分别导入选定的源图像(提供形状轮廓)及参考图像(提供色彩基调)并转换为可进行统计运算的double类型。

综合分析需进行色彩迁移的目标区域与背景区域亮度及色度差异,从公式(4)~(12)中选取最佳通道组合对目标区域进行分割,并将分割所得目标区域图像及参考图像转换为Lab颜色模式。

使用mean2、std2等函数分别求得两幅图像在该模式下L、a、b三通道的均值与标准差,设目标区域图像与参考图像的三通道对应均值分别为μsL、μsa、μsb、μrL、μra、μrb,三通道对应标准偏差值分别为σsL、σsa、σsb、σrL、σra、σrb,并定义目标区域图像与迁移结果图像三通道对应L、a、b值分别为Ls、as、bs、L′、a′、b′。运用Reinhard算法完成目标区域图像与参考图像在Lab颜色模式下的色彩迁移变换,得到最终迁移结果图像的L、a、b值(即L′、a′、b′):

(13)

(14)

(15)

之后将迁移结果图像转换为RGB颜色模式,数据类型转换为用于图像显示的uint8类型,并使用imshow函数完成结果图像的显示。

3 算法效果及应用评价

3.1 本文分割法与传统灰度直方图分割法效果展示及对比

将传统灰度直方图分割法与使用本文Lab分通道直方图分割法所得目标区域进行效果比对,如图2所示。由图2(c)、图2(e)可知,使用传统灰度直方图分割法所获老鹰翅膀羽毛边缘依旧残存天空的蓝色,即出现分割不彻底现象,相比之下,使用本文Lab分通道直方图分割法所得羽毛边缘效果更加自然、精细。

图2传统灰度直方图法与Lab分通道直方图法分割效果对比

Comparison of segmentation results between traditional gray histogram method and Lab sub channel histogram method

3.2 本文分割法在色彩迁移中的应用

本文分别将基于L、a、b三通道直方图的分割法应用于经典Reinhard色彩迁移算法中,并与传统灰度直方图法进行比较,结果如下。

3.2.1区域L通道值差异显著的图像处理分析

L通道直方图适用于待分割区域与背景区域L通道值差异大于a、b通道值差异的源图像,本文通过主观判断结合待分割区域与背景区域

L均值差异大于a、b均值差异来筛选,如图3所示,图3(a)为区域L通道值高反差类源图像,该组实验旨在对图3(a)中与背景L通道值差异较为显著的特定目标区域实施重上色操作,采用图3(b)中色调为参考色彩,分别使用传统灰度直方图分割法、L通道直方图分割算法处理后实施Reinhard色彩迁移变换,结果分别如图3(c)、3(d)所示。

(a) L通道值差异显著类源图像 (b) 参考图像 (c) 传统灰度直方图分割的Reinhard算法处理效果图 (d) L通道直方图分割的Reinhard算法处理效果图 图3 L通道值差异显著的图像处理分析Image processing analysis of significant difference in L channel value

经本文分割法与Reinhard法结合后的图像,对目标建筑区域的分割精准程度、细节展现及色彩迁移效果均优于传统灰度直方图分割法。图4(a)与4(b)、图5(a)与5(b)、图6(a)与6(b)分别为源图像L通道直方图与拟合曲线、a通道直方图与拟合曲线、b通道直方图与拟合曲线,由图知,该类型源图像的a通道直方图阶调集中分布于区间[125,138],b通道直方图阶调集中分布于区间[120,145],且二者均未体现较强的阈值特性。相比之下,L通道直方图在阶调值为200的位置体现出显著的阈值特性,在区间[0,200]、[200,255]分别较好展现了建筑与天空区域之间的亮度值差异,故该类型源图像选用L通道分割处理效果最佳。

(a) 源图像L通道直方图 (b) L通道直方图拟合曲线 图4 源图像L通道直方图与拟合曲线L channel histogram and fitting curve of source image

(a) 源图像a通道直方图 (b) a通道直方图拟合曲线 图5 源图像a通道直方图与拟合曲线a channel histogram and fitting curve of source image

(a) 源图像b通道直方图 (b) b通道直方图拟合曲线 图6 源图像b通道直方图与拟合曲线b channel histogram and fitting curve of source image

3.2.2区域a通道值差异显著的图像处理分析

a通道直方图适用于待分割区域与背景区域a通道值差异大于L、b通道值差异的源图像,本文通过主观判断结合待分割区域与背景区域a均值差异大于L、b均值差异来筛选,如图7所示,图7(a)为区域a通道值高反差类源图像,该组实验旨在对图7(a)中与背景a通道值差异较为显著的特定目标区域实施重上色操作,采用图7(b)参考图像1和图7(c)参考图像2的色调为参考色彩,分别使用传统灰度直方图分割法、a通道直方图分割算法处理后实施Reinhard色彩迁移变换,结果分别如图7(d)、7(e)所示。

经本文分割法与Reinhard法结合后的图像,对蝴蝶、叶片等不同目标区域的分割精准程度、细节展现及色彩迁移效果均优于传统灰度直方图分割法。

(a) a通道值差异显著类源图像 (b) 参考图像1 (c) 参考图像2 (d) 传统灰度直方图分割的Reinhard算法处理效果图 (e) a通道直方图分割的Reinhard算法处理效果图 图7 a通道值差异显著的图像处理分析Image processing analysis of significant difference in a channel value

图8(a)与8(b)、图9(a)与9(b)、图10(a)与10(b)分别为源图像a通道直方图与拟合曲线、L通道直方图与拟合曲线、b通道直方图与拟合曲线,由图知,该类型源图像的L通道直方图在全阶调范围内表现出较为复杂的阈值情况,原因是感兴趣目标区域内部及其与背景之间的亮度值差异变化情况均较为复杂,无法获取精确的分割结果;其b通道直方图阶调集中分布于区间[125,132],且未体现出明显的阈值特性。相比之下,a通道直方图在阶调值为115、137的位置体现出显著的阈值特性,在区间[105,115]、[115,137]、[137,168]分别较好展现了叶片、背景、蝴蝶之间的色度值差异,故该类型源图像选用a通道分割处理效果最佳。

(a) 源图像a通道直方图 (b) a通道直方图拟合曲线 图8 源图像a通道直方图与拟合曲线a channel histogram and fitting curve of source image

(a) 源图像L通道直方图 (b) L通道直方图拟合曲线 图9 源图像L通道直方图与拟合曲线L channel histogram and fitting curve of source image

(a) 源图像b通道直方图 (b) b通道直方图拟合曲线 图10 源图像b通道直方图与拟合曲线b channel histogram and fitting curve of source image

3.2.3区域b通道值差异显著的图像处理分析

b通道直方图适用于待分割区域与背景区域b通道值差异大于L、a通道值差异的源图像,本文通过主观判断结合待分割区域与背景区域b均值差异大于L、a均值差异来筛选,如图11所示,图11(a)为区域b通道值高反差类源图像,该组实验旨在对图11(a)中与背景b通道值差异较为显著的特定目标区域实施重上色操作,采用图11(b)参考图像1和图11(c)参考图像2的色调为参考色彩,分别使用传统灰度直方图分割法、b通道直方图分割算法处理后实施Reinhard色彩迁移变换,结果如图11(d)、11(e)所示。

经本文分割法与Reinhard法结合后的图像,对天空、牧草农舍等不同目标区域的分割精准程度、细节展现及色彩迁移效果均优于传统灰度直方图分割法。

(a) b通道值差异显著类源图像 (b) 参考图像1 (c) 参考图像2 (d) 传统灰度直方图分割的Reinhard算法处理效果图 (e) b通道直方图分割的Reinhard算法处理效果图 图11 b通道值差异显著的图像处理分析Image processing analysis of significant difference in b channel value

图12(a)与12(b)、图13(a)与13(b)、图14(a)与14(b)分别为源图像b通道直方图与拟合曲线、L通道直方图与拟合曲线、a通道直方图与拟合曲线,由图知,该类型源图像的L通道直方图在全阶调范围内表现出较为复杂的阈值情况,原因是感兴趣目标区域内部及其与背景之间的亮度值差异变化情况均较为复杂,无法获取精确的分割结果;其a通道直方图阶调集中分布于区间[121,141],且未体现出较为明显的阈值特性。相比之下,b通道直方图在阶调值为125、136的位置体现出显著的阈值特性,在区间[108,125]、[125,136]、[136,163]分别较好展现了天空、森林、牧草农舍之间的色度值差异,故该类型源图像选用b通道分割处理效果最佳。

3.3 分割效果评价

本文采用主、客观评价对传统灰度直方图法与Lab分通道直方图法的分割效果进行评价。

3.3.1主观评价

(1) 对比图2(c)与图2(e)分割效果可知,使用传统灰度直方图分割法所获老鹰翅膀羽毛边缘依旧残存天空的蓝色,即出现分割不彻底现象,相比之下,使用本文Lab分通道直方图分割法所得羽毛边缘效果更加自然、精细。

(a) 源图像b通道直方图 (b) b通道直方图拟合曲线 图12 源图像b通道直方图与拟合曲线b channel histogram and fitting curve of source image

(a) 源图像L通道直方图 (b) L通道直方图拟合曲线 图13 源图像L通道直方图与拟合曲线L channel histogram and fitting curve of source image

(a) 源图像a通道直方图 (b) a通道直方图拟合曲线

图14源图像a通道直方图与拟合曲线

a channel histogram and fitting curve of source image

(2) 对比图3(c)与图3(d)效果可知,在传统灰度直方图分割的色彩迁移结果图中,砖瓦之间依然有大量缝隙未经上色处理,表明传统分割法对L通道值差异显著目标区域出现分割不彻底的问题,相比之下,本文分割法对建筑区域的细节展现更佳,对其与天空的边界划分更为准确。

(3) 对比图7(d)与图7(e)效果可知,在传统灰度直方图分割的色彩迁移结果图中,除目标蝴蝶区域外依旧有大量背景区域呈紫色,表明传统分割法对a通道值差异显著目标区域出现分割过度的问题,相比之下,本文分割法对蝴蝶、叶片、背景的边界划分更为准确。

(4) 对比图11(d)与图11(e)效果可知,在传统灰度直方图分割的色彩迁移结果图中,除目标天空区域外,农舍屋顶及森林均呈现蓝色,牧草亦有部分区域呈现蓝色,表明传统分割法对b通道值差异显著目标区域出现分割过度的问题,相比之下,本文分割法对天空、森林、牧草农舍的边界划分更为准确。

3.3.2客观评价

本文采用区域内部均匀性评价指标(RU),对传统灰度直方图分割法与Lab分通道直方图分割法的性能进行定量评价。设Ri表示第i个区域,Ai为其面积,则分割图像的均匀性测度(RU)为:

(16)

式中,C为归一化因子,f(x,y)为通道值,n为第i个区域内的像素数。RU值越大,分割效果越好,算法性能也越好。分别对图2(a)、3(a)、7(a)、11(a)进行两种分割算法均匀性及执行效率的评价,结果如表1。

由表1知,本文Lab分通道直方图法分割结果的内部均匀指标(RU)均高于传统灰度直方图法,且由于采用Newton插值法代替传统Lagrange插值法,使得本文算法执行效率均高于传统灰度直方图法,得到了较为理想的分割效果。

表1 传统灰度直方图、Lab分通道直方图分割法均匀性评价指标(RU)及执行效率(t)的比较

4 结论

本研究在传统灰度直方图分割法的基础上加以改进,分别引入具有序列不相关性的L、a、b通道3种分割依据,由于三通道间的不相关性,处理其一不会影响另两通道序列,解决了传统通道分割法中单一目标区域受多通道共同影响的弊端;且由于引入色度a、b通道,解决了传统灰度直方图分割法对灰度差异不明显或灰度范围重叠图像出现过分割或欠分割等问题,分局部、分形态、分区域实现图像中不同目标的提取。通过Newton插值法进行拟合运算,相对传统Lagrange插值具有承袭性优点,由于引入了均差的概念,在增加额外插值点时,可利用之前运算结果以降低运算量,提高执行效率。之后,提出邻域灰度值相匹配原则,经实验获取最佳权值进行加权运算,解决相邻目标区边缘像素准确匹配问题。实验表明,本文算法不仅对区域亮度特征差异较大的图像具有较好的分割效果,对于区域色度特征差异显著于区域亮度特征差异的图像,其分割效果及执行效率明显优于传统灰度直方图分割法,极大提升了直方图分割算法对不同类型图像的适用性。

将本文分通道直方图分割法与经典Reinhard色彩迁移算法结合,分别进行区域L通道值、a通道值和b通道值差异显著图像的处理分析,将源图像中感兴趣的目标区域分割后分别进行色彩迁移变换,较好地解决了经典Reinhard算法对于图像非目标区域的干扰、色彩误传及阶调层次损失严重等问题,突破了传统迁移算法只能整体着色的局限性,实现了分区域精准着色。

今后,将对分通道直方图法加以改进,尝试将分通道思想应用于其他自适应分割算法中,寻求更加精确、高效的图像分割方案。

猜你喜欢

直方图灰度阈值
符合差分隐私的流数据统计直方图发布
采用改进导重法的拓扑结构灰度单元过滤技术
Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值
小波阈值去噪在深小孔钻削声发射信号处理中的应用
基于CS-TWR的动态阈值贪婪算法成像研究
用直方图控制画面影调
基于自适应阈值和连通域的隧道裂缝提取
基于最大加权投影求解的彩色图像灰度化对比度保留算法
中考频数分布直方图题型展示
圆投影及直方图不变矩在多视角产品检测中的应用