APP下载

基于超像素分割的实时野外场景理解

2019-07-05高玉潼

沈阳大学学报(自然科学版) 2019年3期
关键词:分类器类别聚类

高玉潼, 原 玥

(1. 东北大学 计算机科学与工程学院, 辽宁 沈阳 110169; 2. 沈阳大学 信息工程学院, 辽宁 沈阳 110044)

场景理解是计算机视觉领域的研究热点和难点.根据处理场景的不同可将其分为室内场景与室外场景.近年来,随着无人驾驶技术的不断发展,室外场景的理解变得尤为重要.通过对室外场景的语义分割,实现无人车的道路导航、行人避让以及车辆跟踪等功能.

对于室外场景的语义分割,近年来,诸多学者提出了多种方法.通常采用的方法是首先使用颜色、纹理等特征将整幅图像进行分割;随后对分割后的区域进行合并或相应的滤波处理;最后利用机器学习的方法将每个区域赋予语义标记,并将同类区域进行融合.在进行场景分割的过程中,颜色信息对于天空、草地、土地等类别具有很好的区分效果,通常使用HSV、LAB等颜色空间构建颜色直方图,但对于颜色相近或杂乱的场景效果较差.与此同时,Gabor、LBP、梯度共生矩阵等纹理信息可用于区分不同纹理的区域.W.Yang等人[1]提出一个两阶段分类器来进行场景分割.首先使用逻辑回归将图像表面特征和空间特征结合起来,然后将局部、区域和全局特征放入条件随机场模型中产生最后的分割结果.文献[2]基于灰度图像的最小误差概率,采用贝叶斯决策理论来实现图像的分割.其中假设图像的灰度值满足高斯混合模型的概率分布,并采用EM算法进行参数估计.文献[3]利用颜色信息和Gabor特征进行K均值初分割,然后采用图割的方法获得最后的分割.

通过对直线电机在线监测系统的组成进行分析,得到影响数据质量的因素为:①由传感器本身的测量不确定性造成的差异;②由传感器周边的强电磁干扰造成的数据差异;③由车体震动造成的气隙值与震动位移值之间的叠加;④由轮轨关系导致的检测值波动;⑤由综合因素造成的测量毛刺。

在对每个分割区域进行类别标记时,通常采用机器学习方法来实现.传统的方法常采用支持向量机(SVM)或AdaBoost等传统的机器学习方法.在文献[4]中提出使用颜色、纹理等特征结合支持向量机来对室外场景进行分类,并通过实验证明算法对于大规模图像数据库有较好的分类精度.D.Gokalp等人[5]采用单类分类器和聚类等手段将图像划分成多个区域,并从其中提取特征描述,结合贝叶斯分类器来实现室外场景的分类.

随着深度学习技术在计算机视觉领域取得巨大的成功[6],深度学习已被广泛应用在物体识别、场景理解、人脸识别等视觉领域,并取得了传统计算机视觉无法获得的准确率.在场景理解领域,通常采用深度学习网络对场景图像进行特征提取,同时结合其他技术完成场景语义分割功能.文献[7]利用卷积神经网络进行特征提取,同时利用超像素分割与CRF对像素语义进行分类标记.文俊[8]提出采用MeanShift先对场景图像进行预分割,然后再将预分割后的区域送入神经网络模型中进行分类.

为平衡场景分类算法的时间开销和分类精度,本文首先采用快速超像素分割来进行预处理,然后结合了颜色、纹理和梯度信息构成了特征描述符,最后采用多类Real AdaBoost算法对场景进行快速、准确的分类.

1 超像素分割

超像素[9-10]是一类具有相似度量的像素集合.它为计算局部图像特征提供了方便,大幅降低了后续图像处理的复杂性,被广泛应用于深度估计、图像分割和物体定位等方面.但是很多超像素的计算方法复杂度高、实时性差、分割精度差,以至其不适用于实际的视觉应用中.本文采用R. Achanta[11]提出的简单线性迭代聚类方法(SLIC)用于实时场景分类系统中.

由于每个像素的5维特征向量拥有两种不同的含义,因此在不进行归一化的情况下,不能简单地使用欧氏距离进行聚类.为了平衡在聚类过程中的像素空间距离和像素颜色,对像素空间距离进行适当的加权,其公式如下:

其中:Ds是度量值;m是输入参数,用来调节超像素的紧致度;m的值越大,空间相似性权重越大,聚类越紧密,在本文中采用m=10作为参数;lk、ak、bk表示第k个超像素的聚类中心点像素的lab值,li、ai、bi表示在其周围2S×2S正方形内的采样像素点i的lab值;xk、yk表示第k个超像素的聚类中心点像素的图像坐标值,xi、yi表示在其周围2S×2S正方形内的采样像素点i的图像坐标值;dlab表示第k个超像素聚类中心与其周围2S×2S正方形内的像素点的lab值的度量值,即lab颜色空间的距离;dxy表示第k个超像素聚类中心与其周围2S×2S正方形内的像素点的图像坐标值的度量值,即欧氏距离.

现场录井过程中可综合运用气测解释方法,经实践证实3H轻质烷烃比值法[4](包括烃特征值(CH)、烃平衡值(BH)和烃湿度值(WH))可有效识别是否进入油气层及是否钻出油气层或钻遇低渗层。将WH、BH和CH 值对数曲线和随钻录井剖面放置于同一张图表中,根据3条曲线的对应关系和趋势可判断是否钻入或钻出油气层。

构建全程网格化监管、食品药品可追溯、技术支撑、社会共治“四个体系”。昆明市局率先在全省构建了市县食品药品稽查体系,以政府购买服务方式,配备工作人员4600多名,形成市县乡三级监管机构、市县乡村四级监管网络。建立了生产管理、入市备案、进销记录等制度,加强初始管控,构建系统的溯源链条。此外,还建立了以市级检验机构为核心、县级检验机构为支撑、乡和市场快检室为基础的检测体系。开展立体式宣传,连续13年组织家庭小药箱清理暨用药安全宣传月活动。

算法1给出了整个SLIC的算法流程.在放置聚类中心时,为了避免将聚类中心放置在图像边界处或噪点处,按照式(4)将聚类中心调整到最小梯度处.图1展示了当k取不同值时超像素分割的效果.

其中:I(x,y)是像素坐标(x,y)处的lab向量;‖·‖是L2范数,因此式(4)同时考虑了颜色和像素强度信息.

图1 超像素分割Fig.1 Superpixel segmentation(a)—k=100; (b)—k=200; (c)—k=500.

算法1 超像素分割算法

S作为图像像素间隔,初始化聚类中心

Ck=[lk,ak,bk,xk,yk]T.

在n×n邻域内调整聚类中心到最低梯度位置.

repeat

for每个聚类中心Ckdo

根据式(1)~式(3),在2S×2S邻域内为聚类中心分配最好的匹配点

end for

综上所述,应用集束化护理措施,能够显著降低呼吸机相关性肺炎患者的机械通气时间、呼吸机相性肺炎发生率,并有助于提高护理质量与患者满意度,值得临床广泛推行。

半个学年过去了,我是越战越勇,名次上升很快,甚至数学还以满分和张绍凡并驾齐驱。她看我的眼神变得不一样了,有惊奇还有疑惑。

untilE≤threshold

如图5所示,设置初始阻抗参数为z=0.2进行髋关节和膝关节实验,第1周期,被测者不施加主动力,按照既定轨迹恒速运动;第2周期开始,被测者施加主动力,机器人采集主动作用力;第3周期开始,根据前1周期主动作用力大小计算新的康复训练速度。从图5中可以看出力2大于力1,其相应的速度也越大,所以当阻抗参数相同时,主动力越大,速度调整量也越大。

综上所述,低压配电系统作为电源向用电负荷传输电能的必要途径,它不仅影响人们的正常生活,同时还会造成责任事故,危及人体生命,损害国家利益。因此,不仅要对低压配电系统程序和环节进行全面了解,还要正视建筑电气设计中低压配电系统安全合理选择的问题,再保证电源稳定持续的前提下,通过合理方式调整配电形式,减少不必要的配电投资,已达到稳定持续供电的低压配电系统。

2 特征提取

2.1 HSV颜色特征

在野外场景中,主要涉及的目标对象有草地、树木、天空和土路.在一般情况下,使用颜色特征可以很直观地将其区分,因此本文采用HSV(hue, saturation, value)颜色模型为基础来实现颜色特征提取.HSV是由A. R. Smith[12]在1978年根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型(图2).其中H分量为色调,表示RGB三种颜色的变化;S分量为饱和度,表示某种颜色的饱和程度,V分量为亮度,表示图像的明暗强度.

计算新的聚类中心和残差E{使用前一次聚类中心和当前重新计算的聚类中心的L1距离计算残差}

图2 HSV颜色模型Fig.2 HSV color model

由于超像素分割近似地将同类的场景划分在相同的区域内,因此使用HSV颜色模型对每个超像素区域进行颜色特征提取.本文涉及的场景中的每一类,其局部区域颜色均较为平滑,并且纹理信息周期性较强,因此可以采用颜色通道的均值和方差作为其颜色特征,形成6维颜色特征如式(5)所示.

(5)

给定训练集S={(x1,y1),…,(xm,ym)},xi∈χ,yi∈{-1,1},弱分类器假设集H,弱分类器个数为T,初始化样本权值

2.2 LBP特征

a3. 对于∀x∈Xj,定义h(x)为

图3 LBP特征计算示意图Fig.3 LBP feature computing schematic

遍历超像素块上的每个像素并计算其LBP特征,由于场景中目标类别的纹理具有一定的周期性,因此通过计算超像素块内的LBP特征的均值和方差可以得到其二维纹理特征.

(6)

2.3 EOH特征

EOH(edge oriented histogram)[15]特征是通过在图像局部区域内建立边缘或梯度方向直方图来对局部区域进行特征描述.相比较于LBP特征,EOH特征更重视较大范围的边缘信息,其构建过程如图4所示.

图4 EOH特征计算示意图Fig.4 EOH feature computing schematic

EOH特征计算图像区域中每个像素点的梯度大小和梯度方向,得到一张梯度图,然后按照梯度方向将统计直方图分成9维,将具有相同方向的梯度大小累积起来,就能得到最终的统计直方图.本文采用Sobel算子进行梯度计算.

像素点(x,y)的边缘强度定义如式(7)所示:

(7)

其中,Gx(x,y)和Gy(x,y)分别为x和y方向上的梯度.然后设定一个阈值T来去除噪声,

(8)

像素点(x,y)的边缘方向定义为

(9)

然后,将边缘方向θ(0°,180°)等分为K(本文取K=9)个区间,在像素点(x,y)处的第K个区间的值为

(10)

(11)

ε是一个很小的值,为了使分母不出现为0的情况.算法中可以取ε=10-6.

最后在一个超像素区域内,通过统计其颜色、纹理和梯度信息,形成了17维的特征描述符见式(12).使用该特征描述向量来表述每一个局部区域,再通过机器学习方法即可获得场景的分类器.e1,…,e9表示EOH特征的9个特征分量.

3 模式分类

3.1 Real AdaBoost分类算法

本文采用Real AdaBoost[16-17]作为学习算法来训练图像特征,以获得快速有效的场景分类器.AdaBoost算法最早由Freund和Schapire[18]提出,可以自动选取适合的弱分类器组合成强分类器以提升分类能力.因此其分类预测结果由每个弱分类器按权值投票产生,其过程如图5所示,每个弱分类器N对应一个权值WN,权值越大分类能力越强.Real AdaBoost分类器是对经典的AdaBoost分类器的改进与提升,经典的AdaBoost分类器也叫离散AdaBoost分类器,其每个弱分类器仅输出离散的数值,分类能力较弱.而Real AdaBoost的每个弱分类器都输出一个连续的实值,该数值表示类别的概率估计.Real AdaBoost算法的训练伪代码如算法2所示.

连通属于相同聚类中心的像素.

由于近年来建筑物的建设数量逐渐增加,其带来的环境污染、能源浪费等现象也越发严重。故而在利用BIM技术对建筑物进行节能设计研究的过程中,主要通过对建筑节能设计现状进行简单阐述,进而对BIM技术与建筑节能设计以及基于BIM技术的建筑节能设计具体应用进行详细的研究与分析。本文旨在为BIM技术的建筑节能设计应用研究提供几点参考性建议,并为BIM技术在建筑节能设计方面的应用优化提供积极的促进作用。

图5 AdaBoost分类器结构Fig.5 Structure of AdaBoost classifier

算法2 Real AdaBoost算法

D1(i)=1/m,i=1,…,m.

fort=1,…,T

a. forH中的每个hdo

a1. 将χ划分成若干互斥的集合X1,…,Xn;

最后强分类器

a2. 统计Xj中-1和+1类别的累积样本权重

其中l=±1;

教材是教师教学的帮手,也是规范教学和传承教育内容的保证。礼仪课程的教材种类繁多,但很少有教材完全符合教学需求,只是部分对教学有价值,如何汲取有价值的部分,使其固化为适合本校学生的教材,这对所有礼仪教师都是挑战。因此,性质相同、教学体系相似的院校的旅游礼仪教师可合作共同编制礼仪教材,根据本校学生的实际情况,将理论与实践内容以文字的形式展现,但必须遵循以下几个原则:结合院校的性质,教材内容符合学生的可接受性;摒弃学科中心主义的思想,建立新的教材内容体系框架;反映时代特征,体现职业适用性价值;体现教材的教育性价值,使学生多方面获益[9]。在此基础上,规范、完善理论及形体实践教学内容。

LBP(local binary pattern)特征[13-14]是一种用于描述图像纹理的局部特征.每个像素点的LBP值定义在其周围邻域内(本文取3×3邻域),以当前像素点作为阈值,与邻域内周围点的像素进行比较,若周围像素大于当前像素值,则该像素位置被标记为1,否则标记为0.因此在当前像素点周围形成了8位的二进制数值,该数值就是当前像素点的LBP值,其计算过程见图3.LBP特征反应了当前局部区域内的梯度信息,不同于HOG等复杂的局部梯度描述符,LBP特征只保留了符号信息,即梯度的方向信息,而忽略梯度大小信息,加快了算子的计算速度.

ε是一个很小的正常数;

a4. 计算归一化因子

b.最小化Z来选取ht

c.更新样本权值

Dt+1(i)=Dt(i)exp[-yiht(xi)].

我写此文不是自己有什么育儿高招,这些不是我的成果。我家蛮蛮号称放养,但显然我没有完全清楚放养的真正意思,good manner方面差得远。但我希望自己遇到了好的方式好的现象,能思考并能正面地学习点啥,也带给国内很积极上进的家长们一些参考。国内不管是节目《保姆911》的火爆,还是现在“正面教育”的流行,我发现了其中很重要的一点:教育孩子,首先是调整好自己。父母带头做到了,孩子才可能跟着做到。

其中b是一个阈值,默认数值为0.

3.2 多分类Real AdaBoost算法

在本文的分类任务中,待区分的类别有3类:绿色植被、天空和土路,因此该分类问题转变为多类别分类问题.本文采用一对多的思想来解决多类别分类问题.基于Real AdaBoost二值分类算法,在对某个类别进行模型训练时,将该类别的正例作为正样本,其他类别的样本全部作为负样本,循环执行即可得到多类别分类模型,其训练的伪代码如算法3所示.

抓住机遇,加快发展。天脊集团与珍宝石油公司在首届中国国际进口博览会成功“牵手”,合作实施苯胺加工贸易项目,不仅实现了强强联合、互利双赢、共同发展,更重要的是对天脊集团创新合作模式、扩大天脊品牌、开拓国际市场具有重要现实意义。

算法3 多类Real AdaBoost算法

观察并记录本组患者手术病理诊断结果,并观察患者颅脑MRI的图像表现,明确肿瘤发生部位、大小、形态、信号及强化表现等。

给定训练样本集合

S={(xi1,yi1),(xi2,yi2),…,(xij,yij)},

类别个数为J,i=1,…,N;每一类的样本个数为N;xij表示类别j的第i个样本,yij∈{1,…,J}表示类别j的第i个样本的类别标签.

使用Real AdaBoost为每一类生成一个分类函数

其中:k表示第k个弱分类器;m是弱分类器的个数.得到多类Real AdaBoost分类器

2组患者在手术时间、术中出血量间无统计学差异(P>0.05);观察组苏醒时间显著短于对照组(P<0.05),PONV评分、补救镇痛率显著低于对照组(P<0.05)。见表2。

即令F(x,j)达到最大的类别j即为所求.

4 实验结果与分析

本文的野外场景分类算法运行在Windows 7 64位笔记本电脑上,配置Intel(R) Core(TM) i5-2450M CPU,主频2.5GHz,内存4.00GB.野外场景图片数据从网络上获取,选取的场景主要为绿色植被、天空和土路构成.每个类别的训练数据分别选取各种条件下的40张图片,并在其上遍历各种尺度以获得更大的训练数据集,其部分训练图片如图6所示.为了更好地适应多种实际场景,本文在选取训练样本时,更多地包含同一类别场景的多种不同状态,但尽量保证同一类别场景的高度内聚性和不同场景间的低耦合性.

图6 部分训练数据库样本Fig.6 Part of the training database sample(a)—绿色植被; (b)—天空; (c)—土路.

图7给出4个场景的测试图像.从实验结果来看,在进行超像素分割时,算法可以较好地将同一类场景划分在一个图像区域内,并且保证不同类别的边界处具有较好的分割结果,这对后续的场景分类提供了有利条件.最后通过多类Real AdaBoost算法对每个超像素块进行分类处理并将同类超像素块连接在一起,实验结果显示本文提出的算法可以很好地将3种场景正确分类,并且在容易出错的不同类的边界处也有很好的表现.同时由于采用了快速的超像素分割算法,使得本文提出的算法具有良好的实时处理性能,图7中4个场景的处理时间统计如表1所示.

图7 实验结果Fig.7 Experiment results(a)—场景1; (b)—场景2; (c)—场景3; (d)—场景4.

表1 计算时间统计Table 1 Computing time statistic

5 结 语

本文提出了一个实时性较好、分类精度较高的野外场景理解算法.该算法可以有效地应用在机器人野外环境勘测、车辆辅助驾驶等方面.为了加快处理速度,本文首先采用快速的超像素分割算法,该算法不仅实时性好,而且具有较高的分割精度,保证相同类别的目标场景被分割在同一个图像区域内.场景图像分割结束后,采用HSV颜色特征、LBP纹理特征和EOH边缘方向特征构成17维特征向量来表述超像素区域,最后利用多类Real AdaBoost算法训练多类别模型.实验结果显示本文提出的算法具有较高的分类精度,对于不同类边界地带处理较好,同时算法的实时性较好,可以将其使用在多种移动平台上用于科研和民用领域.

猜你喜欢

分类器类别聚类
基于K-means聚类的车-地无线通信场强研究
壮字喃字同形字的三种类别及简要分析
基于差异性测度的遥感自适应分类器选择
基于实例的强分类器快速集成方法
基于高斯混合聚类的阵列干涉SAR三维成像
西夏刻本中小装饰的类别及流变
基于Spark平台的K-means聚类算法改进及并行化实现
基于改进的遗传算法的模糊聚类算法
多类别复合资源的空间匹配
基于层次化分类器的遥感图像飞机目标检测