朱 杰，超木日力格，谢博鋆，于 剑

1.北京交通大学 计算机与信息技术学院 交通数据分析与挖掘北京市重点实验室，北京 100044

2.中央司法警官学院 信息管理系，河北 保定 071000

3.河北大学 数学与信息技术学院 机器学习与计算智能重点实验室，河北 保定 071000

利用颜色进行层次模式挖掘的图像分类方法*

朱 杰1,2+，超木日力格1，谢博鋆3，于 剑1

1.北京交通大学 计算机与信息技术学院 交通数据分析与挖掘北京市重点实验室，北京 100044

2.中央司法警官学院 信息管理系，河北 保定 071000

3.河北大学 数学与信息技术学院 机器学习与计算智能重点实验室，河北 保定 071000

图像的中间层特征挖掘能够发现不同视觉词之间的关系，然后可以利用挖掘得到的模式代替原有的视觉词进行图像表示。目前大部分的中层特征挖掘都是针对所有图像块进行的，而没有考虑到可以在局部进行模式挖掘。在局部进行模式挖掘有利于发现不同对象区域的模式，并且最终提高图像分类的准确率。提出了一种有效的基于颜色的层次模式挖掘方法。该方法把对有判别力的颜色的判断作为划分层次的标准，然后在每一层中对拥有这些颜色的图像块进行挖掘，最后用挖掘到的模式进行图像表示，并用于图像分类。实验结果表明，所提方法能够在Soccer、Flower 17和Flower 102上取得良好的分类效果。

有判别力的颜色选择；中间层特征挖掘；模式；分类

1 引言

词袋模型（bag-of-words，BOW）[1]首先利用不同的采样方式，如DOG（difference of Gaussian）[2]等，来提取局部特征并进行表示；然后通过聚类的方式生成字典，并且把局部特征分配给相应的视觉词；最后图像采用直方图的形式，来表示不同特征在图像中出现的频率。然而，BOW的图像表示方法没有考虑到不同特征之间的关系。近些年，模式挖掘算法被应用于发现特征之间的关系[3-5]，这些方法能够发现在不同类别中那些有意义的模式，用这些模式代替视觉词生成图像表示在图像分类领域取得了良好的效果。

虽然频繁项集挖掘技术和它的变种在数据挖掘领域早就被广泛应用[6-7]，但是至今为止很少被应用到图像分类领域。数据挖掘方法能够构造出更高层次的特征集，很多情况下，这个特征集能够获得更多的有判别力的信息[8]。Nowozin等人[9]提出了一套可解释的有高准确率的分类规则，算法合并了项集挖掘和极大Margin分类器来从视觉词中选择特征。Yuan等人[10]提出了一种数据挖掘驱动的方法用于从给定的可能的特征池中发现组合特征。频繁模式比单独的特征比如视觉词更有判别力，因为模式是这些特征的合并，所以能够获得更多的有判别力的信息。Gilbert等人[11]用层次的方法把特征距离集合在一起用以生成混合特征集，然后用数据挖掘的方法发现其中频繁出现的模式，用这些模式来进行动作识别。Quack等人[12]提出了一种方法用于发现频繁出现的有局部特征的空间构造，但是发现的空间构造并没有被应用于图像分类。Yao等人[13]提出了一种有结构性的图像表示方法，叫作group-lets，通过频繁类关联规则来发现那些有判别力的group-lets。Yuan等人[14]提出了一种新的数据挖掘方法用于发现那些最优的共现模式，并把这些模式应用于boosting算法，提高了图像分类的准确率。

基于中间层特征挖掘的图像表示方法近些年来也得到了广泛的研究。Singh等人[15]提出了一种采用无监督的方式发现有判别力图像块的方法，并且提出这些图像块应该是经常一起出现的，其本质也是找到频繁出现的模式。Fernando等人[16]把局部直方图认为是一个transaction，通过挖掘这些局部直方图找到频繁局部直方图的模式，最终用选择的模式进行图像表示。Voravuthikunchai等人[17]通过对直方图的随机映射来产生transaction，并对这些transaction进行挖掘来得到模式，进而用于直方图表示。除此以外，深度神经网络也被用于图像的中间层特征挖掘。Li等人[18]提出把CNN（convolutional neural net-work）提取出的图像块特征当作transaction，通过关联规则挖掘进行模式发现并用于图像表示。但是这种方式所构造的transaction难于解释。这些基于中间层特征挖掘的方式都是把图像中所有transaction进行全局挖掘，有利于找到全局范围内频繁出现的模式，但是局部频繁出现的特征有可能被忽略。

本文提出的中间层特征层次挖掘方法更有利于挖掘出对象的模式，因为一个层次对应着对象的一部分，挖掘这些部分的语义信息更有利于描述这些区域。如图1所示，首先通过颜色对图像进行分层，在每一层，把图像的所有图像块分为前景图像块（f）和背景图像块（b），然后在下一层把上一层前景图像块再细分为前景图像块和背景图像块。如图1所示，从上到下分别为一到三层。第一层为原图像，在第二层通过对颜色的选择把图像块分为f2和b2两部分，第三层把f2中的图像块再细分为f3和b3。每一层通过有判别力的颜色选择进行图像块的划分。最后把每一个单独图像块集合当作一个子类进行模式挖掘，用挖掘得到的模式进行图像表示并且用于图像分类。通过图1可以发现，层次划分方法的本质是把图像块分成若干个弱语义信息的集合，图像在第二层被分为花朵图像块集合和叶子图像块集合两部分，在第二层花朵图像块集合又被分为花瓣图像块和花蕊图像块。随着层次的加深，图像块的集合越来越倾向于出现在某个对象或者对象的某些部分上。

在每层通过挖掘的方法来获取频繁出现的模式能够更加准确地表示层次的特征信息。同时，基于对象识别的图像分类方法重点在于表示对象上的信息，但是背景上同样能够提供弱的上下文信息，因此在模式挖掘和图像表示的过程中，同样保留了背景信息。

本文用颜色将图像进行分层，提出在不同层次挖掘图像模式的方法，并且将此方法用于图像表示。第2章简述了有判别力颜色的检测方法以及如何用这些颜色对图像进行层次划分；第3章提出了一种不同层次下的模式挖掘方法；第4章描述了如何用得到的模式进行图像表示；第5章给出了实验结果，并对实验结果进行分析；最后总结全文。

Fig.1 Hierarchical division based on colors for frequent patterns mining图1 基于颜色的图像层次划分用于频繁模式挖掘

2 基于有判别力颜色的图像层次划分方法

2.1 有判别力的类对象颜色检测方法

在BOW框架下，首先通过不同的采样方式得到图像块，然后通过颜色描述子描述图像块内部每一个像素的颜色，最终图像块的颜色为该图像块内像素颜色描述子的平均值。对所有的训练集图像块颜色进行聚类，生成颜色字典，Vc是颜色视觉词的数量。对于任意图像，把每个图像块的颜色特征分配给最近的颜色词，最终的图像颜色被表示为颜色直方图，即各种颜色在图像中出现的概率分布。

现实中对象的颜色是多种多样的，而那些最具有代表性的颜色被认为是最有判别力的颜色，前景颜色即为这些有判别力颜色的合集。为了能够提取出这些有判别力的颜色，提出了有判别力的颜色直方图的概念。有判别力的颜色直方图是在颜色直方图的基础上构造的，通过类间的对比，发现不同类别图像的有判别力的颜色，在有判别力的颜色直方图中只显示了有判别力的颜色出现的频率，其他颜色的出现频率为0。如图2所示，Liverpool类的队服有判别力的颜色是红色，而相对应的Juventus类的队服有判别力的颜色是黑色和白色。因此，这两类有判别力的颜色直方图中只保留了这些有判别力的颜色。接下来用TF-IDF的方式来衡量颜色词在每类中的重要程度：

Fig.2 Discriminative color histogram图2 有判别力的颜色直方图

其中，tfi,j指的是某一个颜色视觉词在类j中出现的频率；ni,j代表在j中出现的次数。

其中，idfi用于衡量的普遍重要性程度，可以由图像的总数目|I|除以包含的图像数目，再将得到的商取对数得到。最后用tfi,j×idfi来衡量颜色词在类j中的重要程度。如果某一颜色词在类j中的出现频率高，且该词语在整个图像集合中不经常出现，则对于类j来说越重要。在每类当中，按照重要程度由大到小的顺序对颜色进行排序，颜色排序越靠前，颜色的判别力越强。

算法认为，有判别力的颜色选择标准是在任一类中选择对这类最重要的前mi种颜色作为有判别力的颜色。需要注意的是有判别力的颜色数量在每一类中可能不一样。

为了选择出对于任一类i最重要的mi种颜色，采用与文献[19]相似的优化算法：

其中，k为类别的总数量；Hi和分别代表第i类的颜色直方图和有判别力的颜色直方图；Vc是颜色视觉词的数量；Sim(·,·)代表两个直方图之间的相似度，这里用直方图的交来衡量。目标函数构造过程中，首先假设任意两类前景的对象颜色是不一样的，在目标函数的第一项中最小化任意不同两类有判别力颜色直方图的相似性。目标函数的另外一个假设是希望相同类别的颜色直方图和有判别力的颜色直方图相似，也就是希望有判别力的颜色能够最大程度上代表图像本身的颜色。目标函数的第二项计算了所有同类别图像的类的颜色直方图和有判别力的颜色直方图相似度，这个值越大说明有判别力的颜色直方图越能代表原有的类别。最后，mi可以通过坐标下降法求解得到。

2.2 基于颜色的层次划分方法

由于加入了层次，任一类i在第l层的颜色直方图表示为Hi,l，相应的有判别力颜色直方图表示为DHi,l,mi。在训练集中，对于第i类图像，在图像的第一层采样得到的所有图像块，通过颜色统计得到颜色直方图Hi,1，有判别力的颜色可以通过解式（3）的目标函数获得。根据得到的有判别力的颜色，可以把所有的图像块分为两部分，即有判别力颜色的图像块集合（前景）和剩余的图像块集合，把第一层中这两个集合中的图像块组成的颜色直方图分别记作FHi,2和BHi,2。在第二层中把FHi,2当作本层的颜色直方图Hi,2，继续通过优化得到，然后按照其中的颜色把第二层前景图像块分成第三层的前景和背景。以此类推，一直划分到预定的层数之后停止划分。

3 层次模式挖掘

在得到每类图像的层次划分后，把相同类别的图像在相同层次的图像块集合认为是一个子类sc，用于发现这些子类的模式。假设训练集中有N幅图像，属于k个类，每类图像被分为L层，L＞1，则训练集中子类的总数为SC=kL，每幅图像的图像块被划分到这L个图像块集。例如：任意图像i划分后的图像块集合为PIi={pii,1,pii,2,…,pii,L}，相应的，训练集划分得到的图像块集合为PI={PI1,PI2,…,PIN}。

为了挖掘特征之间的关系，需要生成一个全局的特征字典W={w1,w2,…,wV}，V是字典的维度。与BOW类似，要对训练集中所有的图像块特征进行聚类，并且把每一个图像块分配给相应的码字。需要注意的是，这里的图像块特征可以只考虑某种特征，也可以考虑多特征，然后用每个图像块和其8邻域构造一个局部直方图（图3）。一个局部直方图体现的是以一个图像块为中心，包括其8邻域在内的出现属于码字特征的次数。最后给相同类别图像的相同层次的局部直方图赋予相同的子类号sci。

Fig.3 Local histogram图3 局部直方图

为了便于频繁项集挖掘，首先定义item和transaction。item是由视觉词和出现次数所形成的一个对(wi,si),wi∈W，其中si代表视觉词wi出现的次数。一个transactionx包含了一个局部直方图当中所有的item(wi,si)。

一个局部直方图模式是一个项集t∈Γ，其中Γ表示所有项的集合。对于局部直方图模式t，定义X(t)={x∈X|t⊆x}为所有包含模式t的transaction的集合。t的频度|X(t)|叫作模式的支持，用sup p(t)来表示。对于给定的常量T，一个局部直方图模式t，如果sup p(t)≥T，且没有其他模式t′使得t⊂t′，则这个模式t就是闭合的。一个频繁的并且闭合局部直方图是一个频繁局部直方图（frequent local histogram，FLH）。ϒ代表FLH的集合。

为了找到那些有效的模式，采用了类似文献[16]的方法进行挖掘。为了挖掘出每一个层次的频繁项集，必须选择一种合适的挖掘方法，由于LCM（linear time closed item set miner）[20]算法速度快，采用LCM来挖掘频繁项集。但是产生的频繁项集往往数量庞大，需要用文献[8]中的方法来衡量挖掘到的模式的重要性。式（4）为模式的重要性计算方法，D(t)和O(t)分别代表判别性和表示性。

如果一个模式t的重要性越高，它就有可能是有判别力的，并且会在很多图像中重复出现，因此这个模式有利于分类。算法采用Cheng等人[8]提出的基于熵的方法来计算判别性D(t)：

当pii,j的类别是sc的时候，p(sc|pii,j)=1，否则p(sc|pii,j)=0。D(t)越高，证明这种模式越有可能只在某种子类中出现。式（5）中的logSC用于保证0≤D(t)≤1。

接下来计算表示性O(t)。算法通过比对一个模式在某类中的分布与最优分布的距离来衡量此模式的表示性。一个相对于某子类sc来说的最优模式表示为，最优分布有两个特点：（1）这些模式只出现在这个子类当中，即；（2）这些模式平均分布在这个子类的所有图像中，即对于所有属于子类sc的pii,j和pim,n：

其中，DKL(·||·)用于计算两组分布的KL距离；O(t)通过计算任一模式在所有pi上的分布与最优分布的KL距离来衡量当前模式的表示性。p(pi|t)的计算方式如下：

除此之外，还需要去掉冗余的模式，采用文献[21]的方法。如果两个模式t和s∈ϒ是冗余的，则：

越接近这种情况，R(s,t)的值就会越大。为了找到最合适的模式用于分类，需要找到最合适的模式集χ，χ⊂ϒ。为了找到这个模式集，定义模式t的增益为G(t)，t∉χ并且t∈ϒ。

式（12）中，如果模式t有一个高信息增益G(t)，这个模式首先要有高的重要性S(t)，其次模式t还必须与任意其他模式s不冗余。为了找到最好的q个模式，首先添加一个最重要的模式到模式集，然后选择一个有最大增益的模式添加到模式集χ中，直到找到q个模式。

4 图像表示

通过选择得到模式集后，为了得到任意一幅图像的层次划分用于图像表示，与文献[22]方法类似，首先认为一幅图像属于任意一类，然后根据之前得到的有判别力的颜色进行层次划分，统计每一层中所有局部直方图当中出现各种模式的频率，最终在各个不同的层次形成基于模式集的直方图表示，把这些直方图连接在一起形成当前图像在属于某类情况下的直方图。当把对象认为是所有类的时候，能够根据每一类构造这样一个直方图，把这些直方图连接起来形成最终的图像表示。最终图像表示的维度是kqL。

令K和M为任意两幅图像，用于计算两幅图像相似度的核函数为式（13）。由于这种核函数降低了出现频率高的特征的重要性，在本文方法中取得了良好的效果。

其中，Z(i)表示第i个最终选择模式在图像Z中出现的频率。

5 实验

实验中每隔8个像素对图像进行采样，每个图像块的大小是16×16。为了得到准确的颜色层次划分，采用CN[23]和HUE[24]两种颜色描述子来描述图像块颜色，在基于颜色的层次划分阶段，把CN和HUE描述子连接起来形成一个新的向量来描述图像块颜色，通过聚类生成颜色字典。在层次直方图挖掘阶段，把形状描述子SIFT（scale-invariant feature transform）[2]与颜色描述子CN和HUE连接起来作为图像块的特征，通过聚类生成特征字典。在Soccer图像集中，颜色字典的长度是300，特征字典的长度是500。在Flower 17图像集和Flower 102图像集中，颜色字典的长度是500，特征字典的长度是1 200。实验中，用标准的非线性SVM（support vector machine）来进行分类，在所有实验中C=10。

5.1 在Soccer图像集上的结果

颜色层次划分方法有利于划分出Soccer图像集中的前景和背景，如图4所示，Soccer图像集中的对象（球员）有着比较明显的颜色特征。

表1显示了本文算法与一些优秀算法的分类结果比较。从表1中可以发现，在Soccer图像集中，晚融合的分类效果要优于早融合。这是因为晚融合是把图像的形状直方图和颜色直方图加权连接起来，颜色在这个图像集中占有更重要的作用，所以这种给全局形状和颜色特征加权的方式能够更好地体现出两者之间的关系。早融合方法把局部的颜色和形状特征加权连接，这种方式不能很好地体现出形状和颜色的关系，因为在图像的不同位置，形状和颜色的重要性不一样。

Fig.4 Images from Soccer图4 Soccer图像集

Table 1 Experimental results on Soccer dataset表1 在Soccer图像集上的分类结果

本文提出的层次挖掘图像表示方法通过颜色对图像进行了分层，其本质是把图像分成不同的区域，可以认为是提供了空间信息。最典型的提供空间信息的方式是空间金字塔（spatial pyramid matching，SPM）[25]。结合空间金字塔与特征融合的图像表示方式首先使用三层空间金字塔对图像进行划分，然后在每个cell中用早融合和晚融合生成直方图。通过实验比对可以发现，由于引入了空间金字塔，分类准确率比之前有所提高。但是，这种加入空间信息的方法与文中提出的层次挖掘方法相比，首先层次的划分方法采用空间金字塔硬划分的方法，这种方法不能保证划分得到的区域对应着相同的图像部分；其次，早融合和晚融合没有考虑到视觉词之间的关系，层次挖掘方法通过挖掘频繁项集找到了视觉词之间的关系，生成了更好的字典。

CA（color attention）[22]方法把颜色作为形状的权重，同时与层次挖掘方法相似，都是把图像认为属于所有类，并且针对每类生成一个直方图，最终连接这些直方图作为图像表示。这种方法也可以认为是一种层次划分方法，它把相同颜色的图像块赋予了相同的权值，但是同样由于没有考虑到视觉词之间的关系，最终的算法精度仍然低于层次挖掘方法。

5.2 在Flower 17图像集上的结果

Flower 17图像集中，花朵位置的空间特性不明显，如图5所示。

Fig.5 Images from Flower 17图5 Flower 17图像集

表2显示了层次挖掘方法与一些优秀算法的平均分类精度的比较。在基于中间层的图像表示方法中，MKL（multiple kernel learning）[27]只考虑了多种特征之间的关系，LRFF（logistic regression-based fusionmethod）[28]通过给不同码字加权，提高了分类准确率。CA[22]用颜色给图像块上的形状特征加权，但是并没有考虑码字可视化之间的关系。层次挖掘方法与这些方法都只用到了颜色和形状描述子，层次挖掘方法的分类准确率比这些方法有了很大的提高。HoPS（histograms of pattern sets）[17]方法采用了随机映射和数据挖掘的方法进行图像表示。从表2中可以发现，本文方法的分类准确率与此方法相当，但是均值要高于HoPS。HoPS只是把全局直方图进行随机映射，然后挖掘模式，没有体现特征之间的空间层次关系。而层次挖掘方法更有利于体现对应特征的模式。此外，文献[16]提到的中间层特征挖掘方法取得了92.5%的分类准确率，但是由于文中没有考虑到空间信息，并且只考虑了SIFT一种特征，结果仍然低于本文的层次挖掘方法。

Table 2 Experimental result on Flower 17 dataset表2 在Flower 17图像集上的分类结果

5.3 在Flower 102图像集上的结果

Flower 102图像集中的训练集、测试集和验证集是提前给定的，并且此图像集没有明显的空间信息，每幅图像中花朵所在的位置不确定，如图6所示。

早融合或晚融合结合空间金字塔的图像表示方法不能够准确表示相同对象不同对应区域的信息。但是，颜色层次划分方法通过比对不同类别之间的前景和背景颜色，比较准确地对图像进行了分层，而且对每层进行挖掘得到的模式是更有判别力的特征，因此本文方法能够对图像进行更加准确的描述。通过表3可以发现，Saliency[29]和CA[22]能够找到大概的对象区域，但是层次挖掘方法既能够通过颜色找到对象区域的空间划分，又能够挖掘其中的潜在模式，因此分类精度比起这些方法提高了2%。

Table 3 Experimental result on Flower 102 dataset表3 在Flower 102图像集上的分类结果

6 结束语

本文提出了一种基于颜色层次划分的图像挖掘表示方法。首先通过优化的层次颜色选择方式把图像中的图像块按照颜色进行层次划分，并归为不同的子类，为图像表示提供空间信息。同时再通过对这些子类中的特征进行模式挖掘，发现那些频繁出现的有意义的模式，最终用这些模式代替原来的视觉词进行图像表示。通过算法实验比对，层次挖掘图像表示方法在3个图像集上都能取得比较好的分类效果。此外，基于颜色的层次划分方法只是一个框架，可以采用其他特征或者多特征融合来进行层次的划分，不同种类的模式挖掘方式都可以应用于此框架。

Fig.6 Images from Flower 102图6 Flower 102图像集

References：

[1]Csurka G,Dance C R,Fan Lixin,et al.Visual categorization with bags of keypoints[C]//LNCS 3021:Proceedings of the 8th European Conference on Computer Vision,Prague, Czech Republic,May 11-14,2004.Berlin,Heidelberg:Springer, 2004:1-22.

[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004, 60(2):91-110.

[3]Fernando B,Fromont E,Tuytelaars T.Effective use of frequent itemset mining for image classification[C]//LNCS 7572:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer,2012:214-227.

[4]Gilbert A,Illingworth J,Bowden R.Scale invariant action recognition using compound features mined from dense spatiotemporal corners[C]//LNCS 5302:Proceedings of the 10th European Conference on Computer Vision,Marseille, France,Oct 12-18,2008.Berlin,Heidelberg:Springer,2008: 222-233.

[5]Yuan Junsong,Yang Ming,Wu Ying.Mining discriminative co-occurrence patterns for visual recognition[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 20-25,2011. Piscataway,USA:IEEE,2011:2777-2784.

[6]Yan Xifeng,Han Jiawei.gSpan:graph-based substructure pattern mining[C]//Proceedings of the 2002 IEEE International Conference on Data Mining,Maebashi,Japan,Dec 9-12,2002. Washington:IEEE Computer Society,2002:721-724.

[7]Agrawal R,Srikant R.Fast algorithms for mining association rules[C]//Proceedings of the 20th International Conference on Very Large Data Bases,Santiago,Chile,Sep 12-15, 1994.San Mateo,USA:Morgan Kaufmann,1994:487-499.

[8]Cheng Hong,Yan Xifeng,Han Jiawei,et al.Discriminative frequent pattern analysis for effective classification[C]//Proceedings of the 23rd IEEE International Conference on Data Engineering,Istanbul,Turkey,Apr 15-20,2007.Piscataway,USA:IEEE,2007:716-725.

[9]Nowozin S,Tsuda K,Uno T,et al.Weighted substructure mining for image analysis[C]//Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,Jun 17-22,2007.Piscataway,USA: IEEE,2007:1-8.

[10]Yuan Junsong,Luo Jiebo,Wu Ying.Mining compositional features for boosting[C]//Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage,USA,Jun 23-28,2008.Piscataway,USA:IEEE, 2008:1-8.

[11]Gilbert A,Illingworth J,Bowden R.Fast realistic multiaction recognition using mined dense spatio-temporal features[C]//Proceedings of the 12th IEEE International Conference on Computer Vision,Miami,USA,Sep 29-Oct 2, 2009.Piscataway,USA:IEEE,2009:925-931.

[12]Quack T,Ferrari V,Leibe B,et al.Efficient mining of frequent and distinctive feature configurations[C]//Proceedings of the 11th IEEE International Conference on Computer Vision,Rio de Janeiro,Brazil,Oct 14-21,2007.Piscataway,USA:IEEE,2007:1-8.

[13]Yao Bangpeng,Li Feifei.Grouplet:a structured image representation for recognizing human and object interactions[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,Jun 13-18,2010.Piscataway,USA:IEEE,2010:9-16.

[14]Yuan Junsong,Wu Ying,Yang Ming.Discovery of collocation patterns:from visual words to visual phrases[C]//Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,Jun 17-22, 2007.Piscataway,USA:IEEE,2007:1-8.

[15]Singh S,Gupta A,Efros A.Unsupervised discovery of midlevel discriminative patches[C]//LNCS 7573:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer, 2012:73-86.

[16]Fernando B,Fromont E,Tuytelaars T.Mining mid-level features for image classification[J].International Journal of Computer Vision,2014,108(3):186-203.

[17]Voravuthikunchai W,Crémilleux B,Jurie F.Histograms of pattern sets for image classification and object recognition [C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Piscataway,USA:IEEE,2014:224-231.

[18]Li Yao,Liu Lingqiao,Shen Chunhua,et al.Mid-level deep pattern mining[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,USA, Jun 7-12,2015.Piscataway,USA:IEEE,2015:971-980.

[19]Zhu Jie,Yu Jian,Wang Chaomurilige,et al.Object recognition via contextual color attention[J].Journal of Visual Communication and Image Representation,2015,27(C):44-56.

[20]Uno T,Asai T,Uchida Y,et al.LCM:an efficient algorithm for enumerating frequent closed item sets[C]//Proceedings of the 2003 IEEE International Conference on Data Ming Workshop on Frequent Itemset Mining Implementations,Melbourne,USA,Nov 19,2003.Piscataway,USA:IEEE, 2003:90.

[21]Yan Xifeng,Cheng Hong,Han Jiawei,et al.Summarizing itemset patterns:a profile-based approach[C]//Proceedings of the 11th ACM SIGKDD International Conference on Knowledge Discovery in Data Mining,Chicago,USA,Aug 21-24,2005.New York:ACM,2005:314-323.

[22]Khan F S,Weijer J,Vanrell M.Top-down color attention for object recognition[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision,Kyoto, Japan,Sep 29-Oct 2,2009.Piscataway,USA:IEEE,2009: 979-986.

[23]Weijer J V D,Schmid C,Verbeek J,et al.Learning color names for real-world applications[J].IEEE Transactions on Image Processing,2009,18(7):1512-1523.

[24]Weijer J V D,Schmid C.Coloring local feature extraction [C]//LNCS 3952:Proceedings of the 9th European Conference on Computer Vision,Graz,Austria,May 7-13,2006. Berlin,Heidelberg:Springer,2006:334-348.

[25]Lazebnik S,Schmid C,Ponce J.Beyond bags of features: spatial pyramid matching for recognizing natural scene categories[C]//Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York,Jun 17-22,2006.Washington:IEEE Computer Society,2006:2169-2178.

[26]Gehler P,Nowozin S.On feature combination for multiclass object classification[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision,Kyoto,Japan, Sep 29-Oct 2,2009.Piscataway,USA:IEEE,2009:221-228.

[27]Fernando B,Fromont E,Muselet D,et al.Discriminative feature fusion for image classification[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition,Providence,USA,Jun 16-21,2012.Washington:IEEE Computer Society,2012:3434-3441.

[28]Yuan Xiaotong,Liu Xiaobai,Yan Shuicheng.Visual classification with multitask joint sparse representation[J].IEEE Transactions on Image Processing,2012,21(10):4349-4360.

[29]Kanan C,Cottrell G.Robust classification of objects,faces, and flowers using natural image statistics[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,Jun 13-18,2010.Piscataway,USA:IEEE,2010：2472-2479.

ZHU Jie was born in 1982.He is a Ph.D.candidate at School of Computer and Information Technology,Beijing Jiaotong University.His research interests include machine learning and computer vision,etc.

朱杰（1982—），男，河北保定人，北京交通大学计算机与信息技术学院博士研究生，主要研究领域为机器学习，计算机视觉等。

Chaomurilige was born in 1988.She is a Ph.D.candidate at School of Computer and Information Technology,Beijing Jiaotong University.Her research interests include machine learning and computer vision,etc.

超木日力格（1988—），女，内蒙古通辽人，北京交通大学计算机与信息技术学院博士研究生，主要研究领域为机器学习，计算机视觉等。

XIE Bojun was born in 1981.His research interests include machine learning and computer vision,etc.

谢博鋆（1981—），男，河北保定人，主要研究领域为机器学习，计算机视觉等。

YU Jian was born in 1969.He received the Ph.D.degree in applied mathematics from Peking University in 2000. Now he is a professor and Ph.D.supervisor at Beijing Jiaotong University,the director of Beijing Key Lab of Traffic Data Analysis and Mining,and the senior member of CCF.His research interests include machine learning,image processing and pattern recognition,etc.

于剑（1969—），男，山东人，2000年于北京大学应用数学专业获得博士学位，现为北京交通大学计算机与信息技术学院教授、博士生导师，交通数据分析与挖掘北京市重点实验室主任，CCF高级会员,主要研究领域为机器学习，图像处理，模式识别等。

Image Hierarchical Pattern Mining and Classification Based on Color*

ZHU Jie1,2+,Chaomurilige1,XIE Bojun3,YU Jian1
1.Beijing Key Lab of Traffic Data Analysis and Mining,School of Computer and Information Technology,Beijing Jiaotong University,Beijing 100044,China
2.Department of Information Management,The Central Institute for Correctional Police,Baoding,Hebei 071000,China
3.Key Laboratory of Machine Learning and Computational Intelligence,College of Mathematics and Information Science,Hebei University,Baoding,Hebei 071000,China
+Corresponding author:E-mail:arthurzhujie@gmail.com

Mid-level features mining is effective in discovering the relation between different visual words,and then the mined patterns are used to replace the visual words for image representation.All the patches are used to discover the patterns in most of the recent methods,while mining the patterns in local areas are not considered.Mining the patterns in local areas can discover the patterns in different object parts,finally the image representations constructed based on these patterns can help to increase the classification accuracy.This paper proposes an effective color based hierarchical pattern mining method.The discriminative colors are used to divide the images into different levels,andthen the patterns are discovered from the patches in each different level,finally the discovered patterns are used for the final image representation.Classification results are presented on Soccer,Flower 17 and Flower 102 datasets,and the experiments demonstrate that the proposed method can obtain satisfactory results on these datasets.

discriminative color selection;mid-level features mining;pattern;classification

10.3778/j.issn.1673-9418.1603048

A

：TP301

*The National Natural Science Foundation of China under Grant Nos.61033013,61370129,61375062,61300072,61105056, 61402462(国家自然科学基金);the Youth Foundation of Education Bureau of Hebei Province under Grant No.QN2015099(河北省教育厅青年基金项目);the Foundation of The Central Institute for Correctional Police under Grant No.XYZ201602(中央司法警官学院校级科研项目);the Science and Technology Project of Hebei Province under Grant No.15450326（河北省科技计划项目).

Received 2016-02,Accepted 2016-04.

CNKI网络优先出版:2016-04-01,http://www.cnki.net/kcms/detail/11.5602.TP.20160401.1614.008.html

ZHU Jie,Chaomurilige,XIE Bojun,et al.Image hierarchical pattern mining and classification based on color. Journal of Frontiers of Computer Science and Technology,2017,11(3)：396-405.